ChatGPT, décryptage : ce qui se passe vraiment sous le capot

Depuis six mois, il n'y a plus une réunion, un dîner ou une pause café sans que quelqu'un sorte son « j'ai demandé à ChatGPT ». Lancé fin novembre 2022, l'outil aurait atteint 100 millions d'utilisateurs en deux mois environ, d'après une estimation d'UBS. Pour comparer, TikTok avait mis neuf mois.

Le problème, c'est qu'on s'en sert beaucoup mais qu'on sait rarement ce qu'il y a dedans. Et quand on ne sait pas comment marche un outil, on lui prête des pouvoirs qu'il n'a pas. Alors j'ai sorti la tablette et j'ai tenté de tout faire tenir sur une planche.

1. On commence par avaler une bibliothèque

Tout part d'une montagne de textes : Wikipédia, des sites d'information, des blogs, des livres, des forums, des réseaux sociaux… L'équivalent de dizaines de millions de livres. Pour donner un ordre d'idée, GPT-3 (le grand frère du modèle de ChatGPT) a été entraîné sur environ 300 milliards de tokens. Une partie venait de 45 To de pages web brutes, ramenés à 570 Go une fois filtrés.

Ces données sont nettoyées, harmonisées, puis découpées en petites unités lexicales : les tokens. Un token, c'est un mot, un bout de mot ou un signe de ponctuation.

2. On apprend à deviner le mot suivant

C'est là que le mot « intelligence » commence à faire illusion. Chaque token est encodé sous forme de vecteur, une liste de nombres qui le place dans un espace mathématique. Les mots qui apparaissent dans des contextes proches se retrouvent proches dans cet espace. On peut même faire des opérations avec : le fameux roi − homme + femme ≈ reine, popularisé il y a dix ans par les chercheurs de Google.

Pendant l'entraînement, le modèle n'apprend qu'une chose : prédire le mot suivant dans une séquence, en tenant compte du contexte. Il le fait des milliards de fois, et ajuste ses paramètres à chaque erreur. À la fin, il est devenu redoutablement bon à cet exercice.

3. On le dresse avec des humains

Un modèle qui prédit le mot suivant ne sait pas forcément répondre poliment à une question. Il peut tout aussi bien continuer votre phrase, inventer n'importe quoi ou être désagréable. D'où une troisième étape, l'apprentissage par renforcement à partir de retours humains.

Des annotateurs posent des questions (« Que mange le chat ? »). Le modèle génère plusieurs réponses :

• A. le chat mange la souris ;
• B. le chat mange le chat ;
• C. le chat est mort et vivant (Schrödinger, sors de ce corps).

Les humains classent les réponses, A avant B avant C, et le modèle est optimisé pour produire le genre de réponses qui plaît. Retenez ce point : on l'optimise pour satisfaire l'utilisateur. Une réponse qui a l'air juste et qui fait plaisir sera mieux notée qu'un « je ne sais pas » honnête.

4 et 5. Vous tapez, il devine

Quand vous écrivez votre prompt, le modèle génère un premier mot à partir de ce que vous avez tapé. Puis il réutilise ce mot pour prédire le suivant, et ainsi de suite jusqu'à la réponse complète. Au cœur du système, il n'y a qu'un seul mot : probabilité. À chaque étape, il choisit un mot plausible parmi les plus probables. D'où le fait qu'une même question ne donne jamais deux fois exactement la même réponse.

Ce qu'il faut garder en tête

En bas de ma planche, j'ai mis un grand panneau rouge, et je le maintiens :

• ChatGPT ne comprend ni le sens de la question, ni celui de sa réponse. Il produit une suite de mots statistiquement crédible. Quand il ne sait pas, il ne se tait pas, il complète. C'est ce qu'on appelle pudiquement des « hallucinations ».
• Il est impossible de remonter à la source des informations. La réponse est une recomposition de tout ce qu'il a lu, sans bibliographie. Si vous avez besoin d'une source, il faut aller la chercher vous-même.

Les régulateurs commencent d'ailleurs à s'en mêler. Fin mars, le gendarme italien de la vie privée a carrément bloqué ChatGPT pendant près d'un mois, le temps qu'OpenAI explique comment il traitait les données personnelles. GPT-4, sorti mi-mars, est plus précis, mais il repose sur le même principe.

Mon avis, après quelques mois d'usage quotidien : c'est un outil formidable pour reformuler, résumer, débloquer une page blanche, proposer des pistes. Un assistant brillant, rapide, infatigable… et parfaitement capable de vous mentir avec aplomb. Comme un stagiaire très doué qu'on relit avant d'envoyer quoi que ce soit au client.

Et aujourd'hui ? (2026)

Trois ans plus tard, le principe n'a pas changé : on prédit toujours le mot suivant. Mais deux de mes panneaux rouges ont bougé. Depuis fin 2024, ChatGPT peut chercher sur le web et citer ses sources, ce qui règle en partie le problème de la traçabilité. Et depuis 2025, il ne se contente plus de répondre : en mode agent, il agit, sur un ordinateur virtuel, avec votre permission. L'usage a explosé : 800 millions d'utilisateurs chaque semaine en octobre 2025, 900 millions début 2026. Ce qui ne change pas : il faut toujours relire le stagiaire.

Sketchnote réalisé pour #EnjoyDigitAll by BNP Paribas.