Les idées clés

Comment fonctionne ChatGPT ?

Stephen Wolfram, 2023

Le réseau de neurones le plus célèbre du monde ne sait pas comment il va finir sa propre phrase — il devine simplement le mot suivant. Stephen Wolfram démonte ChatGPT pièce par pièce et montre pourquoi cela suffit pour écrire comme un humain, et ce que cette découverte dit de notre propre langage. Tu comprendras comment fonctionnent les réseaux de neurones, les embeddings et le transformer, pourquoi ChatGPT se trompe avec assurance et comment y remédier.

Pour qui

Pour tous ceux qui utilisent ChatGPT et veulent comprendre ce qui se passe à l'intérieur — sans formules ni programmation. Et pour ceux que ça intéresse de savoir ce que les réseaux de neurones nous apprennent sur le langage et la pensée humaine.

ChatGPT ne fait qu'ajouter, encore et encore, le mot suivant, et le fait que cela suffise pour produire un texte sensé montre que le langage humain est plus simple que nous le pensions.

De quoi parle ce livre

Le réseau de neurones le plus célèbre du monde ne sait pas comment il va finir sa propre phrase. Quand ChatGPT te répond, il n'a ni plan ni réponse toute prête — il devine simplement le mot suivant, puis encore un autre. Comment cela peut-il donner des essais, des poèmes et du code ? Stephen Wolfram, physicien, mathématicien et créateur de Mathematica et de Wolfram|Alpha, démonte cette machine pièce par pièce — sans formules, pour toute personne curieuse.

Et il arrive à une conclusion plus fascinante que le réseau lui-même : si deviner des mots suffit pour écrire comme un humain, alors notre langage et une partie de notre pensée sont plus simples que nous le pensions. Tu vas comprendre les réseaux de neurones, l'entraînement, les embeddings et le transformer, tu sauras pourquoi ChatGPT se trompe avec assurance, et ce que Wolfram propose de placer à ses côtés. Au passage : le simple fait que tu aies décidé de comprendre comment fonctionne l'outil que tu utilises, au lieu de t'en servir à l'aveugle, est déjà une habitude rare et juste.

Idée 1. Toute la magie tient à deviner le mot suivant

Voici un fait qui, au début, a même quelque chose de vexant. Tout ce que fait ChatGPT, c'est essayer de produire une « suite raisonnable » du texte déjà écrit. C'est tout. Aucun esprit secret. « Raisonnable », selon Wolfram, veut dire ce qu'aurait le plus probablement écrit un humain ayant lu des milliards de pages web. Mais si c'est si simple, d'où vient l'impression de parler à un interlocuteur vivant ?

Le mécanisme est modeste. Le modèle regarde tout le texte jusqu'à cet instant — ta question plus tout ce qu'il a déjà écrit lui-même. Il calcule quels morceaux peuvent venir ensuite et avec quelle probabilité. Il en prend un. Il l'ajoute. Et il recommence tout — avec un texte un peu plus long. Ces morceaux s'appellent des tokens : ce sont des mots entiers ou des parties de mots. Une réponse de mille mots, c'est un peu plus de mille étapes de ce genre.

L'erreur de presque tous les utilisateurs, c'est d'imaginer qu'une réponse toute prête est stockée à l'intérieur et que le modèle la « lit ». Il n'y a pas de plan d'essai. Il n'y a que l'étape suivante. Et l'impression d'un interlocuteur vivant naît parce que chaque nouveau mot doit s'accorder avec tout ce qui a été dit avant lui.

Ce que ça signifie pour toi : le ton assuré de ChatGPT est une question de style, pas une garantie de vérité. Retiens-le dès maintenant — tu verras bientôt pourquoi c'est si important.

Tu écris : « Le principal avantage de courir le matin, c'est que… », et à l'écran apparaissent, morceau par morceau : « ça », « donne », « de l'énergie », « pour toute la journée ». Aucun de ces mots n'existait à l'avance. Chacun n'est né qu'une fois le précédent prêt.

ChatGPT ne se souvient pas d'une réponse — il devine, encore et encore, le morceau de texte suivant.

Lire dans Livria

L'auteur

Stephen Wolfram — scientifique britanno-américain, physicien et mathématicien, créateur du logiciel Mathematica, du Wolfram Language et du service Wolfram|Alpha, auteur du livre « A New Kind of Science ».

Tous les livres de l'auteur: Stephen Wolfram

Notions du livre

  • Token: Un morceau de texte avec lequel le modèle travaille : un mot entier ou une partie de mot. ChatGPT écrit sa réponse un token à la fois.
  • Température: Un réglage qui détermine à quelle fréquence le modèle choisit un mot qui n'est pas le plus probable. Plus elle est élevée, plus le texte est varié et imprévisible.
  • Réseau de neurones: Un modèle mathématique fait d'une multitude de « neurones » simples reliés par des poids. On le règle à partir d'exemples, au lieu de le programmer avec des règles.
  • Fonction de perte: Un nombre qui indique à quel point les réponses du réseau de neurones s'écartent des bonnes réponses. L'entraînement cherche à le rendre aussi petit que possible.
  • Descente de gradient: Une méthode d'entraînement : on déplace petit à petit les poids dans la direction où l'erreur diminue, comme un randonneur qui descend une pente dans le brouillard.
  • Embedding: La représentation d'un mot ou d'un fragment de texte sous forme de liste de nombres — un point sur une « carte des sens », où les mots de sens proche se retrouvent côte à côte.
  • Transformer: L'architecture de réseau de neurones sur laquelle repose ChatGPT. Sa pièce maîtresse est le mécanisme d'attention, qui décide vers quels mots précédents regarder.
  • Irréductibilité computationnelle: Une notion de Wolfram : certains processus n'ont pas de raccourci, on ne peut connaître le résultat qu'en passant par toutes les étapes du calcul.

Toutes les notions

Livres similaires