Die Kernideen

Das steckt hinter ChatGPT

Stephen Wolfram, 2023

Das bekannteste neuronale Netz der Welt weiß nicht, wie es seinen eigenen Satz beenden wird – es errät einfach das nächste Wort. Stephen Wolfram nimmt ChatGPT Schraube für Schraube auseinander und zeigt, warum das reicht, um wie ein Mensch zu schreiben, und was diese Entdeckung über unsere eigene Sprache verrät. Du verstehst, wie neuronale Netze, Embeddings und der Transformer funktionieren, warum ChatGPT sich selbstbewusst irrt und wie man das behebt.

Für wen

Für alle, die ChatGPT nutzen und verstehen wollen, was in seinem Inneren passiert – ohne Formeln und Programmierung. Und für alle, die wissen wollen, was neuronale Netze über menschliche Sprache und menschliches Denken verraten.

ChatGPT fügt immer wieder nur das nächste Wort hinzu – und dass das für einen sinnvollen Text reicht, zeigt: Menschliche Sprache ist einfacher gebaut, als wir dachten.

Worum es in diesem Buch geht

Das bekannteste neuronale Netz der Welt weiß nicht, wie es seinen eigenen Satz beenden wird. Wenn ChatGPT dir antwortet, hat es weder einen Plan noch eine fertige Antwort – es errät einfach das nächste Wort, dann noch eins. Wie entstehen daraus Essays, Gedichte und Code? Stephen Wolfram, Physiker, Mathematiker und Schöpfer von Mathematica und Wolfram|Alpha, nimmt diese Maschine Schraube für Schraube auseinander – ohne Formeln, für jeden neugierigen Menschen.

Und er kommt zu einem Schluss, der spannender ist als das neuronale Netz selbst: Wenn Wörterraten reicht, um wie ein Mensch zu schreiben, dann sind unsere Sprache und ein Teil unseres Denkens einfacher gebaut, als wir dachten. Du verstehst neuronale Netze, Training, Embeddings und den Transformer, begreifst, warum ChatGPT sich selbstbewusst irrt – und was Wolfram ihm zur Seite stellen will. Übrigens: Allein dass du verstehen willst, wie ein Werkzeug funktioniert, das du benutzt, statt es einfach blind zu nutzen, ist schon eine seltene und richtige Gewohnheit.

Idee 1. Die ganze Magie liegt im Erraten des nächsten Wortes

Hier ist eine Tatsache, die einen zuerst fast kränkt. Alles, was ChatGPT tut, ist zu versuchen, eine „vernünftige Fortsetzung“ des bereits geschriebenen Textes zu liefern. Das ist alles. Kein geheimer Verstand. „Vernünftig“ bedeutet laut Wolfram: so, wie es am wahrscheinlichsten ein Mensch geschrieben hätte, der Milliarden von Webseiten gelesen hat. Aber wenn es so einfach ist – woher kommt dann das Gefühl, mit einem lebendigen Gegenüber zu sprechen?

Der Mechanismus ist bescheiden. Das Modell schaut sich den gesamten Text bis zu dieser Sekunde an – deine Frage plus alles, was es selbst schon geschrieben hat. Es berechnet, welche Stücke als Nächstes kommen könnten und mit welcher Wahrscheinlichkeit. Nimmt eins. Schreibt es dazu. Und wiederholt alles von vorn – mit einem etwas längeren Text. Diese Stücke heißen Token: ganze Wörter oder Teile davon. Eine Antwort mit tausend Wörtern besteht aus über tausend solcher Schritte.

Der Fehler fast aller Nutzer: sich vorzustellen, im Inneren liege eine fertige Antwort, die das Modell „vorliest“. Einen Plan für den Essay gibt es nicht. Es gibt nur den nächsten Schritt. Und das Gefühl eines lebendigen Gegenübers entsteht, weil jedes neue Wort zu allem passen muss, was vorher gesagt wurde.

Was das für dich bedeutet: Der selbstbewusste Ton von ChatGPT ist eine Stileigenschaft, keine Garantie für Wahrheit. Merk dir das gleich jetzt – später wird klar, warum das so wichtig ist.

Du schreibst: „Der größte Vorteil vom Joggen am Morgen ist, dass …“ – und auf dem Bildschirm erscheint Stück für Stück: „es“, „dir“, „Energie“, „für den ganzen Tag gibt“. Keines dieser Wörter existierte vorher. Jedes entstand erst, als das vorherige fertig war.

ChatGPT erinnert sich nicht an eine Antwort – es errät immer wieder das nächste Textstück.

In Livria lesen

Über den Autor

Stephen Wolfram ist ein britisch-amerikanischer Wissenschaftler, Physiker und Mathematiker, Schöpfer des Systems Mathematica, der Wolfram Language und des Dienstes Wolfram|Alpha sowie Autor des Buches „A New Kind of Science“.

Alle Bücher des Autors: Stephen Wolfram

Begriffe aus dem Buch

  • Token
  • Temperatur: Eine Einstellung, die bestimmt, wie oft das Modell nicht das wahrscheinlichste Wort wählt. Je höher sie ist, desto abwechslungsreicher und unvorhersehbarer wird der Text.
  • Neuronales Netz: Ein mathematisches Modell aus vielen einfachen „Neuronen“, die über Gewichte verbunden sind. Es wird an Beispielen trainiert, nicht mit Regeln programmiert.
  • Verlustfunktion: Eine Zahl, die zeigt, wie stark die Antworten des neuronalen Netzes von den richtigen abweichen. Das Training versucht, sie so klein wie möglich zu machen.
  • Gradientenabstieg: Eine Trainingsmethode: Die Gewichte werden nach und nach in die Richtung verschoben, in der der Fehler kleiner wird – so wie ein Wanderer im Nebel einen Hang hinabsteigt.
  • Embedding: Die Darstellung eines Wortes oder Textstücks als Liste von Zahlen – als Punkt auf einer „Landkarte der Bedeutungen“, auf der Wörter mit ähnlicher Bedeutung nah beieinanderliegen.
  • Transformer: Die Bauweise des neuronalen Netzes, auf der ChatGPT beruht. Ihr Herzstück ist der Aufmerksamkeitsmechanismus, der entscheidet, auf welche vorherigen Wörter geschaut wird.
  • Rechnerische Irreduzibilität: Ein Begriff von Wolfram: Für manche Prozesse gibt es keine Abkürzung, das Ergebnis lässt sich nur herausfinden, indem man alle Rechenschritte durchläuft.

Alle Begriffe

Ähnliche Bücher