Der Transformer: Wie ein Aufsatz von elf Seiten die KI neu erfand

Wer heute mit ChatGPT, Gemini oder Claude spricht, benutzt eine Idee, die im Juni 2017 auf elf Seiten beschrieben wurde. Acht Forscher bei Google veröffentlichten damals einen Aufsatz mit dem Titel „Attention Is All You Need“. Darin stellten sie eine neue Architektur für neuronale Netze vor: den Transformer. Mein neues Buch erzählt, wie es dazu kam und was daraus wurde.

Das Nadelöhr

Bis 2017 lasen Maschinen Texte so, wie wir es in der Schule gelernt haben: Wort für Wort, von links nach rechts. Rekurrente Netze trugen dabei eine Art Notizzettel mit sich, auf dem sie festhielten, was sie bisher gelesen hatten. Das Problem: Der Zettel war klein. Bei langen Sätzen verblasste der Anfang, bevor das Netz am Ende ankam. Alles, was ein Satz bedeutete, musste durch dieses Nadelöhr.

Sepp Hochreiter hatte dieses Vergessen schon 1991 in München mathematisch beschrieben. Die von ihm und Jürgen Schmidhuber entwickelten LSTM-Netze milderten das Problem, lösten es aber nicht. 2014 kam in Montreal eine wichtige Ergänzung hinzu: die Aufmerksamkeit. Beim Übersetzen durfte das Netz nun auf die Stellen im Ausgangssatz zurückblicken, die gerade wichtig waren. Die Grundarchitektur blieb aber dieselbe. Die Maschine las weiter Wort für Wort.

Alles auf einmal

Die Gruppe bei Google stellte eine radikale Frage: Was passiert, wenn man das Lesen in Reihenfolge einfach weglässt? Im Transformer darf jedes Wort jedes andere direkt ansehen, alles auf einmal. Wer in einem Satz mit „es“ gemeint ist, entscheidet das Modell, indem es prüft, welche anderen Wörter für dieses „es“ wichtig sind. Die Reihenfolge der Wörter wird als zusätzliche Information mitgeliefert, statt die Verarbeitung zu bestimmen.

Der eigentliche Durchbruch lag weniger in der Eleganz der Idee als in ihrer Passform. Weil alle Wörter gleichzeitig verarbeitet werden, ließ sich der Transformer auf Grafikprozessoren parallel trainieren. Die Ergebnisse übertrafen 2017 die besten Übersetzungssysteme bei einem Bruchteil der Rechenzeit. Damit war der Weg frei für Modelle, die mit immer mehr Daten immer größer werden konnten.

Acht Namen in zufälliger Reihenfolge

Eine kleine Fußnote auf der ersten Seite des Aufsatzes erklärte, dass alle Autoren gleich viel beigetragen hätten und die Reihenfolge der Namen zufällig sei. Diese Fußnote ist der rote Faden durch das Buch. Kurze Zwischenstücke folgen den acht Autoren von der ersten Idee 2016 bis zu dem Tag im Juni 2026, an dem der letzte von ihnen Google verließ. Die Geschichte dahinter habe ich im Juni schon im Beitrag Bevor es ChatGPT gab angerissen. Das Buch erzählt sie vollständig.

Was das Buch erzählt

• wie ein Transformer liest, erklärt ohne eine einzige Formel,
• wie aus einem Übersetzungsmodell ChatGPT wurde,
• warum Google die Technik erfand, aber andere damit zuerst groß herauskamen,
• was der Erfolg kostet, an Energie, an Macht und an Urheberrechten,
• und was nach dem Transformer kommen könnte.

Wer die Mathematik der Aufmerksamkeit kennenlernen will, findet sie Schritt für Schritt im Anhang, zusammen mit einem Glossar, einer Zeitleiste und den wichtigsten Personen und Organisationen.