Morgen war gestern · Band 2 · Holger Reibold
Der Transformer
Wie acht Forscher die KI neu erfanden
Worum es geht
Im Juni 2017 veröffentlichten acht Forscher bei Google einen Aufsatz von elf Seiten. Er trug den verspielten Titel „Attention Is All You Need“, und eine Fußnote auf der ersten Seite erklärte, dass die Reihenfolge der Namen zufällig sei. Der Aufsatz stellte eine neue Architektur für neuronale Netze vor: den Transformer.
Heute steckt diese Architektur in fast jeder künstlichen Intelligenz. Das T in ChatGPT steht für Transformer. Auch Gemini, Claude, Llama und DeepSeek beruhen darauf, ebenso Übersetzungsdienste, Bildgeneratoren und AlphaFold, das die Gestalt von Proteinen vorhersagt und einen Nobelpreis einbrachte.
Jahrzehntelang lasen Maschinen Texte Wort für Wort und vergaßen dabei den Anfang, bevor sie am Ende ankamen. Der Transformer räumte dieses Nadelöhr aus dem Weg. Jedes Wort darf jedes andere direkt ansehen, alles auf einmal. Weil das parallel geschieht, passte die Idee perfekt zu Grafikprozessoren.
Was das Buch erzählt
01
Wie Sepp Hochreiter 1991 in München das Vergessen der Netze mathematisch beschrieb
02
Wie 2014 in Montreal die Idee der Aufmerksamkeit entstand
03
Wie acht Menschen bei Google beschlossen, die Reihenfolge einfach wegzulassen
04
Wie ein Transformer liest, erklärt ohne eine einzige Formel
05
Wie aus einem Übersetzungsmodell ChatGPT wurde
06
Was der Erfolg kostet, an Energie, an Macht und an Urheberrechten
07
Was nach dem Transformer kommen könnte
Aufbau
Acht Kapitel
Die Geschichte einer Idee
Vom rekurrenten Netz und seinem Nadelöhr über den Aufsatz von 2017 bis zu den Sprachmodellen von heute und der Frage, was danach kommt.
Sieben Intermezzi
Die Fußnoten-Intermezzi
Kurze Zwischenstücke folgen den acht Autoren von der ersten Idee 2016 bis zu dem Tag im Juni 2026, an dem der letzte von ihnen Google verließ.
Zwölf Abbildungen
Anschaulich statt abstrakt
Vom Lesen Wort für Wort bis zur Selbstaufmerksamkeit an einem Beispielsatz, alle eigens für das Buch gezeichnet.
Vier Anhänge
Zum Nachschlagen
Glossar, Zeitleiste, die wichtigsten Personen und Organisationen und für Neugierige die Mathematik der Aufmerksamkeit.
Hörprobe
Für wen
Für alle, die verstehen wollen, worauf die heutige künstliche Intelligenz beruht, ohne Informatik studiert zu haben. Der Haupttext kommt ohne Formeln aus. Wer die Mathematik dahinter kennenlernen will, findet sie Schritt für Schritt im Anhang.
Die Reihe
„Der Transformer“ ist Band 2 der Reihe „Morgen war gestern – Bahnbrechende Tech-Konzepte“. Jeder Band erzählt die Geschichte einer Idee, die die digitale Welt verändert hat oder noch verändern könnte, und ist für sich lesbar.
- Band 1: Der Memristorerschienen
- Band 2: Der Transformererschienen
- Band 3: Rechenzentren im Allerschienen
- Band 4: Das Frequenzspringenin Vorbereitung
- Band 5: Die Kompressionin Vorbereitung
Häufige Fragen
Brauche ich Vorkenntnisse?
Nein. Das Buch erklärt alle Begriffe beim ersten Auftreten, und das Glossar im Anhang fasst sie zusammen.
Gibt es ein E-Book?
Nein. Die Bände der Reihe erscheinen nur als Taschenbuch.
Muss ich Band 1 gelesen haben?
Nein. Jeder Band der Reihe ist in sich abgeschlossen.
