Eine Vorhersagemaschine

Beginne, eine Nachricht auf deinem Handy zu schreiben, und die Tastatur schlägt das nächste Wort vor. Tippe „Die Katze saß auf der“, und vielleicht schlägt sie „Matte“ vor. Ein Sprachmodell ist eine viel größere Version dieser Idee.

Ein Sprachmodell ist eine Funktion. Du gibst ihm ein Stück Text, und es gibt für jeden Eintrag in seinem Vokabular eine Zahl zurück: die Wahrscheinlichkeit, dass dieser Eintrag als Nächstes kommt. Die Wahrscheinlichkeiten liegen alle zwischen 0 und 1 und ergeben zusammen 1.

Hier ist eine erfundene Tabelle für den Text „Die Katze saß auf der“. Diese Zahlen sind ausgedacht, um die Form der Ausgabe zu zeigen; sie stammen von keinem echten Produkt.

• Matte: 0,40
• Boden: 0,25
• Sofa: 0,15
• Dach: 0,09
• Mond: 0,07
• Banane: 0,04

Überprüfe die Summe: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. Ein echtes Modell hat ein Vokabular mit Zehntausenden von Einträgen, deshalb ist fast jede Wahrscheinlichkeit winzig.

Ein Schritt trifft eine Entscheidung. Eine Antwort besteht aus vielen Schritten. Nachdem das Modell seine Wahrscheinlichkeiten zurückgegeben hat, wählt eine separate Regel einen Eintrag aus (Welt 3 zeigt die Regeln). Dieser Eintrag wird zum Text hinzugefügt, und das Modell läuft mit dem längeren Text erneut. Der Ablauf ist: berechnen, auswählen, anhängen, wiederholen.

Ein Chat funktioniert genauso. Die bisherige Unterhaltung ist der Eingabetext. Die Antwort wird Stück für Stück aufgebaut, und jedes neue Stück wird Teil der Eingabe für den nächsten Schritt.

Ein Hinweis zu Wörtern. In diesem Labor heißt es, dass ein Modell berechnet und vorhersagt, nicht, dass es „denkt“ oder „versteht“. Diese Wörter sind keine Stilfrage. Sie halten das Bild ehrlich: Im Inneren passiert Arithmetik mit Listen von Zahlen, und jede Aussage in diesem Labor lässt sich anhand dieser Arithmetik überprüfen.