Text in Tokens zerlegen

Ein Modell kann einzelne Buchstaben oder ganze Wörter nicht direkt verarbeiten. Zuerst wird der Text in Tokens zerlegt: Teile aus einer festen Liste, dem sogenannten Vokabular, das vor dem Training erstellt wird. Jeder Eintrag hat eine ganzzahlige ID. Was das Modell erhält, ist eine Liste von Ganzzahlen.

Ein Token kann ein häufiges ganzes Wort, ein Teil eines längeren Wortes, ein Satzzeichen oder eine Zifferngruppe sein. Das Leerzeichen vor einem Wort wird normalerweise an das Wort angehängt. Deshalb sind „cat“ und „ cat“ (mit einem Leerzeichen) normalerweise verschiedene Tokens mit unterschiedlichen IDs. Auch Großbuchstaben spielen eine Rolle: „Cat“ ist wieder ein anderes Token.

Hier siehst du beispielhafte Zerlegungen mit einem | zwischen den Tokens. Sie sind frei erfunden und sollen nur die Idee zeigen; echte Tokenizer zerlegen Text anders.

• cat ist ein Token, weil es sehr häufig vorkommt.
• un|believ|ably sind drei Tokens: Das ganze Wort ist nicht im Vokabular enthalten, aber seine Teile schon.
• Eine zufällige Buchstabenfolge wird in viele winzige Tokens zerlegt, fast eines pro Buchstabe.

Wie wird ein Vokabular erstellt? Eine beliebte Methode ist Byte-Pair-Encoding (BPE). Die Idee stammt aus der Datenkompression; Sennrich und Kollegen (2016) passten sie für die neuronale Übersetzung an. So geht es:

• Beginne mit einzelnen Zeichen als Vokabular.
• Zähle jedes Paar benachbarter Teile in einem großen Text.
• Führe das häufigste Paar zu einem neuen Teil zusammen und füge es dem Vokabular hinzu.
• Wiederhole das, bis das Vokabular die gewünschte Größe erreicht.

Probiere es an einem winzigen Korpus aus: low ×3, slow ×2, newer ×4, wider ×2.

• Häufigstes Paar: e + r, 6-mal (4-mal in „newer“, 2-mal in „wider“). Führe es zu er zusammen.
• Als Nächstes kommen l + o und o + w jeweils 5-mal vor. Eine feste Regel löst Gleichstände auf; wähle lo.
• Danach kommt lo + w 5-mal vor. Führe es zu low zusammen.

Nach drei Zusammenführungen lauten die Wörter low, s|low, n|e|w|er und w|i|d|er. Häufige Teile wurden zu einzelnen Tokens, während seltenere Wörter in Teilen bleiben.

Eine Faustregel für gewöhnlichen englischen Text: Ein Token entspricht ungefähr vier Zeichen oder grob drei Vierteln eines Wortes, also entsprechen 100 Tokens ungefähr 75 Wörtern. Das ist nur eine grobe Orientierung. Sie ändert sich je nach Tokenizer, Thema und Sprache.

Texte in Sprachen, die in den Trainingsdaten des Tokenizers selten vorkamen, sowie Code, ungewöhnliche Namen und lange Zahlen benötigen für denselben Inhalt oft mehr Tokens. Mehr Tokens bedeuten mehr Berechnung und verbrauchen mehr vom Kontextfenster. Das Kontextfenster ist die maximale Anzahl an Tokens, die das Modell auf einmal aufnehmen kann, und es wird in Tokens gezählt, nicht in Wörtern.