Att dela upp text i tokens.

En modell kan inte ta emot enskilda bokstäver eller hela ord direkt. Texten delas först upp i token: delar från en fast lista som kallas ordförrådet, och som skapas före träningen. Varje post har ett heltals-ID. Det modellen tar emot är en lista med heltal.

En token kan vara ett vanligt helt ord, en del av ett längre ord, ett skiljetecken eller en siffergrupp. Mellanslaget före ett ord sitter vanligtvis fast på ordet, så ”cat” och ” cat” (med ett mellanslag) är normalt olika token med olika ID:n. Versaler spelar också roll: ”Cat” är ännu en annan token.

Här är illustrativa uppdelningar, med ett | mellan token. De är påhittade för att visa idén; riktiga tokeniserare delar upp text på andra sätt.

• cat är en token, eftersom den är mycket vanlig.
• un|believ|ably är tre token: hela ordet finns inte i ord­förrådet, men delarna gör det.
• En slumpmässig bokstavsserie delas upp i många små token, nästan en per bokstav.

Hur byggs ett ordförråd? En populär metod är byte-pair encoding (BPE). Idén kommer från datakomprimering; Sennrich och kollegor (2016) anpassade den för neural maskinöversättning. Så här gör man:

• Börja med enskilda tecken som ordförråd.
• Räkna varje par av delar som står bredvid varandra i en stor text.
• Slå ihop det vanligaste paret till en ny del och lägg till den i ordförrådet.
• Upprepa tills ordförrådet har nått önskad storlek.

Prova med en mycket liten textsamling: low ×3, slow ×2, newer ×4, wider ×2.

• Det vanligaste paret: e + r, 6 gånger (4 i ”newer”, 2 i ”wider”). Slå ihop det till er.
• Sedan förekommer l + o och o + w båda 5 gånger. En fast regel avgör vid lika resultat; välj lo.
• Därefter förekommer lo + w 5 gånger. Slå ihop det till low.

Efter tre sammanslagningar är orden low, s|low, n|e|w|er och w|i|d|er. Vanliga delar blev enskilda tokens, medan ovanligare ord fortfarande består av flera delar.

En tumregel för vanlig engelsk text: en token är ungefär fyra tecken, eller cirka tre fjärdedelar av ett ord, så 100 tokens är ungefär 75 ord. Det är bara en grov riktlinje. Det varierar beroende på tokeniseraren, ämnet och språket.

Text på språk som förekom sällan i tokeniserarens träningsdata, liksom kod, ovanliga namn och långa tal, behöver ofta fler tokens för samma innehåll. Fler tokens innebär mer beräkning och att mer av kontextfönstret används. Kontextfönstret är det maximala antalet tokens som modellen kan ta emot på en gång, och det räknas i tokens, inte ord.