At opdele tekst i tokens

En model kan ikke tage rå bogstaver eller hele ord direkte. Teksten bliver først delt op i tokens: dele fra en fast liste, der kaldes ordforrådet, og som bliver opbygget før træningen. Hver post har et heltals-ID. Det, modellen modtager, er en liste med heltal.

Et token kan være et almindeligt helt ord, en del af et længere ord, et tegnsætningstegn eller en gruppe cifre. Mellemrummet før et ord sidder som regel fast på ordet, så “cat” og “ cat” (med et mellemrum) normalt er forskellige tokens med forskellige ID'er. Store bogstaver betyder også noget: “Cat” er endnu et andet token.

Her er nogle illustrative opdelinger med et | mellem tokens. De er lavet for at vise idéen; virkelige tokenizere opdeler anderledes.

• cat er ét token, fordi det er meget almindeligt.
• un|believ|ably er tre tokens: Ordet findes ikke samlet i ordforrådet, men delene gør.
• En tilfældig række bogstaver bliver opdelt i mange små tokens, næsten ét pr. bogstav.

Hvordan bliver et ordforråd opbygget? En populær metode er byte-pair encoding (BPE). Idéen kommer fra datakomprimering; Sennrich og kolleger (2016) tilpassede den til neural maskinoversættelse. Opskriften:

• Start med enkelte tegn som ordforråd.
• Tæl hvert par af nabodele i en stor tekst.
• Slå det hyppigste par sammen til en ny del, og føj den til ordforrådet.
• Gentag, indtil ordforrådet har den ønskede størrelse.

Prøv det på et lille tekstkorpus: low ×3, slow ×2, newer ×4, wider ×2.

• Hyppigste par: e + r, 6 gange (4 i “newer”, 2 i “wider”). Slå det sammen til er.
• Derefter forekommer både l + o og o + w 5 gange. En fast regel afgør uafgjorte tilfælde; vælg lo.
• Så forekommer lo + w 5 gange. Slå det sammen til low.

Efter tre sammenlægninger er ordene low, s|low, n|e|w|er og w|i|d|er. Hyppige dele blev til enkelte tokens, mens sjældnere ord stadig består af flere dele.

En tommelfingerregel for almindelig engelsk tekst: Én token er cirka fire tegn eller omtrent tre fjerdedele af et ord, så 100 tokens er cirka 75 ord. Det er kun en grov rettesnor. Det varierer alt efter tokenizer, emnet og sproget.

Tekst på sprog, der var sjældne i tokenizerens træningstekst, samt kode, usædvanlige navne og lange tal kræver ofte flere tokens for det samme indhold. Flere tokens betyder mere beregning og bruger mere af kontekstvinduet. Kontekstvinduet er det maksimale antal tokens, modellen kan tage imod på én gang, og det tælles i tokens, ikke ord.