Å dele tekst opp i tokens

En modell kan ikke ta imot enkeltbokstaver eller hele ord direkte. Teksten deles først opp i tokens: biter fra en fast liste som kalles ordforrådet, og som bygges før treningen. Hvert element har en heltalls-ID. Det modellen mottar, er en liste med heltall.

En token kan være et vanlig helt ord, en del av et lengre ord, et skilletegn eller en gruppe sifre. Mellomrommet før et ord festes vanligvis til ordet, så «cat» og « cat» (med et mellomrom) er normalt ulike tokens med ulike ID-er. Store bokstaver har også betydning: «Cat» er enda en annen token.

Her er noen illustrerende oppdelinger, med en | mellom tokenene. De er laget for å vise ideen; ekte tokeniserere deler opp teksten på andre måter.

• cat er én token fordi den er svært vanlig.
• un|believ|ably er tre tokens: Ordet finnes ikke i sin helhet i ordforrådet, men delene gjør det.
• En tilfeldig bokstavstreng deles opp i mange små tokens, nesten én per bokstav.

Hvordan bygges et ordforråd? En populær metode er byte-pair encoding (BPE). Ideen kommer fra datakomprimering; Sennrich og kollegene (2016) tilpasset den for nevral oversettelse. Fremgangsmåten:

• Start med enkelttegn som ordforråd.
• Tell hvert par av nabobiter i en stor tekst.
• Slå sammen paret som forekommer oftest, til én ny bit, og legg den til i ordforrådet.
• Gjenta til ordforrådet har nådd ønsket størrelse.

Prøv det på et lite tekstkorpus: low ×3, slow ×2, newer ×4, wider ×2.

• Det vanligste paret: e + r, 6 ganger (4 i «newer», 2 i «wider»). Slå det sammen til er.
• Deretter forekommer både l + o og o + w 5 ganger. En fast regel avgjør ved likt resultat; velg lo.
• Så forekommer lo + w 5 ganger. Slå det sammen til low.

Etter tre sammenslåinger er ordene low, s|low, n|e|w|er og w|i|d|er. Vanlige biter ble til enkeltstående tokens, mens sjeldnere ord fortsatt består av flere biter.

En tommelfingerregel for vanlig engelsk tekst: Én token er omtrent fire tegn, eller rundt tre fjerdedeler av et ord, så 100 token er omtrent 75 ord. Dette er bare en grov veiledning. Det varierer med tokenisereren, emnet og språket.

Tekst på språk som var sjeldne i tokenisererens treningsdata, samt kode, uvanlige navn og lange tall, trenger ofte flere token for det samme innholdet. Flere token betyr mer beregning og at mer av kontekstvinduet brukes opp. Kontekstvinduet er det maksimale antallet token modellen kan ta inn på én gang, og det telles i token, ikke ord.