Dzielenie tekstu na tokeny.

Model nie może bezpośrednio przyjmować surowych liter ani całych słów. Najpierw tekst jest dzielony na tokeny: fragmenty pochodzące ze stałej listy zwanej słownikiem, który jest tworzony przed treningiem. Każdy wpis ma całkowite ID. Tym, co otrzymuje model, jest lista liczb całkowitych.

Tokenem może być często występujące całe słowo, część dłuższego słowa, znak interpunkcyjny lub grupa cyfr. Spacja przed słowem zwykle jest dołączona do tego słowa, więc „kot” i „ kot” (ze spacją) to zazwyczaj różne tokeny z różnymi ID. Wielkie litery też mają znaczenie: „Kot” to znowu inny token.

Oto przykładowe podziały, z | między tokenami. Są wymyślone, aby pokazać tę ideę; prawdziwe tokenizery dzielą tekst inaczej.

• cat to jeden token, ponieważ występuje bardzo często.
• un|believ|ably to trzy tokeny: całego słowa nie ma w słowniku, ale są w nim jego fragmenty.
• Losowy ciąg liter dzieli się na wiele bardzo małych tokenów, prawie po jednym na każdą literę.

Jak tworzy się słownik? Popularną metodą jest kodowanie parami bajtów (BPE). Pomysł pochodzi z kompresji danych; Sennrich i jego współpracownicy (2016) przystosowali go do tłumaczenia neuronowego. Przepis:

• Zacznij od pojedynczych znaków jako słownika.
• Policz każdą parę sąsiadujących fragmentów w dużym tekście.
• Połącz najczęściej występującą parę w jeden nowy fragment i dodaj go do słownika.
• Powtarzaj, aż słownik osiągnie żądany rozmiar.

Wypróbujmy to na niewielkim korpusie: low ×3, slow ×2, newer ×4, wider ×2.

• Najczęściej występująca para: e + r, 6 razy (4 w „newer”, 2 w „wider”). Połącz ją w er.
• Następnie pary l + o oraz o + w występują po 5 razy. Stała reguła rozstrzyga remisy; wybierz lo.
• Potem lo + w występuje 5 razy. Połącz je w low.

Po trzech połączeniach słowa mają postać low, s|low, n|e|w|er oraz w|i|d|er. Częste fragmenty stały się pojedynczymi tokenami, a rzadsze słowa pozostają podzielone na części.

Praktyczna zasada dotycząca zwykłego tekstu angielskiego: jeden token to około czterech znaków, czyli mniej więcej trzy czwarte słowa, więc 100 tokenów to około 75 słów. To tylko przybliżona wskazówka. Zależy to od tokenizera, tematu i języka.

Teksty w językach, które rzadko występowały w tekstach treningowych tokenizera, a także kod, nietypowe nazwy i długie liczby, często wymagają większej liczby tokenów dla tej samej treści. Więcej tokenów oznacza więcej obliczeń i zajęcie większej części okna kontekstowego. Okno kontekstowe to maksymalna liczba tokenów, które model może jednocześnie przyjąć, i jest ono liczone w tokenach, a nie w słowach.