Dividere il testo in token

Un modello non può ricevere direttamente lettere singole o parole intere. Prima, il testo viene suddiviso in token: parti prese da un elenco fisso chiamato vocabolario, che viene creato prima dell'addestramento. Ogni elemento ha un ID intero. Ciò che il modello riceve è un elenco di numeri interi.

Un token può essere una parola intera comune, una parte di una parola più lunga, un segno di punteggiatura o un gruppo di cifre. Lo spazio prima di una parola di solito rimane attaccato alla parola, quindi “cat” e “ cat” (con uno spazio) sono normalmente token diversi con ID diversi. Anche le lettere maiuscole sono importanti: “Cat” è ancora un altro token.

Ecco alcune suddivisioni illustrative, con un | tra i token. Sono inventate per mostrare l'idea; i tokenizzatori reali suddividono il testo in modo diverso.

• cat è un solo token, perché è molto comune.
• un|believ|ably sono tre token: la parola intera non è nel vocabolario, ma lo sono le sue parti.
• Una stringa casuale di lettere si divide in tanti token molto piccoli, quasi uno per ogni lettera.

Come si costruisce un vocabolario? Un metodo molto usato è il byte-pair encoding (BPE). L'idea deriva dalla compressione dei dati; Sennrich e i suoi colleghi (2016) l'hanno adattata alla traduzione neurale. Ecco la procedura:

• Inizia con i singoli caratteri come vocabolario.
• Conta ogni coppia di parti vicine in un testo di grandi dimensioni.
• Unisci la coppia più frequente in una nuova parte e aggiungila al vocabolario.
• Ripeti finché il vocabolario non raggiunge la dimensione desiderata.

Provalo su un corpus minuscolo: low ×3, slow ×2, newer ×4, wider ×2.

• La coppia più frequente: e + r, 6 volte (4 in “newer”, 2 in “wider”). Uniscila in er.
• Poi, l + o e o + w compaiono entrambe 5 volte. Una regola fissa risolve i pareggi; scegli lo.
• Poi lo + w compare 5 volte. Uniscila in low.

Dopo tre unioni, le parole sono low, s|low, n|e|w|er e w|i|d|er. I gruppi di caratteri frequenti sono diventati token singoli, mentre le parole più rare restano suddivise in parti.

Una regola pratica per i normali testi in inglese: un token corrisponde a circa quattro caratteri, ovvero più o meno a tre quarti di una parola, quindi 100 token corrispondono a circa 75 parole. È solo un'indicazione approssimativa. Cambia in base al tokenizer, all'argomento e alla lingua.

I testi in lingue rare nei dati di addestramento del tokenizer, oltre al codice, ai nomi insoliti e ai numeri lunghi, spesso richiedono più token per lo stesso contenuto. Più token significa più calcoli e un maggiore utilizzo della finestra di contesto. La finestra di contesto è il numero massimo di token che il modello può ricevere in una volta sola e viene calcolata in token, non in parole.