Una macchina per fare previsioni

Inizia a digitare un messaggio sul telefono e la tastiera ti propone la parola successiva. Digita “The cat sat on the” e potrebbe proporti “mat”. Un modello linguistico è una versione molto più grande di questa idea.

Un modello linguistico è una funzione. Gli dai un pezzo di testo e restituisce un numero per ogni voce del suo vocabolario: la probabilità che quella voce venga dopo. Le probabilità sono tutte comprese tra 0 e 1 e la loro somma è 1.

Ecco una tabella inventata per il testo “The cat sat on the”. Questi numeri sono inventati per mostrare la forma dell'output; non provengono da alcun prodotto reale.

• mat: 0,40
• floor: 0,25
• sofa: 0,15
• roof: 0,09
• moon: 0,07
• banana: 0,04

Controlla il totale: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. Un modello reale ha un vocabolario di decine di migliaia di voci, quindi quasi tutte le probabilità sono piccolissime.

Un passaggio fa una scelta. Una risposta richiede molti passaggi. Dopo che il modello restituisce le sue probabilità, una regola separata sceglie una voce (il Mondo 3 mostra le regole). Quella voce viene aggiunta al testo e il modello esegue di nuovo il calcolo sul testo più lungo. Il ciclo è: calcola, scegli, aggiungi, ripeti.

Una chat funziona allo stesso modo. La conversazione fino a quel momento è il testo in input. La risposta viene costruita un pezzo alla volta e ogni nuovo pezzo diventa parte dell'input per il passaggio successivo.

Una nota sulle parole. Questo laboratorio dice che un modello calcola e predice, non che “pensa” o “capisce”. Le parole non sono una scelta stilistica. Mantengono fedele il quadro: ciò che accade all'interno è aritmetica su liste di numeri e ogni affermazione di questo laboratorio può essere verificata attraverso quell'aritmetica.