En maskin som spår

Begynn å skrive en melding på telefonen, så foreslår tastaturet det neste ordet. Skriv «Katten satt på» og det kan hende det foreslår «matten». En språkmodell er en mye større versjon av den ideen.

En språkmodell er en funksjon. Du gir den et tekststykke, og den returnerer ett tall for hver oppføring i ordforrådet sitt: sannsynligheten for at denne oppføringen kommer etterpå. Sannsynlighetene er alle mellom 0 og 1 og summerer seg til 1.

Her er en oppdiktet tabell for teksten «Katten satt på». Tallene er funnet på for å vise hvordan resultatet ser ut; de kommer ikke fra noe ekte produkt.

• matte: 0,40
• gulv: 0,25
• sofa: 0,15
• tak: 0,09
• måne: 0,07
• banan: 0,04

Sjekk summen: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. En ekte modell har et ordforråd med titusenvis av oppføringer, så nesten alle sannsynlighetene er svært små.

Ett trinn tar ett valg. Et svar består av mange trinn. Etter at modellen returnerer sannsynlighetene sine, velger en egen regel én oppføring (verden 3 viser reglene). Denne oppføringen legges til teksten, og modellen kjører på nytt med den lengre teksten. Løkken er: beregn, velg, legg til, gjenta.

En chat fungerer på samme måte. Samtalen så langt er inndatateksten. Svaret bygges opp én del om gangen, og hver nye del blir en del av inndataene for neste trinn.

En merknad om ord. I dette laboratoriet står det at en modell beregner og forutsier, ikke at den «tenker» eller «forstår». Ordene er ikke bare et stilvalg. De gjør framstillingen mer ærlig: Det som skjer inni modellen, er regning på lister med tall, og alle påstandene i dette laboratoriet kan kontrolleres mot denne regningen.