En prediktionsmaskin

Börja skriva ett meddelande på mobilen, så föreslår tangentbordet nästa ord. Skriv ”Katten satt på” så kanske det föreslår ”mattan”. En språkmodell är en mycket större version av den idén.

En språkmodell är en funktion. Du ger den en bit text, och den returnerar ett tal för varje post i sitt ordförråd: sannolikheten att den posten kommer härnäst. Sannolikheterna ligger alla mellan 0 och 1 och blir tillsammans 1.

Här är en påhittad tabell för texten ”The cat sat on the”. Siffrorna är påhittade för att visa hur resultatet ser ut; de kommer inte från någon riktig produkt.

• matta: 0,40
• golv: 0,25
• soffa: 0,15
• tak: 0,09
• måne: 0,07
• banan: 0,04

Kontrollera summan: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. En riktig modell har ett ordförråd med tiotusentals poster, så nästan varje sannolikhet är mycket liten.

Ett steg gör ett val. Ett svar består av många steg. När modellen har räknat ut sina sannolikheter väljer en separat regel en post (värld 3 visar reglerna). Den posten läggs till i texten, och modellen körs igen med den längre texten som indata. Loopen är: beräkna, välj, lägg till, upprepa.

En chatt fungerar på samma sätt. Hela konversationen hittills är indatatexten. Svaret byggs en del i taget, och varje ny del blir en del av indatan för nästa steg.

En kommentar om ord. I den här labben står det att en modell beräknar och förutsäger, inte att den ”tänker” eller ”förstår”. Orden är inte bara ett stilval. De gör bilden mer korrekt: det som händer inuti är aritmetik på listor med siffror, och varje påstående i den här labben kan kontrolleras mot den aritmetiken.