Maszyna do przewidywania.

Zacznij pisać wiadomość na telefonie, a klawiatura podpowie następne słowo. Wpisz „Kot siedział na” — może pojawić się podpowiedź „macie”. Model językowy to znacznie większa wersja tego pomysłu.

Model językowy jest funkcją. Podajesz mu fragment tekstu, a on zwraca jedną liczbę dla każdego hasła w swoim słowniku: prawdopodobieństwo, że dane hasło pojawi się jako następne. Wszystkie prawdopodobieństwa są od 0 do 1 i w sumie dają 1.

Oto zmyślona tabela dla tekstu „Kot siedział na”. Te liczby są wymyślone, żeby pokazać kształt wyniku; nie pochodzą z żadnego prawdziwego produktu.

• mata: 0,40
• podłoga: 0,25
• sofa: 0,15
• dach: 0,09
• księżyc: 0,07
• banan: 0,04

Sprawdź sumę: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. Prawdziwy model ma słownik liczący dziesiątki tysięcy elementów, więc prawie każde prawdopodobieństwo jest bardzo małe.

Jeden krok oznacza jeden wybór. Odpowiedź składa się z wielu kroków. Gdy model zwróci swoje prawdopodobieństwa, osobna reguła wybiera jeden element (zasady pokazuje Świat 3). Ten element jest dodawany do tekstu, a model uruchamia się ponownie dla dłuższego tekstu. Pętla wygląda tak: oblicz, wybierz, dodaj, powtórz.

Czat działa tak samo. Dotychczasowa rozmowa jest tekstem wejściowym. Odpowiedź powstaje kawałek po kawałku, a każdy nowy kawałek staje się częścią danych wejściowych dla następnego kroku.

Uwaga dotycząca słów. W tym laboratorium mówimy, że model oblicza i przewiduje, a nie że „myśli” lub „rozumie”. To nie jest tylko kwestia stylu. Dzięki temu opis jest zgodny z rzeczywistością: wewnątrz odbywają się działania arytmetyczne na listach liczb, a każde stwierdzenie w tym laboratorium można sprawdzić na podstawie tych działań.