Ennustuskone

Ala kirjoittaa puhelimellasi viestiä, niin näppäimistö ehdottaa seuraavaa sanaa. Kirjoita ”The cat sat on the”, ja se saattaa ehdottaa sanaa ”mat”. Kielimalli on paljon suurempi versio tästä ideasta.

Kielimalli on funktio. Annat sille tekstinpätkän, ja se palauttaa yhden luvun jokaiselle sanastonsa sanalle: kyseisen sanan todennäköisyyden tulla seuraavaksi. Todennäköisyydet ovat kaikki välillä 0–1 ja niiden summa on 1.

Tässä on keksitty taulukko tekstille ”The cat sat on the”. Nämä luvut on keksitty näyttämään tuloksen muotoa; ne eivät ole peräisin mistään oikeasta tuotteesta.

• mat: 0,40
• floor: 0,25
• sofa: 0,15
• roof: 0,09
• moon: 0,07
• banana: 0,04

Tarkista summa: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. Oikean mallin sanastossa on kymmeniä tuhansia vaihtoehtoja, joten lähes jokainen todennäköisyys on hyvin pieni.

Yksi vaihe tekee yhden valinnan. Vastaus koostuu monista vaiheista. Kun malli palauttaa todennäköisyytensä, erillinen sääntö valitsee yhden vaihtoehdon (Maailma 3 näyttää säännöt). Tämä vaihtoehto lisätään tekstiin, ja malli suoritetaan uudelleen pidemmällä tekstillä. Silmukka on: laske, valitse, lisää, toista.

Keskustelu toimii samalla tavalla. Keskustelun tähänastinen sisältö on syöteteksti. Vastaus rakennetaan yksi osa kerrallaan, ja jokaisesta uudesta osasta tulee osa seuraavan vaiheen syötettä.

Huomautus sanoista. Tässä laboratoriossa sanotaan, että malli laskee ja ennustaa, ei että se ”ajattelee” tai ”ymmärtää”. Nämä sanat eivät ole vain tyylivalinta. Ne pitävät kuvauksen todenmukaisena: mallin sisällä tapahtuu laskutoimituksia lukulistoilla, ja jokainen tässä laboratoriossa esitetty väite voidaan tarkistaa näiden laskutoimitusten avulla.