Bir tahmin makinesi

Telefonunda bir mesaj yazmaya başla; klavye sıradaki sözcüğü önerir. “The cat sat on the” yazarsan “mat” sözcüğünü önerebilir. Bir dil modeli, bu fikrin çok daha büyük bir sürümüdür.

Bir dil modeli bir fonksiyondur. Ona bir metin parçası verirsin ve model, sözlüğündeki her sözcük için bir sayı döndürür: bu sözcüğün sırada gelme olasılığı. Olasılıkların hepsi 0 ile 1 arasındadır ve toplamları 1 eder.

“The cat sat on the” metni için hazırlanmış bir tablo burada. Bu sayılar, çıktının biçimini göstermek için uydurulmuştur; gerçek bir üründen alınmamıştır.

• mat: 0,40
• floor: 0,25
• sofa: 0,15
• roof: 0,09
• moon: 0,07
• banana: 0,04

Toplamı kontrol et: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. Gerçek bir modelin sözlüğünde on binlerce sözcük bulunur; bu yüzden olasılıkların neredeyse hepsi çok küçüktür.

Bir adım bir seçim yapar. Bir yanıt birçok adımdan oluşur. Model olasılıklarını döndürdükten sonra ayrı bir kural bir sözcük seçer (kuralları Dünya 3'te göreceksin). Bu sözcük metne eklenir ve model daha uzun metin üzerinde yeniden çalışır. Döngü şöyledir: hesapla, seç, ekle, tekrarla.

Sohbet de aynı şekilde çalışır. O ana kadarki konuşma, girdi metnidir. Yanıt parça parça oluşturulur ve her yeni parça bir sonraki adımda girdinin bir bölümü olur.

Kelimelerle ilgili bir not. Bu laboratuvar, bir modelin “düşündüğünü” ya da “anladığını” değil, hesapladığını ve tahmin ettiğini söyler. Bu kelimeler yalnızca bir üslup tercihi değildir. İçeride olanı doğru göstermeye yardımcı olurlar: İçeride gerçekleşen şey, sayı listeleri üzerinde yapılan aritmetiktir ve bu laboratuvardaki her iddia o aritmetik kullanılarak kontrol edilebilir.