Mesin ramalan

Mula menaip mesej pada telefon dan papan kekunci menawarkan perkataan seterusnya. Taip “Kucing itu duduk di atas” dan papan kekunci mungkin menawarkan “tikar”. Model bahasa ialah versi idea itu yang jauh lebih besar.

Model bahasa ialah satu fungsi. Anda memberinya sebahagian teks, lalu ia mengembalikan satu nombor bagi setiap entri dalam perbendaharaan katanya: kebarangkalian bahawa entri itu muncul selepas ini. Semua kebarangkalian adalah antara 0 dan 1 dan jumlahnya 1.

Berikut ialah jadual rekaan untuk teks “Kucing itu duduk di atas”. Nombor-nombor ini direka untuk menunjukkan bentuk output; nombor ini bukan daripada mana-mana produk sebenar.

• tikar: 0.40
• lantai: 0.25
• sofa: 0.15
• bumbung: 0.09
• bulan: 0.07
• pisang: 0.04

Semak jumlahnya: 0.40 + 0.25 + 0.15 + 0.09 + 0.07 + 0.04 = 1.00. Model sebenar mempunyai perbendaharaan kata yang mengandungi puluhan ribu entri, jadi hampir semua kebarangkalian adalah sangat kecil.

Satu langkah menghasilkan satu pilihan. Satu balasan memerlukan banyak langkah. Selepas model mengembalikan kebarangkaliannya, satu peraturan berasingan memilih satu entri (Dunia 3 menunjukkan peraturannya). Entri itu ditambahkan pada teks, kemudian model dijalankan semula pada teks yang lebih panjang. Gelungnya ialah: kira, pilih, tambah, ulang.

Sembang berfungsi dengan cara yang sama. Perbualan setakat itu ialah teks input. Balasan dibina sedikit demi sedikit, dan setiap bahagian baharu menjadi sebahagian daripada input untuk langkah seterusnya.

Nota tentang perkataan. Makmal ini mengatakan model mengira dan membuat ramalan, bukannya model “berfikir” atau “memahami”. Perkataan ini bukan sekadar pilihan gaya. Perkataan ini memastikan gambaran kita tepat: perkara yang berlaku di dalamnya ialah pengiraan pada senarai nombor, dan setiap dakwaan dalam makmal ini boleh disemak berdasarkan pengiraan itu.