Memotong teks menjadi token

Model tidak boleh menerima huruf mentah atau seluruh perkataan secara terus. Teks terlebih dahulu dipotong menjadi token: cebisan yang diambil daripada senarai tetap yang dipanggil perbendaharaan kata, yang dibina sebelum latihan. Setiap entri mempunyai ID integer. Perkara yang diterima oleh model ialah senarai integer.

Token boleh berupa seluruh perkataan yang biasa digunakan, sebahagian daripada perkataan yang lebih panjang, tanda baca atau kumpulan digit. Ruang sebelum perkataan biasanya melekat pada perkataan itu, jadi “cat” dan “ cat” (dengan ruang) biasanya ialah token yang berbeza dengan ID yang berbeza. Huruf besar juga penting: “Cat” ialah token yang lain pula.

Berikut ialah pemisahan sebagai contoh, dengan | di antara token. Pemisahan ini direka untuk menunjukkan idea tersebut; pemecah token sebenar membahagikannya secara berbeza.

• cat ialah satu token kerana ia sangat biasa.
• un|believ|ably ialah tiga token: perkataan itu tidak terdapat dalam perbendaharaan kata secara keseluruhan, tetapi cebisannya ada.
• Rentetan huruf rawak akan dipecahkan menjadi banyak token kecil, hampir satu token bagi setiap huruf.

Bagaimanakah perbendaharaan kata dibina? Satu kaedah yang popular ialah pengekodan pasangan bait (BPE). Idea ini berasal daripada pemampatan data; Sennrich dan rakan-rakannya (2016) menyesuaikannya untuk terjemahan neural. Resipinya:

• Mulakan dengan aksara tunggal sebagai perbendaharaan kata.
• Kira setiap pasangan cebisan yang bersebelahan dalam teks yang besar.
• Gabungkan pasangan yang paling kerap menjadi satu cebisan baharu dan tambahkannya ke dalam perbendaharaan kata.
• Ulangi sehingga perbendaharaan kata mencapai saiz yang dikehendaki.

Cuba pada korpus kecil: low ×3, slow ×2, newer ×4, wider ×2.

• Pasangan paling kerap: e + r, sebanyak 6 kali (4 dalam “newer”, 2 dalam “wider”). Gabungkannya menjadi er.
• Seterusnya, l + o dan o + w kedua-duanya muncul 5 kali. Kaedah tetap memecahkan seri; pilih lo.
• Kemudian lo + w muncul 5 kali. Gabungkannya menjadi low.

Selepas tiga penggabungan, perkataannya ialah low, s|low, n|e|w|er dan w|i|d|er. Cebisan yang kerap menjadi token tunggal, manakala perkataan yang lebih jarang kekal dalam bentuk cebisan.

Panduan kasar untuk teks bahasa Inggeris biasa: satu token mengandungi kira-kira empat aksara, atau lebih kurang tiga perempat daripada satu perkataan, jadi 100 token bersamaan kira-kira 75 perkataan. Ini hanyalah panduan kasar. Angka ini berubah mengikut tokeniser, topik dan bahasa.

Teks dalam bahasa yang jarang terdapat dalam teks latihan tokeniser, serta kod, nama yang luar biasa dan nombor yang panjang, selalunya memerlukan lebih banyak token untuk kandungan yang sama. Lebih banyak token bermakna lebih banyak pengiraan dan lebih banyak tetingkap konteks digunakan. Tetingkap konteks ialah jumlah maksimum token yang boleh diterima oleh model pada satu masa, dan ia dikira dalam token, bukan perkataan.