ตัดข้อความออกเป็นโทเคน

โมเดลไม่สามารถรับตัวอักษรดิบหรือคำทั้งคำได้โดยตรง ข้อความจะถูกตัดเป็น โทเค็น ก่อน ซึ่งเป็นชิ้นส่วนที่เลือกจากรายการตายตัวที่เรียกว่า คลังคำศัพท์ และสร้างขึ้นก่อนการฝึก แต่ละรายการมี รหัส เป็นจำนวนเต็ม สิ่งที่โมเดลได้รับจึงเป็นรายการจำนวนเต็ม

โทเค็นอาจเป็นคำทั้งคำที่พบบ่อย ส่วนหนึ่งของคำที่ยาวกว่า เครื่องหมายวรรคตอน หรือกลุ่มตัวเลข โดยปกติช่องว่างหน้าคำจะติดอยู่กับคำนั้น ดังนั้น cat และ cat (มีช่องว่าง) จึงมักเป็น โทเค็นคนละตัวที่มีรหัสต่างกัน ตัวพิมพ์ใหญ่ก็มีผลเช่นกัน: Cat ก็เป็นโทเค็นอีกตัวหนึ่ง

นี่คือตัวอย่างการแบ่งแบบ เพื่ออธิบายแนวคิด โดยมี | คั่นระหว่างโทเค็น ตัวอย่างเหล่านี้สมมติขึ้นเพื่อแสดงแนวคิด ตัวตัดโทเค็นจริงอาจแบ่งแตกต่างกัน

• cat เป็นโทเค็นเดียว เพราะพบบ่อยมาก
• un|believ|ably เป็นโทเค็นสามตัว: คำนี้ไม่ได้อยู่ในคลังคำศัพท์ทั้งคำ แต่มีชิ้นส่วนของคำอยู่ในคลัง
• สตริงตัวอักษรแบบสุ่มจะแตกออกเป็นโทเค็นเล็ก ๆ จำนวนมาก เกือบจะหนึ่งโทเค็นต่อตัวอักษรหนึ่งตัว

คลังคำศัพท์สร้างขึ้นได้อย่างไร? วิธีที่ได้รับความนิยมคือ การเข้ารหัสแบบจับคู่ไบต์ (BPE) แนวคิดนี้มาจากการบีบอัดข้อมูล โดย Sennrich และเพื่อนร่วมงาน (2016) ได้นำมาปรับใช้กับการแปลด้วยโครงข่ายประสาทเทียม ขั้นตอนมีดังนี้:

• เริ่มต้นด้วยตัวอักษรเดี่ยวเป็นคลังคำศัพท์
• นับทุกคู่ของชิ้นส่วนที่อยู่ติดกันในข้อความขนาดใหญ่
• รวมคู่ที่พบบ่อยที่สุดให้เป็นชิ้นส่วนใหม่หนึ่งชิ้น แล้วเพิ่มเข้าไปในคลังคำศัพท์
• ทำซ้ำจนกว่าคลังคำศัพท์จะมีขนาดตามต้องการ

Try it on a tiny corpus: low ×3, slow ×2, newer ×4, wider ×2.

• Most frequent pair: e + r, 6 times (4 in “newer”, 2 in “wider”). Merge it into er.
• Next, l + o and o + w both occur 5 times. A fixed rule breaks ties; take lo.
• Then lo + w occurs 5 times. Merge it into low.

After three merges the words are low, s|low, n|e|w|er and w|i|d|er. Frequent chunks became single tokens, and rarer words stay in pieces.

หลักคร่าว ๆ สำหรับข้อความภาษาอังกฤษทั่วไป: โทเค็นหนึ่งโทเค็นมีประมาณสี่ตัวอักษร หรือราว ๆ สามในสี่ของคำหนึ่งคำ ดังนั้น 100 โทเค็นจึงมีประมาณ 75 คำ นี่เป็นเพียงแนวทางคร่าว ๆ เท่านั้น และจะแตกต่างกันไปตามตัวตัดโทเค็น หัวข้อ และภาษา

ข้อความในภาษาที่พบได้น้อยในข้อมูลฝึกของตัวตัดโทเค็น รวมถึงโค้ด ชื่อที่ไม่คุ้นเคย และตัวเลขยาว ๆ มักต้องใช้ โทเค็นมากขึ้นสำหรับเนื้อหาเดียวกัน โทเค็นที่มากขึ้นหมายถึงใช้การคำนวณมากขึ้น และใช้ หน้าต่างบริบท มากขึ้นด้วย หน้าต่างบริบทคือจำนวนโทเค็นสูงสุดที่โมเดลรับเข้ามาได้ในครั้งเดียว และนับเป็น โทเค็น ไม่ใช่คำ