ความหมายในรูปแบบการคำนวณ

ถ้าเวกเตอร์บอกได้ว่าคำต่าง ๆ ถูกใช้อย่างไร ความแตกต่างระหว่างเวกเตอร์ ก็อาจบอกความสัมพันธ์ได้ ตัวอย่างคลาสสิกจาก Mikolov และคณะ (2013) คือ ในชุดเวกเตอร์คำบางชุด ราชา − ผู้ชาย + ผู้หญิง จะไปอยู่ใกล้กับ ราชินี

วิธีทำคือ คำนวณเวกเตอร์ a − b + c ทีละสมาชิก จากนั้นค้นหา เวกเตอร์ที่ใกล้ที่สุด ในคลังคำ โดย ไม่นับรวมคำทั้งสามที่ใช้ค้นหา หากไม่ตัดคำเหล่านั้นออก เวกเตอร์ที่ใกล้ที่สุดมักเป็นหนึ่งในอินพุต เช่น “ราชา” เอง

ตัวอย่างง่าย ๆ ที่มีตัวเลขอย่างละสองตัว (เลือกให้คำนวณได้ง่าย เวกเตอร์จริงมีความไม่แน่นอน):

• ฝรั่งเศส = (2, 1), ปารีส = (2, 3), อิตาลี = (5, 1)
• ปารีส − ฝรั่งเศส + อิตาลี = (2 − 2 + 5, 3 − 1 + 1) = (5, 3)
• ในคลังคำมี โรม = (5, 3), มาดริด = (8, 3) และเบอร์ลิน = (2, 5)

เวกเตอร์ที่ใกล้ที่สุดคือโรม วิธีนี้ใช้ได้ในกรณีนี้ เพราะการเลื่อนจากประเทศไปยังเมืองหลวงเป็นลูกศรเดียวกัน คือ (0, 2) สำหรับทุกประเทศในตารางตัวอย่างนี้ แต่ในข้อมูลจริง ลูกศรนี้มีร่วมกันเพียง คร่าว ๆ เท่านั้น

ความใกล้กันหมายถึงบริบทที่คล้ายกัน ไม่ใช่ความจริงหรือความหมายที่เหมือนกัน คำว่า “ร้อน” และ “เย็น” มักอยู่ใกล้กันในเวกเตอร์ของคำ ทั้งสองคำมีความหมายตรงข้ามกัน แต่ปรากฏในประโยคประเภทเดียวกัน (“น้ำ ...”) เวกเตอร์อาจวางคำสองคำไว้ด้วยกัน เพราะผู้คนเขียนคำเหล่านี้ในบริบทเดียวกัน ไม่ว่าคำเหล่านั้นจะมีความหมายว่าอย่างไร

เวกเตอร์จะคัดลอกรูปแบบของข้อความที่ใช้ฝึกมัน Bolukbasi และเพื่อนร่วมงาน (2016) รายงานว่า การค้นหาความสัมพันธ์แบบอุปมาในเวกเตอร์ของคำที่ฝึกจากชุดข่าวขนาดใหญ่ ให้คำตอบเกี่ยวกับอาชีพและเพศที่มีภาพจำแบบเหมารวม เวกเตอร์ไม่ได้ถูกบอกอะไรเกี่ยวกับภาพจำเหล่านี้ แต่สะท้อนรูปแบบที่พบในงานเขียน โลกที่ 7 จะกลับมาพูดถึงเรื่องนี้อีกครั้ง: ข้อมูลที่มีอคติย่อมให้ผลลัพธ์ที่มีอคติ