अर्थ का एक मानचित्र

टोकन आईडी केवल लेबल होते हैं। आईडी 4821 का अर्थ आईडी 4822 के अर्थ के “करीब” नहीं है। अर्थ जैसे पैटर्न के साथ गणना करने के लिए, मॉडल को ऐसी प्रस्तुति चाहिए जिसमें समानता एक ऐसी संख्या हो जिसकी गणना की जा सके।

उस प्रस्तुति को एम्बेडिंग कहते हैं: हर टोकन के लिए संख्याओं की एक सूची, जिसे वेक्टर कहते हैं। वेक्टर एक बड़ी तालिका में होते हैं। उनके मान शुरुआत में यादृच्छिक होते हैं और प्रशिक्षण के दौरान बदले जाते हैं। असली मॉडल हर टोकन के लिए सैकड़ों से हज़ारों संख्याओं का उपयोग करते हैं।

किसी वेक्टर को उपयोगी क्या बनाता है? जो टोकन समान संदर्भों में आते हैं, उनके समान वेक्टर बन जाते हैं। इस विचार को Mikolov और उनके सहयोगियों ने बड़े पैमाने पर (2013, “word2vec”) दिखाया था। यह एक भाषाविद् के कथन से भी मिलता-जुलता है: किसी शब्द की पहचान इस बात से होती है कि वह किन शब्दों के साथ आता है। “बिल्ली” और “कुत्ता” “पालतू”, “खिलाया” और “पशु-चिकित्सक” जैसे शब्दों के पास दिखाई देते हैं, इसलिए उनके वेक्टर पास-पास हो जाते हैं। “बिल्ली” और “कार्ब्यूरेटर” ऐसे नहीं होते।

समानता मापना: कोसाइन समानता। दो सदिशों a और b के लिए:

cos = (a · b) / (|a| × |b|)

जहाँ a · b मिलती-जुलती प्रविष्टियों के गुणनफलों का योग है, और |a| वर्गों के योग का वर्गमूल है। परिणाम हमेशा −1 और 1 के बीच होता है: 1 का मतलब है कि सदिश एक ही दिशा में हैं, 0 का मतलब है कि वे समकोण पर हैं, और −1 का मतलब है कि उनकी दिशाएँ विपरीत हैं।

दो-दो संख्याओं वाला खिलौना उदाहरण (काल्पनिक): बिल्ली = (3, 4) और कुत्ता = (4, 3)। डॉट प्रोडक्ट 3×4 + 4×3 = 24 है। दोनों की लंबाई 5 है। इसलिए कोसाइन का मान = 24 / 25 = 0.96। अब कार = (4, −3) लें: बिल्ली के साथ डॉट प्रोडक्ट 12 − 12 = 0 है, इसलिए कोसाइन का मान = 0।

आप 300 आयाम नहीं बना सकते। नक्शा दिखाने के लिए, PCA या t-SNE जैसी विधि से वेक्टरों को 3 (या 2) आयामों में समेट दिया जाता है; AI Lab के World “छह विशेषताओं से बिंदु-बादल तक” में दिखाया गया है कि ये कैसे काम करते हैं और कहाँ ये दूरियों को मोड़ देते हैं। समेटने से कुछ न कुछ हमेशा विकृत होता है: नक्शे पर पड़ोसी दिखने वाले दो शब्द पूरे स्पेस में एक-दूसरे से अधिक दूर हो सकते हैं।

स्थिर एम्बेडिंग की एक सीमा है। यदि हर टोकन का एक ही स्थिर वेक्टर हो, तो “नदी का किनारा” और “बैंक खाता” में “बैंक” का वेक्टर एक जैसा होगा। एक वेक्टर को दोनों अर्थों के लिए काम करना होगा। इस लैब में आगे (विश्व 2) तुम देखोगे कि अटेंशन किसी टोकन के अंकों को उसके आस-पास के शब्दों पर निर्भर होने देता है।