Anlamın haritası.

Token kimlikleri yalnızca etiketlerdir. 4821 kimliği, anlam bakımından 4822 kimliğine “yakın” değildir. Modelin anlam benzeri örüntülerle hesaplama yapabilmesi için benzerliğin hesaplanabilir bir sayı olduğu bir temsile ihtiyacı vardır.

Bu temsil bir gömmedir: her token için vektör adı verilen bir sayı listesi. Vektörler büyük bir tabloda bulunur. Değerleri başlangıçta rastgeledir ve eğitim sırasında ayarlanır. Gerçek modeller her token için yüzlerce ila binlerce sayı kullanır.

Bir vektörü kullanışlı yapan nedir? Benzer bağlamlarda geçen belirteçler sonunda benzer vektörlere sahip olur. Bu fikir, Mikolov ve arkadaşları tarafından 2013'te (“word2vec”) büyük ölçekte gösterildi ve bir dil bilimci sloganını yansıtır: Bir kelime, birlikte bulunduğu kelimelerle tanımlanır. “Kedi” ve “köpek”, “evcil hayvan”, “beslenmiş” ve “veteriner” gibi kelimelerin yakınında görünür; bu yüzden vektörleri de birbirine yakın olur. “Kedi” ve “karbüratör” ise böyle değildir.

Benzerliği ölçmek: kosinüs benzerliği. İki a ve b vektörü için:

cos = (a · b) / (|a| × |b|)

Burada a · b, eşleşen öğelerin çarpımlarının toplamıdır; |a| ise karelerin toplamının kareköküdür. Sonuç her zaman −1 ile 1 arasındadır: 1, vektörlerin aynı yöne baktığı; 0, dik açı yaptığı; −1 ise zıt yönleri gösterdiği anlamına gelir.

Her birinde iki sayı bulunan örnek (uydurulmuştur): kedi = (3, 4) ve köpek = (4, 3). Nokta çarpımı 3×4 + 4×3 = 24'tür. Her iki uzunluk da 5'tir. Dolayısıyla cos = 24 / 25 = 0,96. Şimdi araba = (4, −3) değerini ele alalım: kedi ile nokta çarpımı 12 − 12 = 0 olur; yani cos = 0.

300 boyut çizemezsiniz. Bir haritayı göstermek için vektörler PCA veya t-SNE gibi bir yöntemle 3 (veya 2) boyuta sıkıştırılır; AI Lab'in World “Altı özellikten nokta bulutuna” bölümü, bunların nasıl çalıştığını ve uzaklıkları nerede bozduğunu gösterir. Sıkıştırma her zaman bir şeyi çarpıtır: Haritada komşu gibi görünen iki kelime, tam uzayda birbirinden daha uzak olabilir.

Sabit gömmelerin bir limiti vardır. Her belirtecin tek bir sabit vektörü varsa “bank” kelimesi, “river bank” ve “bank account” ifadelerinde aynı vektöre sahip olur. Tek bir vektör her iki anlama da hizmet etmek zorundadır. Bu laboratuvarın ilerleyen bölümünde (World 2), dikkatin bir belirtecin sayılarını çevresindeki kelimelere bağlı hâle getirdiğini göreceksiniz.