Aritmetik olarak anlam

Vektörler kelimelerin nasıl kullanıldığını yakalıyorsa, vektörler arasındaki farklar ilişkileri de yakalayabilir. Mikolov ve arkadaşlarından (2013) klasik örnek: bazı kelime vektörü kümelerinde kral − erkek + kadın, kraliçe kelimesine yakın bir noktaya ulaşır.

Yöntem şu: a − b + c vektörünü her giriş için ayrı ayrı hesapla, sonra sözlükte en yakın vektörü ara ve üç sorgu kelimesini dışarıda bırak. Bu dışlama yapılmazsa en yakın vektör genellikle girdilerden biri, örneğin “kral”ın kendisi olur.

Her birinde iki sayı bulunan oyuncak bir örnek (kolay hesaplanacak şekilde seçildi; gerçek vektörler gürültülüdür):

• Fransa = (2, 1), Paris = (2, 3), İtalya = (5, 1).
• Paris − Fransa + İtalya = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Sözlükte Roma = (5, 3), Madrid = (8, 3) ve Berlin = (2, 5) bulunuyor.

En yakın vektör Roma'dır. Bu örnekte işe yarar, çünkü oyuncak tablodaki her ülke için ülkeden başkentine giden adım aynı oktur: (0, 2). Gerçek verilerde bu ok yalnızca kabaca ortaktır.

Yakınlık, doğruluk veya aynılık değil, benzer bağlamlar anlamına gelir. “Sıcak” ve “soğuk” kelimeleri kelime vektörlerinde çoğu zaman birbirine yakın bulunur. Bunlar zıt anlamlıdır, ancak aynı tür cümlelerde (“su ...”) karşımıza çıkarlar. Bir vektör kümesi, kelimelerin anlamları ne olursa olsun, insanlar onlar hakkında aynı yerlerde yazdığı için iki kelimeyi birbirine yakın yerleştirebilir.

Vektörler, eğitildikleri metnin kalıplarını kopyalar. Bolukbasi ve arkadaşları (2016), geniş bir haber derlemesi üzerinde eğitilmiş kelime vektörlerindeki analoji sorgularının meslekler ve toplumsal cinsiyet hakkında kalıplaşmış yanıtlar verdiğini bildirdi. Vektörlere kalıp yargılar hakkında hiçbir şey öğretilmemişti; yazılardaki kalıpları yansıtıyorlardı. Dünya 7'de buna geri dönüyoruz: yanlı veriler, yanlı sonuçlar verir.