Betydelse som aritmetik

Om vektorer fångar hur ord används, kan då skillnader mellan vektorer fånga relationer. Det klassiska exemplet från Mikolov och kollegor (2013): i vissa uppsättningar av ordvektorer hamnar kung − man + kvinna nära drottning.

Receptet: beräkna vektorn a − b + c post för post och sök sedan i ordförrådet efter den närmaste vektorn, utan de tre sökorden. Utan det undantaget är den närmaste vektorn ofta ett av indataorden, till exempel själva ”kung”.

Ett enkelt exempel med två tal vardera (valda för att vara tydliga; riktiga vektorer är brusiga):

• Frankrike = (2, 1), Paris = (2, 3), Italien = (5, 1).
• Paris − Frankrike + Italien = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Ordförrådet innehåller Rom = (5, 3), Madrid = (8, 3) och Berlin = (2, 5).

Den närmaste vektorn är Rom. Det fungerar här eftersom steget från ett land till dess huvudstad är samma pil, (0, 2), för varje land i exempeltabellen. I riktiga data är den pilen bara ungefär gemensam.

Närhet betyder liknande sammanhang, inte sanning eller samma sak. ”Varm” och ”kall” hamnar ofta nära varandra i ordvektorer. De är motsatser, men förekommer i samma slags meningar (”vattnet är ...”). En vektoruppsättning kan placera två ord tillsammans eftersom människor skriver om dem på samma ställen, oavsett vad orden betyder.

Vektorer kopierar mönstren i texten de tränades på. Bolukbasi och kollegor (2016) rapporterade att analogifrågor till ordvektorer som tränats på en stor nyhetssamling gav stereotypa svar om yrken och kön. Vektorerna hade inte fått någon information om stereotyper; de återspeglade mönster i skrivandet. Värld 7 återkommer till detta: partisk data ger partiska resultat.