Merkityksen ymmärtäminen aritmetiikan avulla

Jos vektorit kuvaavat sitä, miten sanoja käytetään, vektorien väliset erot voivat ehkä kuvata suhteita. Mikolovin ja hänen kollegoidensa (2013) klassinen esimerkki on tämä: joissakin sanavektorijoukoissa king − man + woman päätyy lähelle sanaa queen.

Toimi näin: laske vektori a − b + c alkio kerrallaan ja etsi sanastosta lähin vektori jättämällä kolme kyselysanaa pois. Ilman tätä poissulkemista lähin vektori on usein jokin syötteistä, kuten “king” itse.

Esimerkki kahdella luvulla kussakin (valittu selkeyden vuoksi; oikeat vektorit ovat kohinaisia):

• France = (2, 1), Paris = (2, 3), Italy = (5, 1).
• Paris − France + Italy = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Sanastossa ovat Rome = (5, 3), Madrid = (8, 3) ja Berlin = (2, 5).

Lähin vektori on Rome. Tämä toimii tässä, koska askel maasta sen pääkaupunkiin on jokaisessa esimerkkitaulukon maassa sama nuoli, (0, 2). Oikeissa aineistoissa tämä nuoli on vain suunnilleen sama.

Läheisyys tarkoittaa samankaltaisia konteksteja, ei totuutta tai samanlaisuutta. “Hot” ja “cold” ovat usein sanavektoreissa lähellä toisiaan. Ne ovat vastakohtia, mutta esiintyvät samantyyppisissä lauseissa (“the water is ...”). Vektorijoukko voi sijoittaa kaksi sanaa lähelle toisiaan, koska ihmiset kirjoittavat niistä samoissa yhteyksissä, sanojen merkityksistä riippumatta.

Vektorit jäljittelevät niiden tekstien malleja, joiden avulla ne koulutettiin. Bolukbasi ja kollegat (2016) raportoivat, että suurella uutisaineistolla koulutettujen sanavektorien analogiakyselyt tuottivat stereotyyppisiä vastauksia ammateista ja sukupuolesta. Vektoreille ei ollut kerrottu mitään stereotypioista, vaan ne heijastivat kirjoitetun tekstin malleja. World 7 palaa tähän aiheeseen: puolueellinen data tuottaa puolueellisia tuloksia.