Betydning som aritmetik

Hvis vektorer fanger, hvordan ord bruges, kan forskelle mellem vektorer måske fange relationer. Det klassiske eksempel fra Mikolov og kolleger (2013): I nogle ordvektorsæt lander king − man + woman tæt på queen.

Opskriften: Beregn vektoren a − b + c indgang for indgang, og søg derefter i ordforrådet efter den nærmeste vektor, uden de tre forespørgselsord. Uden denne udelukkelse er den nærmeste vektor ofte et af inputtene, f.eks. selve “king”.

Et eksempel med to tal i hver (valgt for at være enkelt; virkelige vektorer er støjfyldte):

• Frankrig = (2, 1), Paris = (2, 3), Italien = (5, 1).
• Paris − Frankrig + Italien = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Ordforrådet indeholder Rom = (5, 3), Madrid = (8, 3) og Berlin = (2, 5).

Den nærmeste vektor er Rom. Det virker her, fordi trinnet fra et land til dets hovedstad er den samme pil, (0, 2), for hvert land i eksempeltabellen. I virkelige data er den pil kun omtrent den samme.

Nærhed betyder lignende kontekster, ikke sandhed eller enshed. “Hot” og “cold” ligger ofte tæt på hinanden i ordvektorer. De er modsætninger, men dukker op i de samme slags sætninger (“the water is ...”). Et vektorsæt kan placere to ord sammen, fordi folk skriver om dem de samme steder, uanset hvad ordene betyder.

Vektorer kopierer mønstrene i den tekst, de blev trænet på. Bolukbasi og kolleger (2016) rapporterede, at analogiforespørgsler på ordvektorer, der var trænet på en stor nyhedssamling, gav stereotype svar om erhverv og køn. Vektorerne var ikke blevet fortalt noget om stereotyper; de afspejlede mønstre i teksten. Verden 7 vender tilbage til dette: Fordomsfulde data giver fordomsfulde resultater.