Le sens comme une opération arithmétique.

Si les vecteurs représentent la façon dont les mots sont utilisés, alors les différences entre les vecteurs pourraient représenter des relations. L’exemple classique de Mikolov et de ses collègues (2013) : dans certains ensembles de vecteurs de mots, roi − homme + femme arrive près de reine.

La méthode : calculer le vecteur a − b + c entrée par entrée, puis rechercher dans le vocabulaire le vecteur le plus proche, en excluant les trois mots de la requête. Sans cette exclusion, le vecteur le plus proche est souvent l’une des entrées, comme « roi » lui-même.

Un exemple simple avec deux nombres pour chaque vecteur (choisis pour faciliter les calculs ; les vrais vecteurs sont bruités) :

• France = (2, 1), Paris = (2, 3), Italie = (5, 1).
• Paris − France + Italie = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Le vocabulaire contient Rome = (5, 3), Madrid = (8, 3) et Berlin = (2, 5).

Le vecteur le plus proche est Rome. Cela fonctionne ici parce que le déplacement d’un pays vers sa capitale est la même flèche, (0, 2), pour tous les pays du tableau d’exemple. Dans les données réelles, cette flèche n’est que partagée de manière approximative.

La proximité signifie des contextes similaires, pas la vérité ni l’identité. « Chaud » et « froid » sont souvent proches dans les vecteurs de mots. Ce sont des opposés, mais ils apparaissent dans les mêmes types de phrases (« l’eau est ... »). Un ensemble de vecteurs peut placer deux mots ensemble parce que les gens écrivent à leur sujet dans les mêmes contextes, quels que soient leurs sens.

Les vecteurs recopient les schémas du texte sur lequel ils ont été entraînés. Bolukbasi et ses collègues (2016) ont rapporté que des requêtes d’analogie sur des vecteurs de mots entraînés sur un vaste corpus d’actualités renvoyaient des réponses stéréotypées sur les métiers et le genre. On n’avait rien dit aux vecteurs sur les stéréotypes ; ils reflétaient les schémas présents dans les textes. Le monde 7 y revient : des données biaisées donnent des résultats biaisés.