Significado como aritmética

Se os vetores capturam como as palavras são usadas, então as diferenças entre os vetores podem capturar relações. O exemplo clássico de Mikolov e seus colegas (2013): em alguns conjuntos de vetores de palavras, rei − homem + mulher chega perto de rainha.

A receita: calcule o vetor a − b + c entrada por entrada e depois procure no vocabulário o vetor mais próximo, deixando de fora as três palavras da consulta. Sem essa exclusão, o vetor mais próximo costuma ser uma das entradas, como o próprio “rei”.

Um exemplo simples com dois números em cada vetor (escolhidos para facilitar; vetores reais têm ruído):

• França = (2, 1), Paris = (2, 3), Itália = (5, 1).
• Paris − França + Itália = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• O vocabulário contém Roma = (5, 3), Madri = (8, 3) e Berlim = (2, 5).

O vetor mais próximo é Roma. Isso funciona aqui porque o degrau de um país até sua capital é a mesma seta, (0, 2), para todos os países da tabela simples. Em dados reais, essa seta é apenas aproximadamente compartilhada.

Proximidade significa contextos semelhantes, não verdade ou igualdade. “Quente” e “frio” costumam ficar próximos nos vetores de palavras. Eles são opostos, mas aparecem nos mesmos tipos de frases (“a água está ...”). Um conjunto de vetores pode colocar duas palavras juntas porque as pessoas escrevem sobre elas nos mesmos lugares, independentemente do significado das palavras.

Os vetores copiam os padrões do texto com que foram treinados. Bolukbasi e seus colegas (2016) relataram que consultas de analogia em vetores de palavras treinados em uma grande coleção de notícias retornavam respostas estereotipadas sobre profissões e gênero. Os vetores não haviam recebido nenhuma informação sobre estereótipos; eles refletiam padrões presentes nos textos. O Mundo 7 retoma este tema: dados tendenciosos geram resultados tendenciosos.