Il significato come aritmetica

Se i vettori catturano il modo in cui vengono usate le parole, allora le differenze tra i vettori potrebbero catturare le relazioni. L’esempio classico di Mikolov e colleghi (2013): in alcuni insiemi di vettori di parole, re − uomo + donna arriva vicino a regina.

La procedura: calcola il vettore a − b + c elemento per elemento, poi cerca nel vocabolario il vettore più vicino, escludendo le tre parole della richiesta. Senza questa esclusione, il vettore più vicino è spesso uno degli ingressi, per esempio proprio “re”.

Un esempio semplice con due numeri per ciascuna parola (scelti per rendere i calcoli più chiari; i vettori reali sono rumorosi):

• France = (2, 1), Paris = (2, 3), Italy = (5, 1).
• Paris − France + Italy = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Il vocabolario contiene Rome = (5, 3), Madrid = (8, 3) e Berlin = (2, 5).

Il vettore più vicino è Rome. Qui funziona perché il passo da un Paese alla sua capitale è la stessa freccia, (0, 2), per ogni Paese della tabella dell’esempio. Nei dati reali, questa freccia è condivisa solo all’incirca.

La vicinanza indica contesti simili, non verità o uguaglianza. “Caldo” e “freddo” spesso si trovano vicini nei vettori delle parole. Sono opposti, ma compaiono negli stessi tipi di frasi (“l’acqua è ...”). Un insieme di vettori può mettere due parole vicine perché le persone scrivono di loro negli stessi contesti, indipendentemente dal loro significato.

I vettori copiano gli schemi del testo su cui sono stati addestrati. Bolukbasi e colleghi (2016) hanno riferito che le domande sulle analogie poste a vettori di parole addestrati su un’ampia raccolta di notizie restituivano risposte stereotipate su professioni e genere. Ai vettori non era stato insegnato nulla sugli stereotipi: riflettevano gli schemi presenti nei testi. Il Mondo 7 torna su questo punto: dati distorti producono risultati distorti.