El significado como aritmética

Si los vectores capturan cómo se usan las palabras, entonces las diferencias entre vectores podrían capturar relaciones. El ejemplo clásico de Mikolov y colegas (2013): en algunos conjuntos de vectores de palabras, king − man + woman cae cerca de queen.

La receta: calcula el vector a − b + c entrada por entrada, y luego busca en el vocabulario el vector más cercano, excluyendo las tres palabras de consulta. Sin esa exclusión, el vector más cercano a menudo es una de las entradas, como «king» mismo.

Un caso de juguete con dos números cada uno (elegidos para ser limpios; los vectores reales son ruidosos):

• Francia = (2, 1), París = (2, 3), Italia = (5, 1).
• París − Francia + Italia = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• El vocabulario contiene Roma = (5, 3), Madrid = (8, 3) y Berlín = (2, 5).

El vector más cercano es Roma. Funciona aquí porque el paso de un país a su capital es la misma flecha, (0, 2), para cada país en la tabla de juguete. En datos reales, esa flecha solo se comparte aproximadamente.

La cercanía significa contextos similares, no verdad o igualdad. “Caliente” y “frío” a menudo están juntos en los vectores de palabras. Son opuestos, pero aparecen en los mismos tipos de oraciones (“el agua está ...”). Un conjunto de vectores puede colocar dos palabras juntas porque la gente escribe sobre ellas en los mismos lugares, sin importar lo que signifiquen las palabras.

Los vectores copian los patrones del texto en el que se entrenaron. Bolukbasi y colegas (2016) informaron que las consultas de analogía en vectores de palabras entrenados en una gran colección de noticias devolvieron respuestas estereotipadas sobre ocupaciones y género. A los vectores no se les dijo nada sobre estereotipos; reflejaban patrones en la escritura. El Mundo 7 vuelve a esto: los datos sesgados dan resultados sesgados.