Значение как арифметика

Если векторы отражают то, как используются слова, то различия между векторами могут отражать отношения. Классический пример от Миколова и его коллег (2013): в некоторых наборах векторов слов король − мужчина + женщина оказывается рядом с королевой.

Рецепт: вычислите вектор a − b + c поэлементно, а затем найдите в словаре ближайший вектор, исключив три слова из запроса. Без этого исключения ближайшим вектором часто оказывается одно из входных слов, например само слово «король».

Пример с двумя числами в каждом векторе (выбраны для простоты; реальные векторы зашумлены):

• Франция = (2, 1), Париж = (2, 3), Италия = (5, 1).
• Париж − Франция + Италия = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• В словаре есть Рим = (5, 3), Мадрид = (8, 3) и Берлин = (2, 5).

Ближайший вектор — Рим. Здесь это работает, потому что переход от страны к её столице — это одна и та же стрелка (0, 2) для каждой страны в учебной таблице. В реальных данных эта стрелка лишь примерно одинакова.

Близость означает похожие контексты, а не истинность или одинаковость. «Горячий» и «холодный» часто находятся рядом в векторах слов. Это противоположности, но они встречаются в предложениях одного типа («вода ...»). Набор векторов может расположить два слова рядом, потому что люди пишут о них в похожих местах, независимо от значения этих слов.

Векторы копируют закономерности текста, на котором их обучали. Болукбази и его коллеги (2016) сообщили, что запросы-аналогии к векторам слов, обученным на большой коллекции новостей, возвращали стереотипные ответы об профессиях и гендере. Векторам ничего не рассказывали о стереотипах — они отражали закономерности текста. Мир 7 возвращается к этой теме: предвзятые данные дают предвзятые результаты.