意味としての算術

ベクトル間の違いは、単語の使われ方を捉えているなら、関係性も捉えられるかもしれません。Mikolov とその共同研究者たちによる 2013 年の有名な例では、単語ベクトルの集合によっては、王 − 男性 + 女性が女王の近くにたどり着きます。

方法は次のとおりです。ベクトル a − b + c を各要素ごとに計算し、それから最も近いベクトルを語彙の中から探します。ただし、3 つの検索語は除外します。この除外をしないと、最も近いベクトルが「王」自体のように、入力のうちの 1 つになることがよくあります。

2つの数値を使った簡単な例です（きれいな結果になるように選んでいます。実際のベクトルにはノイズがあります）。

• France = (2, 1)、Paris = (2, 3)、Italy = (5, 1)。
• Paris − France + Italy = (2 − 2 + 5, 3 − 1 + 1) = (5, 3)。
• 語彙には Rome = (5, 3)、Madrid = (8, 3)、Berlin = (2, 5) が含まれています。

最も近いベクトルはRomeです。この例でうまくいくのは、国から首都への移動が、簡単な表にあるすべての国で同じ矢印 (0, 2) だからです。実際のデータでは、この矢印はおおよそ共通しているだけです。

近いことは、似た文脈を意味するのであって、真実や同一性を意味するのではありません。 単語ベクトルでは、「暑い」と「寒い」が近くに置かれることがよくあります。この 2 つは反対の意味ですが、同じような文の中に登場します（「水は……」など）。単語ベクトルの集合では、単語の意味がどうであれ、人々が同じような場面でその 2 つの単語について書くため、2 つの単語が一緒に置かれることがあります。

ベクトルは、学習したテキストのパターンをまねます。 Bolukbasiたち（2016年）は、大量のニュース記事から学習した単語ベクトルに類推の質問をすると、職業や性別について固定観念に基づく答えが返ってくることを報告しました。ベクトルは固定観念について何も教えられていません。それでも、文章の中にあるパターンを反映していたのです。World 7では、この話にもう一度戻ります。偏ったデータからは、偏った結果が生まれます。