Bedeutung als Arithmetik

Wenn Vektoren erfassen, wie Wörter verwendet werden, könnten Unterschiede zwischen Vektoren Beziehungen erfassen. Das klassische Beispiel von Mikolov und seinen Kollegen (2013): In einigen Wortvektormengen landet king − man + woman in der Nähe von queen.

Das Vorgehen: Berechne den Vektor a − b + c Eintrag für Eintrag und suche dann im Vokabular nach dem nächsten Vektor. Lass dabei die drei Abfragewörter weg. Ohne diesen Ausschluss ist der nächste Vektor oft eines der Eingabewörter, zum Beispiel „king“ selbst.

Ein einfaches Beispiel mit jeweils zwei Zahlen (so gewählt, dass es übersichtlich ist; echte Vektoren sind ungenau):

• France = (2, 1), Paris = (2, 3), Italy = (5, 1).
• Paris − France + Italy = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Das Vokabular enthält Rome = (5, 3), Madrid = (8, 3) und Berlin = (2, 5).

Der nächste Vektor ist Rome. Hier funktioniert es, weil der Schritt von einem Land zu seiner Hauptstadt in der Beispieltabelle für jedes Land derselbe Pfeil (0, 2) ist. In echten Daten wird dieser Pfeil nur ungefähr geteilt.

Nähe bedeutet ähnliche Kontexte, nicht Wahrheit oder Gleichheit. „Hot“ und „cold“ liegen in Wortvektoren oft nahe beieinander. Sie sind Gegensätze, kommen aber in denselben Arten von Sätzen vor („the water is ...“). Eine Vektormenge kann zwei Wörter zusammen platzieren, weil Menschen an denselben Stellen über sie schreiben – unabhängig davon, was die Wörter bedeuten.

Vektoren übernehmen die Muster aus den Texten, mit denen sie trainiert wurden. Bolukbasi und seine Kollegen (2016) berichteten, dass Analogieabfragen bei Wortvektoren, die mit einer großen Nachrichtensammlung trainiert worden waren, stereotype Antworten zu Berufen und Geschlecht lieferten. Den Vektoren war nichts über Stereotype mitgeteilt worden; sie spiegelten Muster in den Texten wider. World 7 greift dieses Thema wieder auf: Verzerrte Daten führen zu verzerrten Ergebnissen.