Makna sebagai aritmetik

Jika vektor menangkap cara perkataan digunakan, maka perbezaan antara vektor mungkin menangkap hubungan. Contoh klasik daripada Mikolov dan rakan-rakan (2013): dalam sesetengah set vektor perkataan, king − man + woman berada berdekatan dengan queen.

Caranya: kira vektor a − b + c entri demi entri, kemudian cari vektor terdekat dalam perbendaharaan kata, dengan mengecualikan tiga perkataan pertanyaan. Tanpa pengecualian itu, vektor terdekat selalunya ialah salah satu input, seperti “king” itu sendiri.

Contoh mudah dengan dua nombor bagi setiap satu (dipilih supaya jelas; vektor sebenar mengandungi hingar):

• France = (2, 1), Paris = (2, 3), Italy = (5, 1).
• Paris − France + Italy = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Perbendaharaan kata mengandungi Rome = (5, 3), Madrid = (8, 3) dan Berlin = (2, 5).

Vektor terdekat ialah Rome. Ia berjaya di sini kerana langkah dari sesebuah negara ke ibu negaranya ialah anak panah yang sama, (0, 2), untuk setiap negara dalam jadual mudah ini. Dalam data sebenar, anak panah itu hanya dikongsi secara anggaran.

Kedekatan bermaksud konteks yang serupa, bukan kebenaran atau kesamaan. “Hot” dan “cold” sering berada berdekatan dalam vektor perkataan. Kedua-duanya berlawanan, tetapi muncul dalam jenis ayat yang sama (“the water is ...”). Sesuatu set vektor boleh meletakkan dua perkataan berdekatan kerana orang menulis tentangnya di tempat yang sama, tanpa mengira maksud perkataan tersebut.

Vektor meniru corak teks yang digunakan untuk melatihnya. Bolukbasi dan rakan-rakan (2016) melaporkan bahawa pertanyaan analogi pada vektor perkataan yang dilatih menggunakan himpunan besar berita menghasilkan jawapan stereotaip tentang pekerjaan dan jantina. Vektor itu tidak pernah diberitahu apa-apa tentang stereotaip; vektor tersebut mencerminkan corak dalam penulisan. Dunia 7 kembali kepada perkara ini: data berat sebelah menghasilkan keputusan berat sebelah.