Makna sebagai aritmetika

Jika vektor menangkap cara kata digunakan, maka perbedaan antarvektor mungkin menangkap hubungan. Contoh klasik dari Mikolov dan rekan-rekannya (2013): dalam beberapa kumpulan vektor kata, raja − pria + wanita berada dekat dengan ratu.

Caranya: hitung vektor a − b + c entri demi entri, lalu cari vektor terdekat dalam kosakata, dengan mengecualikan tiga kata dalam kueri. Tanpa pengecualian itu, vektor terdekat sering kali merupakan salah satu input, seperti “raja” itu sendiri.

Contoh mainan dengan dua angka untuk setiap vektor (dipilih agar rapi; vektor nyata berisik):

• Prancis = (2, 1), Paris = (2, 3), Italia = (5, 1).
• Paris − Prancis + Italia = (2 − 2 + 5, 3 − 1 + 1) = (5, 3).
• Kosakatanya berisi Roma = (5, 3), Madrid = (8, 3), dan Berlin = (2, 5).

Vektor terdekat adalah Roma. Ini berhasil di sini karena langkah dari sebuah negara ke ibu kotanya adalah panah yang sama, (0, 2), untuk setiap negara dalam tabel mainan tersebut. Dalam data nyata, panah itu hanya kurang lebih sama.

Kedekatan berarti konteks yang mirip, bukan kebenaran atau kesamaan. “Hot” dan “cold” sering berada berdekatan dalam vektor kata. Keduanya berlawanan, tetapi muncul dalam jenis kalimat yang sama (“the water is ...”). Kumpulan vektor dapat menempatkan dua kata berdekatan karena orang menulis tentang keduanya di tempat yang sama, apa pun arti kata-kata itu.

Vektor meniru pola teks yang digunakan untuk melatihnya. Bolukbasi dan rekan-rekannya (2016) melaporkan bahwa kueri analogi pada vektor kata yang dilatih menggunakan kumpulan berita berukuran besar menghasilkan jawaban stereotip tentang pekerjaan dan gender. Vektor tersebut tidak diberi tahu apa pun tentang stereotip; vektor itu mencerminkan pola dalam tulisan. World 7 akan membahasnya lagi: data yang bias menghasilkan hasil yang bias.