Peta makna

ID token hanyalah label. ID 4821 tidak memiliki “kedekatan makna” dengan ID 4822. Untuk menghitung pola yang mirip makna, model memerlukan representasi yang kemiripannya dapat dihitung sebagai angka.

Representasi itu adalah embedding: untuk setiap token, ada daftar angka yang disebut vektor. Vektor-vektor tersebut berada dalam sebuah tabel besar. Nilainya dimulai secara acak dan disesuaikan selama pelatihan. Model sungguhan menggunakan ratusan hingga ribuan angka untuk setiap token.

Apa yang membuat vektor berguna? Token yang muncul dalam konteks serupa akhirnya memiliki vektor serupa. Gagasan ini didemonstrasikan dalam skala besar oleh Mikolov dan rekan-rekannya (2013, “word2vec”), dan sejalan dengan semboyan seorang ahli bahasa: sebuah kata dicirikan oleh kata-kata yang sering muncul bersamanya. “Kucing” dan “anjing” muncul dekat dengan kata-kata seperti “hewan peliharaan”, “diberi makan”, dan “dokter hewan”, sehingga vektor keduanya akhirnya berdekatan. “Kucing” dan “karburator” tidak.

Mengukur kemiripan: kemiripan kosinus. Untuk dua vektor a dan b:

cos = (a · b) / (|a| × |b|)

di mana a · b adalah jumlah hasil kali entri yang bersesuaian, dan |a| adalah akar kuadrat dari jumlah kuadrat. Hasilnya selalu berada antara −1 dan 1: 1 berarti vektor menunjuk ke arah yang sama, 0 berarti keduanya tegak lurus, dan −1 berarti arahnya berlawanan.

Contoh sederhana dengan masing-masing dua angka (dibuat-buat): cat = (3, 4) dan dog = (4, 3). Hasil kali titiknya adalah 3×4 + 4×3 = 24. Kedua panjangnya adalah 5. Jadi cos = 24 / 25 = 0,96. Sekarang gunakan car = (4, −3): hasil kali titik dengan cat adalah 12 − 12 = 0, jadi cos = 0.

Kamu tidak bisa menggambar 300 dimensi. Untuk menampilkan peta, vektor dipadatkan menjadi 3 (atau 2) dimensi dengan metode seperti PCA atau t-SNE; Lab AI, dalam Dunia “Dari enam fitur menjadi awan titik”, menunjukkan cara kerja metode-metode ini dan di mana metode tersebut membengkokkan jarak. Pemadatan selalu mendistorsi sesuatu: dua kata yang tampak bertetangga di peta mungkin sebenarnya lebih berjauhan dalam ruang penuh.

Embedding statis memiliki limit. Jika setiap token memiliki satu vektor tetap, kata “bank” memiliki vektor yang sama dalam “tepi sungai” dan “rekening bank”. Satu vektor harus mewakili kedua makna tersebut. Nanti di lab ini (Dunia 2), kamu akan melihat bagaimana perhatian membuat angka untuk sebuah token bergantung pada kata-kata di sekitarnya.