Mapa znaczeń.

Identyfikatory tokenów to tylko etykiety. ID 4821 nie jest „blisko znaczeniowo” ID 4822. Aby wykonywać obliczenia na wzorcach przypominających znaczenie, model potrzebuje reprezentacji, w której podobieństwo jest liczbą, którą można obliczyć.

Ta reprezentacja to embedding: dla każdego tokenu jest to lista liczb nazywana wektorem. Wektory znajdują się w dużej tabeli. Ich wartości na początku są losowe i są dostosowywane podczas treningu. W prawdziwych modelach na każdy token przypada od setek do tysięcy liczb.

Co sprawia, że wektor jest użyteczny? Tokeny występujące w podobnych kontekstach kończą z podobnymi wektorami. Pomysł ten został pokazany na dużą skalę przez Mikolova i jego współpracowników (2013, „word2vec”) i nawiązuje do powiedzenia językoznawców: słowo charakteryzuje towarzystwo, w jakim występuje. „Kot” i „pies” pojawiają się w pobliżu słów takich jak „zwierzę”, „nakarmiony” i „weterynarz”, więc ich wektory kończą blisko siebie. „Kot” i „gaźnik” — nie.

Mierzenie podobieństwa: podobieństwo cosinusowe. Dla dwóch wektorów a i b:

cos = (a · b) / (|a| × |b|)

gdzie a · b to suma iloczynów odpowiadających sobie elementów, a |a| to pierwiastek kwadratowy z sumy kwadratów. Wynik zawsze mieści się między −1 a 1: 1 oznacza, że wektory wskazują ten sam kierunek, 0 oznacza, że są do siebie prostopadłe, a −1 — że wskazują przeciwne kierunki.

Przykład z dwoma liczbami w każdym wektorze (wymyślony): kot = (3, 4), a pies = (4, 3). Iloczyn skalarny wynosi 3×4 + 4×3 = 24. Obie długości wynoszą 5. Zatem cos = 24 / 25 = 0,96. Teraz weźmy samochód = (4, −3): iloczyn skalarny z kotem wynosi 12 − 12 = 0, więc cos = 0.

Nie da się narysować 300 wymiarów. Aby pokazać mapę, wektory są zmniejszane do 3 (lub 2) wymiarów za pomocą metody takiej jak PCA lub t-SNE; AI Lab w swoim Świecie „Od sześciu cech do chmury punktów” pokazuje, jak one działają i gdzie zmieniają odległości. Zmniejszanie wymiarów zawsze coś zniekształca: dwa słowa, które na mapie wyglądają jak sąsiedzi, mogą być dalej od siebie w pełnej przestrzeni.

Statyczne reprezentacje wektorowe mają ograniczenie. Jeśli każdy token ma jeden stały wektor, słowo „bank” ma ten sam wektor w wyrażeniach „brzeg rzeki” i „konto bankowe”. Jeden wektor musi obsługiwać oba znaczenia. Później w tym laboratorium (w Świecie 2) zobaczysz, jak mechanizm uwagi pozwala, aby liczby tokenu zależały od otaczających go słów.