Um mapa de significado

Os IDs dos tokens são apenas rótulos. O ID 4821 não é “próximo em significado” do ID 4822. Para calcular padrões parecidos com significado, o modelo precisa de uma representação em que a similaridade seja um número que você possa calcular.

Essa representação é um embedding: para cada token, uma lista de números chamada vetor. Os vetores ficam em uma grande tabela. Seus valores começam aleatórios e são ajustados durante o treinamento. Modelos reais usam de centenas a milhares de números por token.

O que torna um vetor útil? Tokens que aparecem em contextos semelhantes acabam tendo vetores semelhantes. Essa ideia foi demonstrada em grande escala por Mikolov e seus colegas (2013, “word2vec”) e lembra o lema de um linguista: uma palavra é caracterizada pelas palavras que costumam aparecer com ela. “Gato” e “cachorro” aparecem perto de palavras como “animal de estimação”, “alimentado” e “veterinário”, então seus vetores acabam próximos. “Gato” e “carburador” não.

Medindo a similaridade: similaridade de cosseno. Para dois vetores a e b:

cos = (a · b) / (|a| × |b|)

onde a · b é a soma dos produtos das entradas correspondentes, e |a| é a raiz quadrada da soma dos quadrados. O resultado está sempre entre −1 e 1: 1 significa que os vetores apontam na mesma direção, 0 significa que estão em ângulos retos, e −1 significa direções opostas.

Exemplo simples com dois números em cada vetor (inventado): gato = (3, 4) e cachorro = (4, 3). O produto escalar é 3×4 + 4×3 = 24. Os dois comprimentos são 5. Então cos = 24 / 25 = 0,96. Agora use carro = (4, −3): o produto escalar com gato é 12 − 12 = 0, então cos = 0.

Você não pode desenhar 300 dimensões. Para mostrar um mapa, os vetores são reduzidos a 3 (ou 2) dimensões usando um método como PCA ou t-SNE; o Laboratório de IA, no Mundo “De seis características a uma nuvem de pontos”, mostra como eles funcionam e onde distorcem as distâncias. Reduzir dimensões sempre distorce alguma coisa: duas palavras que parecem vizinhas no mapa podem estar mais distantes no espaço completo.

Embeddings estáticos têm um limite. Se cada token tiver um vetor fixo, a palavra “bank” terá o mesmo vetor em “river bank” e “bank account”. Um único vetor precisa representar os dois significados. Mais adiante neste laboratório (Mundo 2), você verá como a atenção permite que os números de um token dependam das palavras ao redor dele.