Un mapa del significado

Los IDs de token son solo etiquetas. El ID 4821 no está «cerca en significado» del ID 4822. Para calcular con patrones similares al significado, el modelo necesita una representación en la que la similitud sea un número que puedas calcular.

Esa representación es un embedding: para cada token, una lista de números llamada vector. Los vectores están en una gran tabla. Sus valores empiezan aleatorios y se ajustan durante el entrenamiento. Los modelos reales usan cientos o miles de números por token.

¿Qué hace útil a un vector? Los tokens que aparecen en contextos similares terminan con vectores similares. Esta idea fue demostrada a gran escala por Mikolov y colegas (2013, «word2vec»), y refleja el lema de un lingüista: una palabra se caracteriza por la compañía que mantiene. «Cat» y «dog» aparecen cerca de palabras como «pet», «fed» y «vet», por lo que sus vectores terminan cerca. «Cat» y «carburettor» no.

Medir la similitud: similitud de coseno. Para dos vectores a y b:

cos = (a · b) / (|a| × |b|)

donde a · b es la suma de los productos de las entradas correspondientes, y |a| es la raíz cuadrada de la suma de cuadrados. El resultado siempre está entre −1 y 1: 1 significa que los vectores apuntan en la misma dirección, 0 significa que están en ángulo recto, y −1 significa direcciones opuestas.

Ejemplo de juguete con dos números cada uno (inventado): cat = (3, 4) y dog = (4, 3). El producto punto es 3×4 + 4×3 = 24. Ambas longitudes son 5. Entonces cos = 24 / 25 = 0.96. Ahora toma car = (4, −3): el producto punto con cat es 12 − 12 = 0, por lo que cos = 0.

No se pueden dibujar 300 dimensiones. Para mostrar un mapa, los vectores se comprimen a 3 (o 2) dimensiones mediante un método como PCA o t-SNE; el AI Lab, en su mundo «De seis características a una nube de puntos», muestra cómo funcionan y dónde distorsionan las distancias. La compresión siempre distorsiona algo: dos palabras que parecen vecinas en el mapa pueden estar más separadas en el espacio completo.

Los embeddings estáticos tienen un límite. Si cada token tiene un vector fijo, la palabra «bank» tiene el mismo vector en «river bank» (margen del río) y en «bank account» (cuenta bancaria). Un solo vector tiene que servir para ambos significados. Más adelante en este laboratorio (Mundo 2) verás cómo la atención permite que los números de un token dependan de las palabras que lo rodean.