Una máquina de predicción

Empieza a escribir un mensaje en tu teléfono y el teclado ofrece la siguiente palabra. Escribe «El gato se sentó en el» y puede ofrecer «cojín». Un modelo de lenguaje es una versión mucho más grande de esa idea.

Un modelo de lenguaje es una función. Le das un fragmento de texto y devuelve un número para cada entrada de su vocabulario: la probabilidad de que esa entrada venga a continuación. Las probabilidades están todas entre 0 y 1 y suman 1.

Aquí tienes una tabla inventada para el texto «The cat sat on the». Estos números son ficticios para mostrar la forma de la salida; no provienen de ningún producto real.

• mat: 0.40
• floor: 0.25
• sofa: 0.15
• roof: 0.09
• moon: 0.07
• banana: 0.04

Comprueba la suma: 0.40 + 0.25 + 0.15 + 0.09 + 0.07 + 0.04 = 1.00. Un modelo real tiene un vocabulario de decenas de miles de entradas, por lo que casi todas las probabilidades son muy pequeñas.

Un paso hace una elección. Una respuesta son muchos pasos. Después de que el modelo devuelve sus probabilidades, una regla separada elige una entrada (el Mundo 3 muestra las reglas). Esa entrada se añade al texto y el modelo vuelve a ejecutarse con el texto más largo. El bucle es: calcular, elegir, añadir, repetir.

Un chat funciona de la misma manera. La conversación hasta ahora es el texto de entrada. La respuesta se construye pieza a pieza, y cada nueva pieza se convierte en parte de la entrada para el siguiente paso.

Una nota sobre las palabras. Este laboratorio dice que un modelo calcula y predice, no que «piensa» o «entiende». Las palabras no son una elección de estilo. Mantienen la imagen honesta: lo que ocurre en el interior es aritmética sobre listas de números, y cada afirmación en este laboratorio puede comprobarse contra esa aritmética.