Uma máquina de previsões

Comece a digitar uma mensagem no celular, e o teclado sugere a próxima palavra. Digite “O gato sentou no” e ele pode sugerir “tapete”. Um modelo de linguagem é uma versão muito maior dessa ideia.

Um modelo de linguagem é uma função. Você fornece um trecho de texto, e ele retorna um número para cada entrada do seu vocabulário: a probabilidade de essa entrada vir em seguida. As probabilidades ficam todas entre 0 e 1 e somam 1.

Aqui está uma tabela inventada para o texto “O gato sentou no”. Esses números foram inventados para mostrar o formato da saída; eles não vêm de nenhum produto real.

• tapete: 0,40
• chão: 0,25
• sofá: 0,15
• telhado: 0,09
• lua: 0,07
• banana: 0,04

Confira o total: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. Um modelo real tem um vocabulário com dezenas de milhares de entradas, então quase todas as probabilidades são minúsculas.

Um degrau faz uma escolha. Uma resposta tem muitos degraus. Depois que o modelo retorna suas probabilidades, uma regra separada escolhe uma entrada (o Mundo 3 mostra as regras). Essa entrada é adicionada ao texto, e o modelo é executado novamente com o texto mais longo. O ciclo é: calcular, escolher, adicionar, repetir.

Um chat funciona da mesma forma. A conversa até aquele momento é o texto de entrada. A resposta é construída uma parte de cada vez, e cada nova parte passa a fazer parte da entrada do próximo degrau.

Uma observação sobre as palavras. Este laboratório diz que um modelo calcula e faz previsões, não que ele “pensa” ou “entende”. Essas palavras não são apenas uma escolha de estilo. Elas mantêm a explicação fiel à realidade: o que acontece por dentro é aritmética com listas de números, e toda afirmação neste laboratório pode ser conferida usando essa aritmética.