Машина предсказаний

Начни печатать сообщение на телефоне — и клавиатура предложит следующее слово. Напиши «Кошка сидела на», и она может предложить слово «коврике». Языковая модель — это гораздо более крупная версия той же идеи.

Языковая модель — это функция. Ты даёшь ей часть текста, а она возвращает по одному числу для каждого элемента своего словаря: вероятность того, что этот элемент будет следующим. Все вероятности находятся между 0 и 1 и в сумме дают 1.

Вот выдуманная таблица для текста «Кошка сидела на». Эти числа придуманы, чтобы показать вид результата; они не взяты из какого-либо настоящего продукта.

• коврике: 0,40
• полу: 0,25
• диване: 0,15
• крыше: 0,09
• луне: 0,07
• банане: 0,04

Проверь сумму: 0,40 + 0,25 + 0,15 + 0,09 + 0,07 + 0,04 = 1.00. В настоящей модели словарь содержит десятки тысяч элементов, поэтому почти каждая вероятность очень мала.

Один шаг — один выбор. Ответ состоит из множества шагов. После того как модель возвращает вероятности, отдельное правило выбирает один элемент (правила показаны в мире 3). Этот элемент добавляется к тексту, и модель снова запускается для более длинного текста. Цикл выглядит так: вычислить, выбрать, добавить, повторить.

Чат работает так же. Весь разговор на данный момент — это входной текст. Ответ создаётся по одной части за раз, и каждая новая часть становится частью входных данных для следующего шага.

Замечание о словах. В этой лабораторной работе говорится, что модель вычисляет и предсказывает, а не «думает» и не «понимает». Это не просто выбор стиля. Такие слова помогают честно описать происходящее: внутри выполняются арифметические операции со списками чисел, и каждое утверждение в этой лабораторной работе можно проверить с помощью этих вычислений.