一台预测机器

在手机上开始输入信息时，键盘会提示下一个词。输入“The cat sat on the”，它可能会提示“mat”。语言模型就是这个想法的放大版。

语言模型是一个函数。你给它一段文本，它会为词表中的每个条目返回一个数字：即该条目作为下一个词出现的概率。所有概率都在 0 到 1 之间，且总和为 1。

这里是一个针对文本“The cat sat on the”的虚构表格。这些数字是为了展示输出格式而编造的，并非来自任何真实产品。

• mat: 0.40
• floor: 0.25
• sofa: 0.15
• roof: 0.09
• moon: 0.07
• banana: 0.04

检查总和：0.40 + 0.25 + 0.15 + 0.09 + 0.07 + 0.04 = 1.00。真实模型的词表包含数万个条目，因此几乎每个概率都非常小。

一步做出一个选择，回复由许多步组成。 模型返回概率后，另一条规则会挑选一个条目（世界 3 展示了这些规则）。该条目被添加到文本中，然后模型在更长的文本上再次运行。循环过程是：计算、挑选、追加、重复。

聊天也是同样的工作原理。目前的对话内容就是输入文本。回复是一次生成一个片段，每个新片段都会成为下一步的输入的一部分。

关于用词的说明。本实验室说模型计算和预测，而不是说它“思考”或“理解”。这些用词并非风格选择。它们让描述保持诚实：内部发生的是对数字列表的算术运算，本实验室中的每个说法都可以用这些算术来验证。