예측 기계

휴대전화에서 메시지를 입력하기 시작하면 키보드가 다음 단어를 제안해요. “고양이가 매트 위에 앉았다”라고 입력하면 “매트”를 제안할 수도 있죠. 언어 모델은 이 아이디어를 훨씬 크게 만든 것입니다.

언어 모델은 함수입니다. 텍스트 일부를 입력하면, 어휘에 있는 각 항목마다 수 하나를 반환합니다. 이 항목이 다음에 나올 확률이죠. 확률은 모두 0과 1 사이에 있고, 합하면 1이 됩니다.

“고양이가 매트 위에 앉았다”라는 텍스트를 위한 가상의 표를 볼게요. 이 수들은 출력의 모양을 보여 주기 위해 만든 것이며, 실제 제품에서 나온 것이 아닙니다.

• 매트: 0.40
• 바닥: 0.25
• 소파: 0.15
• 지붕: 0.09
• 달: 0.07
• 바나나: 0.04

합계를 확인해 보세요: 0.40 + 0.25 + 0.15 + 0.09 + 0.07 + 0.04 = 1.00. 실제 모델의 어휘에는 수만 개의 항목이 있으므로 거의 모든 확률은 아주 작습니다.

한 단계에서는 하나를 선택합니다. 답변은 여러 단계로 이루어집니다. 모델이 확률을 반환하면, 별도의 규칙이 항목 하나를 선택합니다(규칙은 World 3에서 보여 줍니다). 그 항목은 텍스트에 추가되고, 모델은 더 길어진 텍스트를 바탕으로 다시 실행됩니다. 이 과정은 계산하고, 선택하고, 추가하고, 반복하기입니다.

채팅도 같은 방식으로 작동합니다. 지금까지의 대화가 입력 텍스트입니다. 답변은 한 번에 한 부분씩 만들어지며, 새로 만들어진 각 부분은 다음 단계의 입력에 포함됩니다.

단어에 관한 안내입니다. 이 실습에서는 모델이 “생각한다”거나 “이해한다”고 말하지 않고, 모델이 계산하고 예측한다고 말합니다. 이 단어들은 단순히 문체를 위한 선택이 아닙니다. 모델 내부에서 일어나는 일이 숫자 목록에 대한 산술이라는 점을 정확하게 보여 주기 위한 것입니다. 또한 이 실습의 모든 주장은 그 산술을 바탕으로 확인할 수 있습니다.