精读 So-Large-LM：大模型到底从哪一步开始变得不一样

📍 你在这里　AI 基础 · 第 12 篇 / 共 13 篇

← 上一篇 自然语言处理　·　下一篇 → 信息熵：抛三次硬币，看懂语言模型凭什么把文本压短

如果你已经读过本站的 人工智能简史 和 AI 是怎么工作的，脑子里大概有两件事，一是这条路走了七十年，二是大模型在做的事就是预测下一个词，无论外壳换成什么。接下来该问，从「一个只会接话的词预测器」到「一个能翻译、能问答、能写代码的东西」，中间那一步是怎么跨过去的。

So-Large-LM 开篇两章讲的就是这件事。它基于斯坦福大学的 CS324 课程改编，先讲清楚语言模型在数学上是什么，再拿 GPT-3 做解剖，看它到底行在哪、不行在哪、为什么。

语言模型的两个老问题

第一章把语言模型拆成一个非常朴素的目标，给定一段文本，输出下一段文本。翻译、分类、扩写，在它眼里都是同一件事的不同外壳。

麻烦出在文本和数字之间。计算机只会算数，你得先把字符变成向量，再把算出来的向量变回字符。这两步是第一个门槛，本站 自然语言处理 和 文本向量化 分别从任务和工程两个角度讲过它，So-Large-LM 第一章则是从最原始的独热编码一步步推上去的，适合想看数学细节的读者。

它的写法值得留意。它没有一上来就抛公式，而是假设整个符号体系只有 a、b、句号三个字符，手工把一段 ab.b 编码成矩阵，再讲模型输出怎么映射回字符。这种把大问题缩小到能用手算的写法，是它区别于多数教程的地方。

GPT-3 的能力地图

第二章是我认为全书最该先读的一章，它回答一个很多人没想清楚的问题，大模型为什么能同时干那么多事。

答案藏在训练的设定里。GPT-3 从未针对问答、翻译、写代码做过专门训练，它只学了一件事，预测下一个词。可正因为没有针对任何单一任务特化，它也就没有在任何一个任务上过拟合，于是在大量没见过的任务上都能给出像样的结果。

原文里有一句话很值得抄下来，「即便没有特别努力，GPT-3 平均来看，仍然可以在广泛的 NLP 任务中做得不错」。这句话解释了我们今天看到的所有现象，为什么同一个模型能聊天、能改代码、能当翻译，也解释了为什么它会在某些专业任务上输给精调过的小模型。

为什么这篇要放在这个位置

站内前两篇启蒙文回答「是什么」和「怎么工作」，这篇回答「凭什么」，即凭什么一个只会预测下一个词的模型能具备通用能力。理解了这一层，后面的 RAG、Agent、微调才有落脚点。你会明白 RAG 是在补它没有的知识，微调是在改它的行为，而 Agent 是在给它装手脚。

读完可以回到 AI 学习路线图，按阶段二继续。那一段里的 机器学习 和 深度学习 会把这里提到的训练方法展开来讲。

原文阅读建议

So-Large-LM 的章节独立性强，不必按顺序读。这两章我建议这样用，第一章快速过，重点看编码和映射的例子；第二章精读，尤其是 GPT-3 各项基准测试的结果表格，对照着看哪些任务它强、哪些弱，比看结论有用。原文入口在 datawhalechina.github.io/so-large-lm，配套代码和更多章节也在仓库里。

后面几章里，第 3 章讲模型架构、第 13 章讲智能体，与本站在应用阶段的文章直接衔接，我会陆续整理成精读笔记发布。