精读 So-Large-LM（二）：从分词到架构，再拆开智能体

📍 你在这里　AI 应用 · 第 8 篇 / 共 8 篇

← 上一篇 IndexTTS：工业级零样本语音合成项目解析　·　下一篇 → PyTorch 基础环境安装

本文性质：开源教程精读与导读，非原文转载。内容基于 Datawhale 社区开源教程整理，属于个人学习笔记。

原文来源：《大模型基础》第 3 章 模型架构、第 13 章 智能体 Agent — Datawhale 社区（so-large-lm 仓库）

许可证：MIT ｜ 原文版权归原作者及 Datawhale 社区所有

上一篇 精读（一） 讲了大模型凭什么具备通用能力，当时留了话：第 3 章讲模型架构、第 13 章讲智能体。这篇把这两章补上——一个往里看，看模型肚子里有什么；一个往外看，看模型怎么长出手脚干活。

第 3 章：先把模型当黑箱，再一层层拆开

这一章的开场很聪明：不急着讲 Transformer，而是先把语言模型画成一个黑箱——输入一句提示（prompt），输出一段补全（completion）——先把「它在干什么」定下来，再拆「它怎么干」。想直接看细节的读者不会失望，后面每一步都拆得很细。

分词是第一道工序。 计算机不认识字，只认识数，所以第一步是把文本切成词元。章里对比了三种做法：按空格切（最省事，中文直接失效）、BPE 字节对编码、Unigram（SentencePiece）。BPE 的来历有意思，它是从数据压缩领域借来的算法：先给每个字符一个词元，然后统计哪些词元总是连在一起出现，把它们合并成新词元，反复迭代。这意味着词表是从训练数据里「学」出来的，而不是人预先定的——你喂中文语料，它就长出中文的切分方式。想从工程角度对照的读者可以看站内 文本向量化，两篇角度不同，一个讲原理、一个讲落地。

架构分三类。 按 Encoder 和 Decoder 的组合方式，语言模型被分成 Encoder-Only、Decoder-Only、Encoder-Decoder 三种。今天主流大模型几乎都是 Decoder-Only，但理解另外两种，才能看懂 BERT 和 T5 为什么适合不同的任务。这一节还回溯了 RNN——它今天看起来过时，可注意力机制是为了解决它的什么问题而生的，不了解 RNN 就记不住这个因果。

第 13 章：智能体是给大模型装上手和脚

这一章只有五千多字，但把 Agent 的骨架讲清楚了。开头用了一组很典型的对比：

• 简单问题——「欧洲最受欢迎的电动车品牌是什么？」，一个更新了数据的大模型直接答。
• 复杂问题——「过去十年欧洲电动车市场增长趋势如何，对环境政策有何影响？给我一张图表。」，这就不是单次问答能解决的了：得把问题拆成子问题，去查文献和数据库，再写代码画图。

把这类问题接住的东西就是智能体。它的核心组件是三件套：

• 规划：把大任务拆成小步骤，分无反馈规划和有反馈规划（跑完看结果再调整）；
• 记忆：短期记忆就是上下文窗口，长期记忆存在外部向量库里随时检索，还有把两者捏在一起的混合记忆；
• 工具：搜索 API、代码解释器、数学引擎……章里以 MRKL 为例，大模型当路由器，把查询分发给最合适的「专家模块」，可以是另一个模型，也可以是计算器。

和站内文章怎么接

这一章几乎是站内 Agent 系列的理论版：AI Agent 开发范式 讲落地框架，LangGraph 对应规划与状态管理的实现，Function Calling & MCP 是「工具」那条线的工程标准，检索增强生成 RAG 则对应长期记忆的一种做法。建议的顺序是：先读完这篇建立骨架，再回站内那几篇看代码怎么写。

原文阅读建议

第 3 章的 3.1–3.2（模型概括与分词）可以快读，3.3 架构部分值得精读，配合前面精读（一）里 GPT-3 那章的能力表一起看，「它为什么长这样」和「它为什么能干这些事」就对上了。第 13 章建议一口气读完，然后直接进站内 Agent 系列。原文入口在 datawhalechina.github.io/so-large-lm。

按预告，下一篇精读会整理 self-llm 的微调部分和一个完整的部署实例。