我最近把散落在各处的学习笔记重新翻出来准备用一篇长文把大模型这条线的来龙去脉串一遍。起因很简单有朋友问我现在到处都在说大模型、LLM、多模态、智能体这些东西到底是哪来的我发现自己虽然能随口说出几个模型名字但真要把发展史讲清楚还是得回到笔记里重新捋。这篇东西就是那轮整理的产物它不追求成为教科书更多是站在一个实践者角度记录我认为重要的关键节点、背后的推力以及我栽过的跟头。适合刚接触大模型的开发者、想建立整体认知的产品和技术同学还有那些被各种热词轰炸却还没理清线索的人。整条发展史在我脑子里其实不是一条直线而更像一棵树底层是语言模型的老问题中间几根主干分别长出了 Transformer、预训练、Scaling Law、对齐和 Agent。后面我会按这几条线索展开章节里会混着技术原理、历史背景和个人经验读起来会比较像一份“会持续迭代的笔记”而不是一篇结论式教材。1. 从“数单词”到“看上下文”大模型史前阶段的三座陡坡1.1 n-gram 与数据稀疏第一座叫“组合爆炸”的墙在 Transformer 出现之前语言模型的核心任务是估计一个句子出现的概率 P(w1, w2, ..., wn)。最朴素的做法是拆成条件概率连乘再用 n-gram 近似只看前面 n-1 个词比如 trigram 就是 P(wi | wi-2, wi-1)。这个思路听起来很合理但一旦把 n 稍微调大问题就来了语料里几乎所有长一点的词组都只出现一次甚至一次都不出现。假设词表有 5 万词trigram 组合数量是 5 万的立方量级任何语料都覆盖不了。学术界管这叫数据稀疏。我刚开始学的时候觉得 n-gram 好像挺聪明的直到自己动手统计一个小型语料才发现trigram 里能命中的比例低得惊人。为了对付稀疏当年有一大堆平滑算法比如 Good-Turing、Kneser-Ney本质都是把没见过的概率匀一点出来。但这些修修补补都在同一个框架里打转模型记的是“词串出现的次数”而不是“词背后的意义”。这就导致 n 一大计算量和稀疏度一起爆炸语言模型始终停留在很浅的局部模式上。这是我理解中第一座必须翻越的墙组合爆炸。1.2 神经网络语言模型与词向量从符号空间走进连续空间转折点在 2003 年 Bengio 那篇《A Neural Probabilistic Language Model》。这篇论文做的事其实很朴素用神经网络去建模前 n 个词的联合概率同时在训练过程中把每个词映射成一个低维稠密向量。这个向量后来被叫做词向量或 embedding。关键不是那层网络本身而是“连续空间”这个念头以前词和词之间是离散符号“猫”和“狗”除了都有一个汉字外没有任何关系进了向量空间之后语义相近的词会落在附近。我当时看完最大的震撼在于模型不是为了表示词义才去学 embedding 的它只是为了把概率算得更准顺手把词的分布特征榨了出来。这就是表示学习最经典的味道目标是任务的副产品却成为后续一切上层建筑的地基。后面无论模型做多大、参数做多密输入侧第一层仍然是把 token 转成 embedding。大模型真正继承的不是 2003 年的网络结构而是“用连续向量表示离散语言单位”这个底层世界观。1.3 RNN/LSTM 的遗产顺序计算与注意力雏形再把时间拨到 2014 年之后RNN、LSTM、GRU 开始统治序列建模。LSTM 通过门控机制在一定程度上缓解了梯度消失可以记住比较长的信息。但它的致命弱点是顺序计算当前时刻的隐状态依赖上一时刻的输出GPU 就算有几千个核心也没法把一个句子里的词并行处理。要训练更深的网络、更长的序列只能在一个时间步接一个时间步地推效率非常低。还有一个隐蔽问题RNN/LSTM 的“记忆”是压缩式的。无论前面读了多长最终都得压进一个固定长度的向量里再从这个向量解出后面所有内容。长距离信息经过多次非线性变换后基本被磨损光了。于是 2015 年前后机器翻译里出现了注意力机制Bahdanau 等工作解码时不再只盯着那一个压缩向量而是每一步都回过头去在编码器输出的所有位置上做一个加权求和。加权权重就是“现在应该看哪里”的意图。这个设计一开始只是辅助但它提出了一个非常重要的范式信息不必全部塞进状态里可以保留一个外部记忆按需检索。后来 Transformer 做的事情本质上是把这个辅助机制捧成绝对主角。个人笔记学大模型千万别跳过 RNN/注意力雏形这一环。很多人直接读 Transformer 论文会以为 Q/K/V 是天上掉下来的其实它就是从“按需加权”这个直觉一步步长出来的。2. Transformer 凭什么笑到最后一个架构选择背后的四个理由2.1 self-attention 的“全员检索”设计长依赖被一步拉直2017 年《Attention Is All You Need》把注意力机制直接变成了整个网络的主干。每一个 token 都生成三个向量Query、Key、Value。Query 相当于“我想找什么”Key 相当于“我是谁”Value 相当于“我携带的内容”。句子里的每个 token 同时当检索者和被检索者用 Query 去和所有 Key 做点乘得到分数再 softmax 成权重最后对所有的 Value 加权求和。用一句话概括全员互相检索一步直达。这跟 RNN 最大的区别是路径长度。在 RNN 里第 100 个词要影响第 1 个词信息需要沿着时间步走 99 步哪怕 LSTM 有门控也经不起这么折腾。而在 self-attention 里任何两个位置之间都只有一跳无论句子长度是多少信息路径长度始终是 1。这就是为什么它能捕捉长程依赖。理解这一点后你会明白 transformer 的强项不是“记忆好”而是“被检索的效率高”。2.2 并行计算与规模友好GPU 时代的第一性原理Transformer 第二个容易被低估的理由是并行度。self-attention 对整句话的所有 token 可以同时做矩阵乘法位置的先后只是通过 position encoding 加到向量里不参与计算依赖。于是同一句话可以在 GPU 上打成一个大矩阵一次算完。这让 Transformer 成为第一个“规模友好”的架构数据越多、GPU 越多它的训练吞吐量越大而 RNN 却因为串行很难吃下更多算力。当时我做过一个对比实验用同一批数据分别搭 LSTM 和 Transformer 的 base 模型在同样数量级参数下Transformer 在 GPU 上的训练速度明显更快。更关键的是只有并行化程度足够高后续做上万亿参数的预训练才成为可能。这是工业界选择 Transformer 的一个很实际的原因而不是什么“理论美感”。2.3 预训练路线的分裂与统一GPT 与 BERT 的分岔口2018 年出现了两条路线。GPT 用 Transformer 的 decoder 部分做自回归语言模型给前文预测下一个词训练目标单一BERT 用 encoder 部分做掩码语言模型随机盖住一些 token让模型根据上下文猜目标偏“理解”。前者天生适合生成后者在当年一堆理解类任务如分类、抽取上屠榜。很多初学者只知道 GPT 一路高歌却不知道 BERT 曾经在相当长一段时间里霸占着榜单以至于工业界预训练微调范式几乎被 BERT 路线定义了。我重新读两者的对比后总结出的本质区别是GPT 训练时看的只是左侧上下文所以做生成非常自然BERT 同时看左右两侧确实能拿到更多信息但它不是一个概率化的生成模型。后来 ChatGPT 火爆之后许多人回过头去研究“为什么不是 BERT 变成了聊天助手”答案也在这里聊天本质上是语言生成decoder-only 的自回归目标与对话任务最匹配。2.4 decoder-only 成为主线为什么生成目标反而更通用随着 GPT-3 展现出 few-shot 能力越来越多实验发现decoder-only 模型在下游任务上并不输给 encoder 或 encoder-decoder而且结构更简单输入输出都是同一种 token 序列训练和推理共用一套代码。相反BERT 风格的模型在需要“把整段文本压成一个表示”的场景里好用但一旦要自由生成文本、调用工具、做多轮对话就有点束手束脚。于是大模型时代走向了“少就是多”简化结构统一任务为 next-token prediction把能力留给数据和规模去涌现。这里要补一个我的教训早期我也觉得“BERT 理解强GPT 生成强那就用 encoder-decoder 两全其美”实际在 T5 上折腾后才发现结构越复杂训练目标越多调参和部署的边际成本越高。大模型的演进方向里很重要的一条就是“把复杂度从模型搬到数据和训练范式中”。这也是后来很多人说的大力出奇迹但前提是架构足够简洁能被大力推动。3. 参数、数据、算力的三角平衡Scaling Law 如何塑造大模型的今天3.1 三条幂律曲线模型不是想多大就多大2020 年 OpenAI 的 Scaling Laws 论文给出了一系列经验性的幂律关系在合理的训练范围内语言模型的损失和模型参数量、训练数据量、计算量之间都呈现出近似对数线性的下降趋势。换句话说当你把模型扩大 10 倍但数据不变损失一开始会降然后迅速进入平台期必须同步扩大数据和算力才能继续压损。这个结论带来的行业影响非常大它让“千亿参数”“万亿 token”不再是为了炫耀而是一套有依据的资源配比游戏。我在自己的小规模实验里也验证过这种感觉把一个小模型反复增大参数量但训练数据只有几百万条结果过拟合得很厉害。很多人看到 7B、13B 模型在跑分表上差距大会简单归因于“参数越多越强”实际上数据质量、训练时长、学习率调度都同样重要。Scaling Law 给我的真正启发是做模型不是堆参数而是要确保参数、数据、算力三者同步增长像一个三角形的三条边。3.2 MoE 与稀疏激活用“分头行动”绕过算力瓶颈参数规模到了一定程度稠密模型每次推理都要激活全部参数成本高得吓人。于是出现了混合专家模型MoE把原来一整块 FFN 换成多个并行的专家网络由一个 router 学习“当前 token 该交给哪些专家”通常只激活 top-2 或 top-1。这样一来总参数量非常大但每次推理激活的参数量远小于总量相当于用“存储上的大”换“计算上的小”。我最早被 MoE 吸引是因为 DeepSeek-V3 这类模型总参数量 671B但每个 token 只激活约 37B 参数推理成本接近一个 40B 左右的稠密模型效果却接近更大的稠密模型。当然 MoE 不是没有代价显存占用仍与总参数相关需要张量并行router 的训练稳定性也一直是工程难点。但从发展史看MoE 是大模型解决“更大更强”与“算力有限”这对矛盾的一条重要路径后面只会越来越多见。3.3 模型规模的公开脉络一张表看尽参数演进整理学习笔记时我习惯把关键模型列成一张对照表便于记住脉络。年份模型参数规模关键意义2017Transformer base/large65M/213M注意力机制成为唯一主干2018GPT-1117M首次将 Transformer 用于预训练语言模型2018BERT-Large340M预训练微调范式推向主流2019GPT-21.5B展示零样本生成能力2020GPT-3175B少样本上下文学习能力涌现2022ChatGPTInstructGPT 系列未公开对齐技术让对话体验质变2023Llama 系列7B/13B/70B开源权重推动本地研究与部署2024Llama 38B/70B/405B开源模型逼近闭源头部2024-2025DeepSeek-V3 等 MoE 模型671B激活约37B稀疏激活大模型走向工程化如果只让我保留三行我会选 2018 的 GPT-1/BERT、2020 的 GPT-3、以及 2022 的 ChatGPT。前两个定义了技术范式第三个定义了产品形态。后面这些模型虽然数字更大但基本是在这几根柱子上做增量。3.4 开源权重与闭源服务的双螺旋生态如何被重塑GPT-3 刚出时普通开发者只能通过 API 使用模型权重不开放。这也催生了后来很强烈的开源运动。Meta 的 Llama 系列开了一个大口子让高校、研究机构和中小公司都能基于开源权重做二次开发之后又出现了 Alpaca、Vicuna 等微调方法用很低的成本就能复现指令微调效果。这段时间我亲身体会最大的是一个局面闭源 API 负责“能力上限”开源权重负责“场景定制和数据安全”双方互相借鉴整体生态被快速拉起来。最近热词里总出现“免费大模型 API”“本地部署大模型”其实背后就是这条双螺旋开源权重降低门槛服务商又通过 API 把大模型变成一种自来水。作为开发者我的建议是不要把开源闭源当成信仰而是按数据敏感度、成本预算和效果需求来做选择题。发展史也证明这两条路不是竞争而是在彼此成就。4. 能力边界的三次外推微调、对齐、多模态与智能体4.1 从“预测下一个词”到“听懂指令”RLHF 为什么是分水岭严格说GPT-3 只是“很会接话”但用户问它问题它不一定按人的意图回答。2022 年的 InstructGPT 通过三步走改变了大模型的能力边界第一步用人工标注的指令数据做监督微调第二步让模型生成多个回答再由人类比较排序训练一个奖励模型第三步用强化学习PPO让模型朝着奖励模型的方向优化。这就是 RLHF。它解决的不是“是否知道答案”而是“是否愿意并知道如何按用户想要的方式回答”。我到现在依然觉得RLHF 是大模型发展史里最容易被低估的一环。它把“人类偏好”变成了可优化的目标而不是靠拍脑袋堆数据。但这套流程代价很高数据标注贵、训练不稳定、容易让模型变得过于讨好而牺牲事实性。所以后来又有 DPO 这类更轻量的对齐方法直接通过偏好数据微调模型不需要训练奖励模型。对齐技术的演进本身就是大模型从“demo”走向“产品”的核心推动力。4.2 指令微调与 LoRA/QLoRA小团队也能改造大模型在预训练之后想让模型更贴合某个垂直场景最常见的手段是指令微调。传统全参微调需要存一份完整优化器状态7B 模型全参微调在普通单卡上几乎跑不动。LoRA 的做法是把原模型权重冻结在旁边加两条低秩矩阵只训练这两条。参数量可能只有原模型的 0.1% 到 1%显存需求大幅下降。QLoRA 再把底座量化到 4bit单张 24GB 显卡就能微调 7B/13B 级别的模型。我自己的实操结论是LoRA 适合改变模型的表达风格、输出格式、工具调用习惯但不适合给模型“灌入”大量它本来不知道的新知识。有些人指望微调能让模型学会某个私有知识库结果基本会失望知识应该走 RAG 或继续预训练而不是挂在 LoRA 里。同时微调数据质量比数据量重要太多几十条高质量样本往往就能带来肉眼可见的变化。这一点我在很多公开数据集上反复体验过。4.3 上下文长度的军备竞赛长文本是能力但不是万能药GPT-3 时代的上下文长度只有 2048 token稍微长一点的文章就对不上号。后来 RoPE、ALiBi 这些位置编码方案让模型具备了一定外推能力FlashAttention 又优化了注意力的显存和速度各家开始把上下文从 4K 一路推到了 32K、128K甚至 1M token。这个数字确实有用能一次性塞进一本书或一份大型代码库。但工程上的真相没有那么浪漫。我在一个文档问答项目里专门测过长上下文模型发现把关键信息放在长文档中间位置时回答准确率明显下降这被戏称为“lost in the middle”。所以做应用时不能真的把全部内容都丢进 prompt还是要配合段落切分、检索排序把关键证据放到上下文的前部或尾部。上下文长度是模型能力的“可用于”不等于“已掌握”。把它理解为一种缓冲区和包装规格不要理解成记忆力或智商。4.4 多模态与 Agent模型开始同时“看图”和“动手干活”大模型的另一个重要外推是从纯文本走向多模态。CLIP 先把图像和文本拉到同一个向量空间GPT-4V 等模型则把视觉 encoder 的输出作为 token 序列喂给语言模型让模型能看图说话。现在开会的时候很多人喜欢直接拍一张白板丢给模型让它整理纪要这就是多模态最实际的使用场景。还会有更多模型把音频、视频、文档结构统一进同一个表示空间但难点不在网络结构而在数据配比和对齐训练。除了多模态“智能体”也在把大模型从“嘴”变成“手”。Agent 的核心循环是模型接收任务调用工具或写代码观察返回结果再决定下一步。这个过程中模型不再是单纯生成文本而是在做规划、执行、纠错。我在做一个内部小助手时发现把工具调用定义得越明确、返回结果越结构化模型的表现越稳定如果工具返回一堆自由文本模型很容易迷路。所以 Agent 的本质不是模型变聪明了而是工程上给模型装了可以反复试错的循环。5. 我的学习复盘和避坑记录给同样在啃大模型的人5.1 我建议的入门顺序先跑通闭环再回头补理论我见过太多人从“背 Transformer 公式”开始背完 QKV 还是不懂为什么大模型能聊天。如果让我重新学我的顺序会是先注册一个商业模型 API 或部署一个小模型把“输入 prompt、输出内容”的闭环跑通然后换几个提示词感受上下文学习、指令遵循、多轮对话接着在公开榜单上挑两类模型对比最后再去啃 attention 论文和预训练细节。先看到现象再寻找解释。我踩过的坑是反过来的。一开始我花了两周研究位置编码的旋转变换却没动手跑一个 demo结果找个朋友演示时连 API 的 system prompt 都写不顺畅。后来把这个顺序倒过来学习效率反而高很多。大模型领域更新太快先建立“能用”的体感再追求“懂原理”比从理论往应用推要省力得多。5.2 容易误判的五个问题参数、跑分、上下文、量化、微调这里整理几条我在社区里反复看到的误判也给一些修正笔记。参数越多越强不一定。稀疏 MoE 总参数很大但激活参数和部署成本要看后者小模型训练充分后也能击败较大的欠训练模型。跑分高就是好用榜单数据容易被污染必须拿自己的真实任务去测往往换一个领域排名就完全变样。上下文长就什么都记得住长上下文存在位置偏置关键信息应放开头/结尾或用 RAG 辅助。一量化就损失严重4bit 量化在多数场景会有轻微掉点但配合微调或更高质量的校准数据让人很难察觉先跑量化版本不能拍脑袋拒绝。微调能解决一切需求微调擅长改变行为风格和指令遵循不擅长补充新知识私有知识建议走 RAG必要时再做持续预训练。这五条每一条我都能展开写但它们本质上指向同一个态度把“别人说”换成“我实测”。大模型是一个经验学科跑一下比猜一万次都有效。5.3 本地部署和 API 选型不同目标的不同答案结合“本地部署大模型”和“免费 API”这些热词我给一个基于目标的选型建议。如果你只是尝鲜、做原型验证商业 API 最省心尤其是需要追踪最新能力和多模态的场景如果团队有数据保密要求或需要反复调用高并发推理则要用本地部署或私有化服务如果只是为了学习原理一台 24GB 显存的机器加 Ollama 或 LM Studio跑 7B/14B 的量化模型完全够用如果做具体项目可以考虑 vLLM 这类推理引擎提升吞吐再配 FastGPT、Dify 做应用层。没有一种方案是绝对免费的。本地部署看起来不要按次付费但硬件折旧、运维、模型微调都是隐性成本。我的建议是先拿免费或低价的 API 验证产品逻辑再根据用户量和数据敏感度决定是否迁移到本地。这条路线我走下来比较顺也算是一种用便宜方式试错的经验。整理这版笔记时我最大的体会是很多看起来突然爆发的概念其实都有漫长的伏笔。注意力机制在机器翻译里当了很多年配角next-token prediction 也被当作过于简单的目标但时间证明简单且可扩展的设计往往走得最远。如果你也在整理自己的学习资料我建议边读边写把每个关键论文发表时间、牵动的后续工作都标出来这套笔记我会继续迭代因为发展史还没写完写笔记的人也只能跟着跑。