这两年我一直在追大模型这条技术线眼看着圈子里从“Transformer是什么”一路聊到“多模态Agent怎么落地”。但说实话真正能把这门技术讲透的人不多原因很简单——大多数人是一步步踩坑踩过来的没时间停下来把这条发展脉络完整捋一遍。于是我就自己动手整理了一份大模型的发展史学习笔记今天这篇文章就是把这份笔记中最核心的部分分享出来。提到“大模型”绕不开的关键词无非是架构、预训练、微调、上下文长度、多模态还有最近特别多人搜的免费API、本地部署、私有化部署、AI智能体应用。这些词看着零散其实都是同一个演进逻辑的不同侧面。你如果一上来就啃Llama、ChatGPT的论文多半会被模型规模的数字搞得晕头转向但如果先建立一个时间轴——知道GPT系列、BERT、多模态模型分别是为什么出现、解决了什么问题——再回头看各种技术方案和实操教程思路会清楚很多。这份笔记适合三类人看一是刚入门、搜了一堆“大模型学习路线”却不知道从哪下手的同学二是已经在做应用开发、想把底层逻辑补全的工程师三是准备给自己的企业做私有化部署或微调、需要判断技术路线的决策者。我会尽量把“为什么这么做”讲透而不是只罗列年份和名词。1. 为什么现在要补“大模型发展史”这堂课1.1 技术迭代太快缺一个“锚点”大模型相关的热搜词几乎天都在变今天大家讨论“大模型微调实战”明天热搜变成“免费大模型api”后天又冒出“多模态大模型最新进展”。如果你没有一条时间线作为锚点很容易被碎片信息带着跑。举个例子你刚学会用Ollama部署本地模型结果发现网上又开始讨论用LM Studio做可视化管理和MCP协议接入Unreal Engine 5.6了。这些工具链看着都是新东西但你只要知道它们都在解决“把模型接入业务系统”这件事就能很快归位。我的建议是把学习顺序倒过来先建立发展史的框架再往框架里填具体的工具和代码。这个框架越清晰后面学什么都快。1.2 历史会告诉你“哪些坑是躲不掉的”发展史最有价值的不是记住几个年份而是看到技术路线的取舍。比如早期业界拼命把模型做大结果后来发现上下文长度不够用于是又花大力气研究稀疏注意力、位置编码外推。今天你能在几千块钱的消费级显卡上跑起一个带长上下文的模型不是某个工具突然变强了而是前面几年好几代研究者把坑填平了。这个过程没法跳过你从历史里看到这些坑实操时就能少交学费。2. 大模型的前世从词向量到Transformer的突围2.1 语言模型的基本问题与词向量时代语言模型的任务概括成一句话就是预测下一个词出现的概率。这个任务从统计语言模型时代就有了——n-gram模型靠统计相邻词共现频率来猜下一个词。但它的局限非常明显数据稀疏。语料里没出现过的词组概率就是零而且它完全不懂词与词之间的语义关系。神经网络时代改变这个局面的关键一步是词向量。Word2Vec这类方法把每个词映射成一个稠密向量让“皇帝”和“国王”这类词在向量空间里靠得很近。这一步的意义往大里说是把“符号”变成了“数学对象”机器终于能对语义做计算了。但词向量有个天花板它是静态的。“苹果”这个词在不同语境里意思完全不同可静态向量只会给它一个固定的位置。解决这个问题需要让模型根据上下文动态调整词义这就引出了双向LSTM和后来的Transformer。2.2 Transformer一场关于“注意力”的革命把时间线拨回2017年谷歌大脑团队那篇《Attention Is All You Need》发布。这篇论文最大的贡献是彻底抛弃了循环结构只用注意力机制建模序列。要理解Transformer为什么能称霸得先知道RNN/LSTM被什么问题卡住。循环网络天生是顺序处理——先看第一个词再看第二个词再第三个。这种串行结构导致两个致命问题第一训练无法并行GPU再强也只能一串一串喂第二长距离依赖很难建模。隔了五十个词的两个相关词信号传过去已经衰减得差不多了。自注意力机制解决这两个问题的方式非常优雅算出序列里每个位置对所有位置的相关性得分直接一步到位建模全局依赖。用生活话类比就好比以前你读一本长篇小说必须从第一页读到最后一页才能弄明白人物关系现在给你一张关系图谱每个角色跟谁有关系一眼就看到了。公式层面自注意力就是计算查询向量与键向量的点积再做Softmax归一化得到权重最后用权重对值向量加权求和。其中有个关键细节点积结果要除以根号下维度d_k。原因是维度高时点积分容易变大Softmax会进入饱和区导致梯度消失除一下能把数值拉回合理范围。这个细节看起来小很多初学者自己实现时会忽略结果训练就是不稳定所以值得多提一句。2.3 Scaling Law大模型的“大”到底意味着什么Transformer出来之后研究者发现一个奇妙现象只要把模型参数规模、训练数据量、训练算力同时放大模型下游能力会平滑提升而且表现出一些小的模型没有的“涌现”能力——比如上下文学习、思维链推理。这就是OpenAI在2020年那篇Scaling Law论文里总结的规律。这个发现直接引爆了军备竞赛。为什么今天所有大厂都在拼几千亿参数不是参数越多一定越聪明而是规模化被人用数学规律证明是一条稳妥的提升路径。后来DeepMind的Chinchilla论文做了修正指出模型规模与数据量应该同比扩大比例大约120也就是700亿参数的模型约需要1.4万亿训练token。这个“数据比模型更缺”的结论直接影响了很多团队的资源分配策略。从实操角度看理解Scaling Law最大的用处在于你不需要追求最大的模型而是要找到“参数规模-数据量-算力”三者的平衡点。这就像做饭不是食材放得越多越好而是配比对了才香。3. 三大里程碑GPT、BERT与多模态的演进3.1 GPT系列把“预测下一个词”做成了大生意OpenAI在2018年推出GPT-1核心思路很简单用Transformer解码器做语言模型先在大规模无标注语料上预训练再在具体任务上微调。相比BERTGPT的架构是单向的只能从左往右看但它天然贴合“生成”这个场景。GPT-2的参数规模提到15亿GPT-3直接飙到1750亿能力也随之跃升——少样本学习能力出现了你不需要微调给几个示例它就能照着做。真正让路线封闭的是后来的InstructGPT和ChatGPT他们在GPT-3的基础上引入RLHF基于人类反馈的强化学习让模型学会贴近人的偏好说话。这个过程有一个很有启发的点模型能力是一回事让用户觉得“好用”是另一回事。GPT-3的技术底子已经很强但输出经常长篇大论、答非所问。RLHF解决的恰恰是“对齐”问题也就是让模型的行为符合人类意图。今天很多团队做垂直领域大模型模型选好了部署好了最后效果不好往往就卡在对齐这一步而不是模型本身不够强。从GPT-1到GPT-4的路线来看每一个版本的核心变化其实都指向同一个方向让模型的生成更加可控、更加可靠、更加符合人的期望。这条主线把握住了后面看任何新模型都不会晕。3.2 BERT双向理解然后悄然退场与GPT单向生成路线对应的是Google在2018年推出的BERT。BERT用编码器加“掩码语言建模”的方式预训练随机掩盖一些词让模型根据上下文预测从而同时利用左右两侧信息。这种做法在理解类任务上表现非常好当年GLUE榜单被刷到怀疑人生。很长一段时间里业界的选择是“理解任务用BERT生成任务用GPT”。但后来生成式大模型把理解任务也一并完成了——你问模型问题它会回答本质上就是生成。而且生成式模型做信息抽取、文本分类用提示词和思维链往往也能达到不错的效果还不需要为每个任务单独微调不同的模型。现在的格局越来越清晰生成式大一统是主线。BERT更像是一个历史坐标系里的重要坐标点双向编码的思想被吸收进很多模型的编码器组件里但它作为一个独立的技术路线已经慢慢淡出主流视野。这个转变值得注意因为它说明了一个趋势通用能力比专用能力更有生命力。3.3 多模态与上下文长度当前最火的两条赛道最近的热搜词里“多模态大模型最新进展”和“大模型上下文长度”出现的频率非常高这两个方向确实是当前大模型演进最明显的两个发力点。先看多模态。当模型不仅能读文字还能看懂图片、听懂音频应用场景就彻底打开了——文档理解、知识图谱抽取、自动化内容审核、甚至机器人控制都开始用大模型做感知和决策。技术上主流方案是用一个视觉编码器把图片转成视觉token再把视觉token拼在文本token前面一起送进语言模型。OpenAI的GPT-4V、Google的Gemini、开源社区的Qwen-VL都走的是这个思路。上下文长度呢简单说就是模型一次能“记住”多少内容。去年大家还在为4K、8K的上下文奋斗今年动辄就是128K、256K。长度上去了很多以前做不到的事就能做了把整本技术文档喂进去让模型分析、给Agent挂上长时间的工作记忆、让多轮对话不丢前情。但注意一个容易误解的点上下文长度只代表“窗口能放多少”不代表模型一定能“有效利用”那么长的内容。有个很典型的现象叫“lost in the middle”——信息放在长文本中间位置时模型的召回率明显低于放在开头和结尾。所以做RAG检索增强生成时把关键信息塞进上下文就够用没必要把几十万字的原始语料一股脑灌进去。4. 从“史”到“用”当前技术版图的落地实践4.1 免费API与本地部署两条路线的选择逻辑每次有人在群里问“有没有免费大模型api”下面就会吵成一片。实际上免费API和本地部署是两条目的完全不同的路线没有优劣只有适合不适合。免费API的价值在于快速验证想法。很多云厂商都提供免费额度或限免版本适合个人开发者做原型验证、写工具脚本、跑课程作业。特别适合对“大模型能做什么”心里还没数的人。但免费API通常有限速、限上下文、数据隐私不受保护这些隐形条件如果你打算做付费产品安全合规上要仔细确认条款。本地部署是另一个方向。用Ollama部署私有大模型、再用FastGPT这类工具搭知识库问答已经是非常成熟的开源方案。本地部署的好处明摆着数据不出内网、无API费用、可以深度定制。代价是你要自己解决硬件问题——就算量化到7B的参数一张16GB显存的消费级显卡也只是“够用”要跑大参数模型或者并发服务成本并不低。我的建议是先用免费API跑通逻辑再评估哪块业务真正需要本地化。不要一上来就买显卡。很多传统企业的“私有化部署”需求实际每天调用量很小用API完全够真正需要本地部署的是数据敏感度极高的业务场景。4.2 微调、RAG与提示词工程不是“哪个最好”而是“按需组合”大模型微调是热搜常客很多人一上来就想着拿自己的数据微调一个模型。但实际上大部分场景根本不需要微调。先明确三者的分工提示词工程最轻量通过优化输入引导模型输出成本为零。适合规则明确、只改变行为风格的任务。RAG把外部文档切块、向量化、存进向量库问答时先检索相关片段再喂给模型。适合知识密集、需要引用来源的任务能有效缓解幻觉。微调改变模型本身的权重和记忆。适合输出格式要求严格比如特定JSON结构、领域术语密集、RLHF对齐都无法满足的场景。用生活化类比提示词工程像给员工写工作手册RAG像给员工配一个随时可查的资料库微调则是把员工送去进修从底层改变他的思维方式。三者的成本和风险是递增的所以正确路线永远是先手册、再资料库最后才考虑进修。如果确实要微调有几个实际操作要注意。第一数据质量远比数据量重要——几十万条低质量样本比三五万条高质量样本效果差很多DeepSeek那套数据标注标准里就特别强调标注一致性训练。第二全参数微调对GPU要求极高7B模型用LoRA在24GB显存的卡上就可以做这也是目前最主流的低成本方案。第三微调之后一定要做评测不要靠“感觉变好了”来判断要回测你的真实用例。4.3 AI智能体下一步最值得关注的落地方向“AI智能体”是今年大热词热搜上“ai智能体应用案例”、“java ai智能应用开发”、“UE5.6官方大模型MCP”都指向这个趋势。智能体和普通对话机器人的本质区别在于对话机器人只会“说”智能体会“做”。智能体的典型架构可以拆成四层感知层大模型理解用户输入、规划层拆解任务、制定步骤、工具层调用API、操作软件、访问数据库、记忆层记住用户偏好和上下文环境。比如让智能体帮你订机票它需要理解“下周三下午去上海”的需求分解成“查航班、比价格、选座位、生成订单”几个动作然后调用对应的接口完成操作。开发智能体最推荐的入门路径是先自己写几个简单的函数再用一个大模型API做路由和意图理解最后把工具调用封装成标准接口。实现的难点基本都集中在“让模型稳定地输出可执行指令”上现在主流的做法是用Function Calling机制让模型在生成文本的同时输出结构化的工具调用参数而不是让它用自然语言描述“我想调一下接口”。这部分的工程规范比模型本身的选择更影响最终效果。4.4 大模型安全投毒、幻觉与评测热度攀升的“大模型投毒测试”是一个被低估但非常实际的话题。投毒指的是攻击者在训练数据里植入恶意样本让模型在特定触发词下输出错误甚至有害内容。对普通开发者来说防范投毒的关键是不随意使用来源不明的数据集对拿到的公开数据集做抽样检查如果做微调注意验证训练样本的标签一致性。这些听起来很基本但实际项目里很多人因为赶进度跳过了后面出了安全事故才回头补课。幻觉则是更普遍的问题。模型一本正经地编造不存在的论文、法条、数据这是由建模方式决定的——语言模型本质上是在做“最合理的续写”它不区分“真实”与“合理”。缓解办法没有“银弹”主要靠RAG提供事实依据、靠提示词要求模型标注“不确定”、以及靠人工抽检兜底。评测是另一个值得单独研究的话题。网上流行各种“大模型跑分网站”但跑分只能做一个粗略参考。比如MMLU测常识知识HumanEval测代码能力它们在某个维度上有区分度却无法反映真实业务场景的痛点。更靠谱的做法是建立自己的评测集拿二三十个能代表你业务的真实问题固定成标准输入每版模型上线前后都跑一遍。这个“小成本评测集”的价值远高于刷那些公开榜单。5. 学习路线从入门到能干活5.1 一套可参考的四阶段路线很多新人搜“大模型学习路线”得到的是一堆视频课列表看完还是不知道先干嘛。我建议把路线压缩成四个阶段每个阶段都有明确的产出物不做完不进入下一阶段。阶段一跑通对话。用任一免费API或本地Ollama部署一个小模型完成一次标准的“输入-输出”。目标只有一个亲手建立“模型能听懂人话”的真实体感。阶段二掌握关键工程能力。学LangChain或FastGPT至少实现一个带RAG的知识库问答理解向量化、检索、重排这组概念。产出物是一个能回答你自己文档问题的demo。阶段三动手部署与微调。在本地完成模型量化部署性能打平API调用的80%再用LoRA微调一个小模型处理一个真实格式输出任务。这一步能帮你彻底搞懂显存、数据格式、模型保存这些底层细节。阶段四做真实项目。选一个具体的落地方向智能体、私有化部署方案或复杂业务集成。目标不是“学会”而是交付给真实用户使用。这个路线最大的特点是从第一个阶段开始就在做东西而不是光看教程。学习过程中你会自然遇到Ollama怎么接FastGPT、LM Studio怎么管理本地模型、怎么用MCP接入UE引擎这类实战问题带着问题去搜热搜词和文档效率比按部就班刷课程高一倍。5.2 用“笔记实验”的方式消化历史发展史不能只靠背时间线还要配合实验来加深理解。看完Transformer那篇论文就动手实现一个极小的自注意力模块读完BERT介绍就在HuggingFace上跑一次掩码词预测搞明白RLHF就去读一下InstructGPT论文里关于人类偏好数据的部分。理论每推进一个阶段代码就跟上一个阶段——这是目前公认最扎实的学习方法。而且我建议维护一份自己的实验笔记不写知识点只记录“我改了什么参数结果怎么变”。这份笔记的价值会在你做微调和模型选型时集中体现出来——你会发现自己早就亲手验证过很多热搜里的“最佳实践”比如温度系数对生成多样性的影响、上下文长度和模型输出质量的权衡等等。6. 常见问题与避坑实录6.1 高频问题速查问题表现原因解决思路本地部署后生成很慢每秒只出几个字显存不足导致部分层被卸载到内存量化模型、减小上下文长度、换小尺寸模型模型答不对长文档内容文档中间信息总被忽略长上下文注意力分散信息“迷失在中间”用RAG检索关键片段不要全量塞入免费API经常限流请求不稳定额度有限制压低并发、加缓存、评估本地部署微调后效果反而变差输出格式混乱数据质量差或学习率过高清理数据、降低学习率、退回RAG方案模型一本正经地编造内容引用了不存在的来源生成模型幻觉RAG加引用、提示词要求不确定时标明“不知道”智能体经常调用错工具输出参数无法解析工具描述不清晰或没有用Function Calling把工具描述写精确、加参数校验逻辑6.2 我踩过的一些坑希望能帮你跳过去第一个坑是追求“一步到位”。我最初做私有化部署时直接选了70B级别的模型结果发现推理速度根本满足不了业务需求。后来换成7B量化模型通过RAG和提示词优化把效果补了回来速度反而快了五六倍。这个教训的核心是算力不够时工程手段的价值大于模型升级。第二个坑是数据太“干净”。做微调时我反复清洗数据把所有噪声都去掉结果模型在真实场景的表现反而不如没有微调之前。后来才发现真实业务数据本身就带着口语化表达、无关信息和错误标注模型恰恰需要见过这些“脏东西”才能学会鲁棒处理。数据清洗做到去除明显错误即可不要“洁癖”。第三个坑是不重视评估。有一段时间我迭代模型全靠肉眼判断觉得“好像更流畅了”就算成功结果上线后用户反馈和预期差很多。后来我专门做了一个小型评测集每次改动模型之前先跑一遍打分记录。这个习惯改变了我的工作方式——从“感觉靠谱”变成了“数字过硬”。做这份学习笔记我最大的感触是大模型发展史不是一串名词的堆砌而是一连串问题的解答。今天你调用的每一个API、设置的每一个参数背后都有一段前人踩坑、试错、再复盘的历程。如果你能在学习工具的同时偶尔停下来往历史深处看一眼理解和效率都会不一样。后续我也会继续在这个方向上记录更多实操细节——下一篇我准备把RAG落地的完整代码案例整理出来感兴趣的可以保持关注。