2小时、3块钱在自己电脑上养一个AI我把minimind源码翻了一遍你有没有想过ChatGPT、Claude这些AI到底是怎么练出来的大部分人的认知停留在很厉害、很多服务器、很贵这一层。GitHub上有个叫 minimind 的国产开源项目做的事很直接把这个练AI的过程压缩到你一张消费级显卡上2小时跑完成本大概3块钱人民币。我翻了一遍这个项目的README、源码结构和技术文档把里面的技术点都理了一遍。这篇文章用大白话给你讲清楚——这个项目到底在干什么、AI模型内部长什么样、训练一个模型分几步走。哪怕你不会写代码也能看明白。先搞懂这个项目到底是干嘛的一句话它把一个完整的AI大模型训练流程做成了普通人能跑通的教学样本。打个比方。你想学开车有两种方式一种是直接坐进特斯拉自动驾驶里你啥也学不会另一种是开上驾校的手动挡教练车离合、油门、方向盘每个部件你都能摸到。minimind就是那辆教练车。它训出来的模型叫64M参数什么概念呢GPT-3是1750亿参数这个是6400万参数——大概是GPT-3的两千七百分之一。所以它很笨回答问题经常磕磕绊绊。但它的价值不在于聪明而在于完整从数据清洗、让模型学说话、教它听指令、教它说人话到最后能调用工具每个环节你都能亲眼看到、亲手跑一遍。项目地址github.com/jingyaogong/minimind目前6.3万Star作者是国内开发者 jingyaogong。它跑起来是什么样先给你看看成品。训练完之后项目自带一个网页聊天界面你可以直接跟它对话你问它为什么太阳东升西落它会回答你。虽然逻辑还比较初级但这是它从零开始、靠自己读数据学出来的不是网上抄的答案。右边那个推理内容展开是它的思考过程——现在流行的推理模型比如DeepSeek-R1都有这个设计minimind也把这个能力做进去了。AI模型内部长什么样拆开给你看很多人以为AI模型是个黑盒子。其实它的结构是公开的叫Transformer一种让AI理解词语之间关系的神经网络结构。minimind用的就是这个结构只是缩小了很多倍。这张图看着复杂我给你拆成几块讲最左边文字怎么变成AI能懂的数字。你输入hello world先经过Tokenizer分词器——你可以理解成一个翻译官把人类文字切成一小块一小块专业术语叫 token可以是一个词、半个词或者一个字每块对应一个数字编号。然后这些编号送进Input Embedding输入嵌入给每个词一个初始坐标。中间那个紫色框Transformer层重复8次。这是模型的核心由两个部件组成GQA分组查询注意力注意力机制本身就是在做找重点——读一句话的时候自动判断哪些词之间关系更紧密。比如小明把书给了小红它知道书和给关系大和小红关系也大。GQA是这个注意力机制的一种优化方式通过让多个查询共享一组键值对来减少显存占用是现代大模型常用的省显存技术。FFN前馈网络注意力看完上下文之后FFN负责做思考——对每个位置的信息做非线性变换加工出更丰富的表示。图里写的SwiGLU是一种门控FFN结构简单说就是给信息加了个闸门决定哪些信息该通过、哪些该过滤是Llama等现代大模型采用的主流FFN设计。右边那个图里还有两个细节RMSNorm均方根归一化一种让训练更稳定的技术就像考试前把成绩标准化一下不让某一科分数特别高带偏整体。RoPE旋转位置编码告诉模型每个词在句子里的位置。没有它模型读狗咬人和人咬狗会当成同一句话。最上面SoftMax归一化指数函数把模型的输出变成一个概率分布——下一个词最可能是什么。比如你输入今天天气真它算出好的概率最高就输出好。训练一个AI分几步完整流程图很多人以为训模型就是喂数据一步完事。其实是有阶段的就像培养一个人上学先上学读书学知识再上培训班学技能再进入社会实习学做人。对照这个图我给你讲每一步在干嘛环境准备 数据准备装Python和PyTorchAI的基础框架下载作者预处理好的中文语料。数据是jsonl格式一行一条文本记录。预训练Pretrain这一步是上大学。让模型读大量中文语料学会语言的基本规律——什么词后面接什么词、句子大概什么结构。这个阶段结束后模型已经会说话了但它不懂怎么跟你对话。监督微调SFT, Supervised Fine-Tuning这一步是上班培训。用问答对比如问题11等于几答案2教模型学会听到指令后怎么回答。经过这一步你才能跟它聊天。LoRA微调可选如果你有自己领域的数据比如医疗、法律不用重新训练整个模型只调一小部分参数就行。LoRA是一种高效微调技术省时间省算力。DPO直接偏好优化这一步是教它说人话。让模型对比好答案和坏答案学会人类更喜欢哪种表达方式。经过这一步回答会自然很多。推理部署训练完了导出模型权重启动一个聊天界面你就能跟它对话了。作者在3090显卡上实测预训练SFT加起来大概2小时租云显卡大概3块钱。还有个进阶版MoE混合专家模型上面讲的是Dense稠密模型就是所有参数每次都参与计算。作者还做了一个MoE版本**MoEMixture of Experts混合专家**的思路很有意思不把所有知识塞进一个大网络而是做成多个专家小网络。每次来了一个问题由一个路由层判断这个问题该找哪个专家回答只激活1-2个专家。好处是模型总参数可以做得很大但每次实际计算的参数很少又聪明又省算力。DeepSeek-V3、Mixtral这些大模型用的都是这个技术。minimind把它做了个64M的小版本让你能亲手体会MoE是怎么工作的。自己动手跑一遍要什么条件门槛比你想的低硬件最低4GB内存就能跑用小batch加梯度累积CPU也能跑。推荐8GB以上显存的N卡3090/4090最佳训练速度会快很多。没有N卡也能跑就是慢不推荐。Python3.10以上版本。磁盘数据集大概2-3GB留个5GB空间。代码就三行gitclone https://github.com/jingyaogong/minimind.gitcdminimind pipinstall-rrequirements.txt# 具体脚本名以仓库最新README为准# 运行预训练脚本作者已经把数据集预处理好了你不用自己搞数据。想试效果但不想训练也可以直接下载作者训好的权重跑一个streamlit run web_demo.py就能聊天了。说点实话这个项目的局限别被2小时训大模型的标题带偏了。看完文档和源码后说几个真实感受**第一训出来的模型真的很笨。**64M参数你别指望它能写代码、能做数学题。它能做的就是简单对话逻辑经常不通顺。它是教学样本不是生产工具。你想要能干活的小模型直接用Qwen2.5-0.5B或者Llama-3.2-1B别从头训。**第二文档不够友好。**有些参数怎么调、不同版本有什么区别你得自己翻代码和GitHub Issue。作者更新很快网上很多旧教程已经过时了。建议直接看仓库里最新的README别跟着老博客跑。**第三你得真的想搞懂AI才能体会它的价值。**如果你只是想体验一下AI跟ChatGPT聊两句就完了这个项目不适合你。它是给那些想搞清楚AI底层到底怎么运作的人准备的。它适合谁我觉得三类人最适合学生和初学者你看了很多Transformer的论文和博客但从来没亲手跑过一次训练。从这个开始门槛最低每个模块都能拆开看。想转AI方向的开发者你平时只调用OpenAI API想搞懂底层到底发生了什么。跑一遍minimind比读十篇博客都直观。做教学的老师找一个能在课堂上带着学生跑完整训练流程的项目这个目前是最完整的。总的来说minimind是我今年见过的最用心的AI教学项目。作者没做花里胡哨的demo页面就是老老实实把代码写清楚、把流程跑通、把数据备好。这种项目在GitHub上其实不多见。如果你看完还是觉得太技术了看不懂那也正常——这个项目本来就是给想深入的人准备的。下一期我会挑另一个热门项目继续拆解可能更贴近你的工作场景。项目地址github.com/jingyaogong/minimind注部分内容由 AI 生成