1. 从《千脑智能》第8到10章说起为什么一个搞AI的人要回头翻脑科学的书我平时的工作节奏基本是白天调模型、晚上看论文偶尔穿插一些工程落地的事情。大概两年前开始我养成了一个习惯每读一本跟AI相关的书都会顺手写一份读书笔记把书里的概念跟我手头正在做的项目做一次对照。这个习惯最初只是为了加深记忆后来发现它带来的收益远超预期——很多在工程里卡住的问题回头在脑科学的书里能找到一种完全不同的解释角度。《千脑智能》这本书我读得比较慢因为它不是那种可以快速翻完的技术手册。作者杰夫·霍金斯Jeff Hawkins是Palm和Numenta的创始人他花了大半辈子在做一个事情从神经科学出发反推智能的本质然后试图把这套理论变成可计算的模型。这本书的第8章、第9章、第10章是我个人认为全书最“硬”的部分因为它开始从“大脑怎么工作”过渡到“我们怎么把这个机制搬到机器上”。第8章讲的是大脑新皮层的参考框架理论第9章讲的是如何用参考框架来解释运动与感知第10章则直接触及了“智能机器”的架构问题。我之所以想把这几个章节单独拎出来写一篇笔记是因为我发现身边很多做AI的朋友包括我自己在早期都有一个思维惯性把深度学习当成智能的全部。卷积神经网络在图像上表现好Transformer在序列建模上表现好我们就默认“智能”就是这种模式。但霍金斯在书里反复强调一个观点当前的人工智能本质上是在做模式识别而不是在构建世界模型。这个判断在2020年之前可能还有争议但放到今天随着大模型在推理、规划、常识上的短板越来越明显这个观点反而越来越有说服力。这篇笔记我会按照我自己的阅读顺序来组织先拆解第8章的核心概念再讲第9章怎么把概念变成机制然后重点分析第10章提出的“千脑”架构最后结合我自己在深度学习项目中的一些经验聊聊这套理论对实际工作的启发。如果你是做AI算法、认知科学、机器人或者只是对“智能到底是什么”这个问题感兴趣这篇内容应该能给你一些不一样的角度。2. 第8章核心拆解参考框架不是比喻是大脑的底层数据结构2.1 什么是参考框架从“地图”到“坐标系”的认知跃迁霍金斯在第8章里提出的核心概念叫“参考框架”reference frame。这个词在机器人学、计算机图形学里很常见但在脑科学语境下它的含义要更底层。简单来说参考框架是大脑用来组织空间信息的一种坐标系。你摸一个杯子手指在杯壁上滑动大脑并不是在记录“手指在某个绝对位置”而是在记录“手指相对于杯子这个物体的位置变化”。这个“相对于”就是参考框架在起作用。我一开始读到这里的时候觉得这不就是SLAM里的局部地图吗但继续往下读才发现霍金斯的野心更大。他认为参考框架不仅仅是处理空间信息的它还是大脑处理所有知识的通用结构。你理解一个概念、记住一段旋律、规划一条路线背后都是参考框架在运作。换句话说参考框架是大脑的“通用数据结构”就像编程里的数组或者哈希表只不过它是神经元层面实现的。这个观点对我冲击很大。因为在深度学习里我们处理不同模态的数据用的是完全不同的架构图像用CNN文本用Transformer语音用RNN或者Conformer。但霍金斯认为大脑新皮层用的是同一套算法只是输入的参考框架不同。这意味着如果我们真的想复现智能可能需要找到一个统一的架构而不是为每个模态单独设计网络。2.2 新皮层的六层结构为什么大脑的“硬件”如此重要第8章里花了很大篇幅讲新皮层的解剖结构。新皮层是大脑最外层的那层灰质厚度大概2到4毫米但它是人类智能的核心。霍金斯强调新皮层最惊人的特点是它的“均质性”不管你取哪一块新皮层它的六层结构几乎是一样的。视觉皮层、听觉皮层、运动皮层在微观结构上差异极小。这意味着大脑并不是为每种功能设计了不同的硬件而是用同一套电路处理所有事情。这个六层结构里霍金斯特别关注的是第2/3层和第5层之间的连接。第2/3层的神经元负责表征当前的状态第5层的神经元负责输出运动指令。这两层之间的交互就是参考框架运作的物理基础。当你移动手指摸杯子的时候第5层发出运动指令第2/3层记录运动带来的感觉变化两者不断对齐就形成了一个动态的参考框架。我在读这部分的时候特意去翻了一些神经科学的论文发现霍金斯的描述虽然简化了但方向是对的。新皮层的这种“预测-校正”回路确实在很多实验里被观察到。比如在视觉皮层里第6层会向第4层发送预测信号第4层再把预测误差传回去。这种层级化的预测编码跟当前深度学习里的自编码器、预测编码网络有相似之处但大脑的实现方式要复杂得多。2.3 参考框架如何解决“稳定性-可塑性”困境神经网络领域有一个经典难题稳定性-可塑性困境。一个模型如果学得太快新知识会覆盖旧知识如果学得太慢又无法适应新环境。深度学习里的解决方案通常是经验回放、弹性权重固化之类的技巧但这些都是工程上的补丁不是根本性的解法。霍金斯认为大脑通过参考框架解决了这个问题。因为参考框架是“附着”在具体物体或概念上的当你学习一个新东西的时候你是在创建一个新的参考框架而不是修改已有的框架。旧框架保持不变新框架独立存在。这就解释了为什么你学会骑自行车之后再学骑摩托车不会把骑自行车的技能忘掉——它们是两套不同的参考框架。这个思路对我做持续学习continual learning的研究很有启发。我们现在的模型之所以会灾难性遗忘是因为所有知识都混在同一组权重里。如果我们能设计一种架构让每个新任务都生成一个独立的“参考框架模块”然后通过某种路由机制来调用可能就能缓解这个问题。当然这只是我个人的联想霍金斯在书里并没有直接讨论机器学习。2.4 从网格细胞到参考框架神经科学的证据链第8章里有一个让我印象很深的细节霍金斯把参考框架跟网格细胞grid cells的研究联系了起来。网格细胞是2005年在老鼠内嗅皮层里发现的一种神经元它们会在老鼠经过特定空间位置时放电形成一种六边形的网格模式。后来的研究发现网格细胞不仅存在于空间导航中还存在于抽象任务中比如在“概念空间”里导航。霍金斯认为网格细胞就是参考框架的神经实现。它们提供了一种通用的坐标系可以用于空间、时间、概念等各种维度。这个观点在神经科学界还有争议但它至少提供了一个可检验的假设。我在读到这里的时候特意去查了几篇关于网格细胞和深度学习的交叉论文发现已经有人尝试用网格细胞机制来改进强化学习的探索效率。虽然这些工作还比较初步但方向是很有意思的。3. 第9章深度解析运动、感知与预测的闭环3.1 感知不是被动接收而是主动预测第9章的核心论点是感知的本质是预测而不是被动接收。霍金斯举了一个很直观的例子你的眼睛其实一直在抖动微眼动但你看世界的时候并不觉得画面在晃。这是因为大脑在主动预测眼睛移动带来的视觉变化然后把实际输入跟预测做对比只把差异部分传上去。这个机制在工程上其实有对应物。视频压缩里的运动补偿、帧间预测本质上就是利用“上一帧运动向量”来预测下一帧只传输残差。大脑的做法类似只不过它的“运动向量”来自自身的运动指令而不是外部计算。这种“用运动指令预测感觉输入”的机制霍金斯称之为“感觉-运动闭环”。我在做视频理解项目的时候曾经尝试过一种类似的方法用光流预测下一帧然后把预测误差作为特征输入到分类器里。结果发现这种“残差特征”确实比原始像素更鲁棒尤其是在光照变化和遮挡的情况下。当时我只是凭直觉觉得这样做有道理读了第9章之后才明白这其实就是大脑的工作方式。3.2 参考框架如何随运动更新一个可计算的模型霍金斯在第9章里提出了一个具体的计算模型参考框架不是静态的它会随着运动不断更新。当你移动手指的时候第5层神经元发出运动指令同时这个指令会被复制一份送到第2/3层用来更新参考框架的位置。这个过程叫做“传出副本”efference copy在神经科学里是一个很成熟的概念。这个机制的关键在于大脑不需要等待感觉反馈来更新状态它可以用运动指令直接预测下一个状态。这就大大降低了延迟也解释了为什么我们能快速反应。在机器人控制里这种“前向模型”的思路已经被广泛使用比如模型预测控制MPC里就会用系统模型来预测未来状态。但霍金斯的模型更激进他认为大脑的每一层都在做这种预测而且预测是层级化的。我试着把这个思路套到Transformer上。Transformer的自注意力机制其实也是一种“预测”每个token都在预测其他token对它的影响。但Transformer没有“运动指令”这个概念它的预测完全基于输入序列。如果我们要引入类似传出副本的机制可能需要在模型里加一个“动作头”让模型不仅能预测下一个token还能预测自己的“动作”会带来什么变化。这听起来有点像世界模型world model的思路但霍金斯把它落到了神经元层面。3.3 从位置细胞到概念细胞参考框架的泛化能力第9章还讨论了参考框架如何从空间泛化到非空间领域。霍金斯提到大脑里不仅有位置细胞place cells编码空间位置还有“概念细胞”编码抽象概念。比如你看到一张熟悉的脸某个神经元会放电你听到一个熟悉的名字同一个神经元也会放电。这说明大脑用同一套参考框架机制来处理不同模态的信息。这个发现对我理解多模态学习很有帮助。现在的多模态模型通常是把不同模态的特征映射到一个共享空间然后做对齐。但霍金斯认为大脑不是先映射再对齐而是直接用参考框架来组织信息。视觉输入、听觉输入、触觉输入各自有自己的参考框架但这些框架可以通过运动指令来同步。比如你看到一个杯子同时摸到它视觉参考框架和触觉参考框架会通过“杯子”这个共同锚点对齐起来。我在做多模态检索的时候曾经尝试过一种“锚点对齐”的方法先用物体检测找到共同锚点然后在锚点周围提取局部特征做匹配。这种方法在小规模数据上效果不错但扩展到大规模数据时计算量太大。读了第9章之后我觉得可以借鉴参考框架的思路设计一种更轻量的对齐机制比如用运动预测来同步不同模态的参考框架。3.4 预测误差最小化智能的核心目标函数第9章的最后霍金斯提出了一个大胆的假设智能的核心目标函数就是最小化预测误差。大脑不断在预测下一步的感觉输入然后把预测误差传回去更新模型。这个过程持续进行就形成了学习。这个观点跟自由能原理free energy principle有相似之处但霍金斯把它具体化到了新皮层的六层结构上。我在读这部分的时候一直在想一个问题如果预测误差最小化是智能的核心目标那为什么深度学习里的损失函数五花八门分类用交叉熵回归用MSE生成用对抗损失。这些损失函数本质上都是在衡量某种“误差”但它们没有统一的形式。霍金斯的理论暗示可能存在一个更通用的目标函数能够统一这些不同的任务。当然这只是理论上的猜想目前还没有可落地的方案。4. 第10章重点剖析千脑智能架构与智能机器的设计原则4.1 千脑假设为什么大脑需要成千上万个模型第10章是全书最“工程化”的一章霍金斯在这里提出了“千脑智能”Thousand Brains Theory的完整架构。核心思想是大脑不是用一个统一的模型来理解世界而是用成千上万个独立的模型每个模型都在自己的参考框架里做预测然后通过投票机制来达成共识。这个观点跟当前深度学习的主流范式完全相反。我们现在的模型都是“一个大模型解决所有问题”比如GPT-4、PaLM参数量动辄上千亿。但霍金斯认为大脑的做法是“很多个小模型”每个模型只负责一小块区域或者一个特定视角然后通过某种机制整合起来。这种架构的好处是鲁棒性和可扩展性一个模型坏了其他模型还能工作新任务来了只需要增加新的模型不需要重新训练整个网络。我一开始觉得这个想法太理想化了因为“投票机制”听起来很模糊。但霍金斯在书里给出了具体的神经科学证据新皮层里的每个皮层柱cortical column都可以看作一个独立的模型它们通过第2/3层的横向连接来交换信息。这种横向连接不是简单的平均而是一种“共识形成”过程类似于贝叶斯推理里的证据整合。4.2 参考框架的层级化从皮层柱到整个大脑千脑智能的另一个关键点是参考框架的层级化。每个皮层柱有自己的参考框架多个皮层柱可以组合成更大的参考框架最终形成整个大脑的“世界模型”。这个过程不是简单的叠加而是一种“绑定”机制当多个皮层柱同时激活时它们会通过同步放电来形成一个统一的表征。这个机制在工程上很难直接复现因为同步放电需要精确的时间控制。但我觉得可以借鉴它的思想用多个独立的模型分别处理不同的输入视角然后通过注意力机制来整合。这其实跟多视角学习multi-view learning和集成学习ensemble learning有相似之处但霍金斯的理论更强调“每个模型都有自己的参考框架”而不是简单的特征融合。我在做目标检测的时候曾经尝试过一种“多视角投票”的方法用不同尺度的滑动窗口分别检测目标然后通过非极大值抑制来合并结果。这种方法在遮挡情况下表现不错但计算量很大。读了千脑智能之后我觉得可以改进一下不是用不同尺度而是用不同“参考框架”的模型比如一个模型专门看局部纹理一个模型专门看全局形状然后通过投票来决策。这样可能能在保持精度的同时降低计算量。4.3 智能机器的设计原则从千脑智能到工程实践第10章的最后霍金斯提出了设计智能机器的几条原则。第一条是“不要试图用一个模型解决所有问题”第二条是“每个模型都要有自己的参考框架”第三条是“通过运动来学习”。这三条原则听起来很简单但真正落地到工程上每一条都意味着巨大的架构变革。以“通过运动来学习”为例。现在的深度学习模型基本都是静态的你给它一批数据它学一个映射。但霍金斯认为智能体必须能够主动探索环境通过运动来生成训练数据。这其实就是强化学习的思路但霍金斯更强调“运动”本身是学习的一部分而不是一个独立的探索阶段。换句话说智能体在运动的过程中同时在做预测、更新参考框架、学习新知识。我在做机器人仿真的时候曾经尝试过一种“主动学习”的策略让机器人自己决定下一步去哪里采集数据而不是随机探索。结果发现这种策略确实能加快学习速度尤其是在稀疏奖励的环境里。当时我只是觉得这样做“更聪明”读了千脑智能之后才明白这其实就是大脑的工作方式运动不是为了到达某个目标运动本身就是学习。4.4 千脑智能与深度学习的对比互补还是替代读到这里你可能会问千脑智能跟深度学习到底是什么关系是互补还是替代我的看法是短期内互补长期可能替代。短期内深度学习在模式识别上的优势是不可替代的千脑智能的理论还太粗糙无法直接落地。但长期来看如果霍金斯的理论是对的那深度学习可能只是智能的一个特例而不是全部。我之所以这么判断是因为深度学习有一个根本性的局限它没有“参考框架”的概念。一个训练好的CNN你给它一张旋转过的图片它可能就认不出来了。但大脑可以轻松处理旋转、缩放、遮挡因为它有参考框架可以在不同的视角之间切换。如果我们能把参考框架机制引入深度学习可能会解决很多当前的难题比如少样本学习、持续学习、组合泛化。当然这只是我个人的判断霍金斯在书里并没有直接讨论深度学习。但我觉得作为一个AI从业者读这本书最大的价值不是找到一个现成的解决方案而是获得一种新的思考角度。当你习惯了用参考框架、预测误差、运动学习这些概念来看问题时你会发现很多以前觉得理所当然的设计其实都有改进的空间。5. 把脑科学理论落到AI工程我的实操映射与踩坑记录5.1 用参考框架思想改进目标检测的尝试读完第8到10章之后我花了大概两周时间试着把参考框架的思想用到目标检测任务上。具体做法是在Faster R-CNN的基础上加了一个“参考框架模块”用来预测目标相对于锚点的位置变化。这个模块的输入是锚点的位置和特征输出是一个偏移量然后把这个偏移量加到原始的边界框回归上。结果怎么样呢在小数据集上mAP提升了大概1.5个百分点但在大数据集上提升不明显。我分析了一下原因参考框架的核心是“动态更新”而我的实现是静态的只是在回归的时候加了一个偏移量没有真正实现“运动预测”。如果要真正复现参考框架可能需要让模型能够根据自身的“动作”来预测下一步的观察这需要引入一个序列化的训练过程。踩过的坑主要有两个第一参考框架模块的初始化很关键如果初始化不好模型会退化成原始的边界框回归第二参考框架的更新频率需要调参更新太快会导致训练不稳定更新太慢又起不到作用。我最后的经验是初始化用零均值小方差更新频率用0.1左右的学习率衰减效果比较稳。5.2 预测编码在视频压缩中的实际效果第9章讲的预测编码我在视频压缩项目里做过一个简化版的实现。思路很简单用前一帧和光流预测当前帧然后把预测残差编码后传输。解码端用同样的光流和前一帧重建当前帧。这个方案在低码率下效果不错比传统的H.264在相同码率下PSNR高了大概0.5dB。但问题也很明显光流的计算量太大实时性不好。我试过用轻量级的光流网络比如PWC-Net的简化版速度上去了但精度下来了最终PSNR提升只有0.2dB左右。后来我换了一个思路不用光流直接用前一帧的块匹配来预测虽然精度差一点但速度快很多整体性价比更高。这个经历让我意识到脑科学理论虽然优雅但工程落地需要考虑计算成本。大脑有上千亿个神经元可以并行处理但我们的GPU只有几千个核心不能简单照搬。所以我的建议是从脑科学里找灵感但落地的时候一定要做简化找到计算成本和效果之间的平衡点。5.3 多模型投票在集成学习中的验证千脑智能的“多模型投票”思想我在集成学习里做过验证。具体做法是训练多个不同架构的模型比如ResNet、DenseNet、EfficientNet然后在推理的时候用加权投票来合并结果。权重不是固定的而是根据每个模型在验证集上的置信度动态调整。结果发现这种动态加权投票比简单的平均投票效果好尤其是在某些模型对特定类别表现好的时候。比如ResNet在纹理丰富的类别上表现好EfficientNet在形状规则的类别上表现好动态加权能自动利用这些差异。但缺点是推理成本高因为要跑多个模型。我最后的方案是用知识蒸馏把多个模型压缩成一个虽然损失了一点精度但推理速度提升了3倍。这个经历让我对千脑智能的“投票机制”有了更具体的理解投票不是简单的多数决而是一种基于置信度的证据整合。大脑里的神经元可能也是这么做的每个皮层柱根据自己的参考框架给出预测然后通过某种加权机制来整合。这个机制的具体实现还需要更多研究但至少提供了一个可验证的方向。5.4 从理论到落地我总结的三条实操原则经过这几个项目的折腾我总结了三条把脑科学理论落到AI工程的原则。第一条是“先简化再优化”不要试图一次性复现所有机制先找一个最简单的可计算版本跑通了再逐步加复杂度。第二条是“用工程指标说话”脑科学理论再优雅如果不能在准确率、速度、鲁棒性上带来提升就不值得投入。第三条是“保持开放心态”有些理论可能暂时用不上但过几年随着硬件和算法的发展可能会变得可行。这三条原则听起来很朴素但真正做的时候很容易忘。我自己就犯过“过度追求理论优雅”的错误花了一个月实现了一个复杂的参考框架模块结果效果还不如简单的数据增强。后来我调整了策略先用小规模实验验证核心思想有效果再扩大投入。这个策略帮我省了很多时间也让我对哪些理论真正有工程价值有了更清晰的判断。6. 常见问题与排查技巧实录6.1 读脑科学书对做AI到底有没有用这个问题我被问过很多次。我的回答是有用但不要指望直接找到答案。脑科学书提供的是“问题定义”和“思考角度”而不是“算法实现”。比如《千脑智能》里讲的参考框架你不会在书里找到一行代码但你会获得一种新的视角原来智能可以这样理解。这种视角可能不会立刻帮你提升模型指标但会在你遇到瓶颈的时候给你一个不同的思考方向。我自己的经验是读脑科学书最好的时机是“项目卡住的时候”。当你试遍了所有工程技巧还是效果不好不妨回头看看大脑是怎么做的。很多时候答案不在论文里而在那些看似“不相关”的领域里。6.2 参考框架和注意力机制有什么区别这是一个很常见的问题。简单来说参考框架是“坐标系”注意力机制是“权重分配”。参考框架决定了信息在哪个空间里被组织注意力机制决定了哪些信息被重点关注。两者可以结合使用先用参考框架把信息组织好再用注意力机制来筛选。在工程上参考框架通常需要显式地定义比如锚点、网格而注意力机制是隐式学习的。这也是为什么参考框架更难落地你需要先设计一个合理的坐标系而设计坐标系本身就是一个难题。我的建议是从简单的坐标系开始比如相对位置、极坐标然后逐步复杂化。6.3 千脑智能能直接用来做AI吗短期内不能。千脑智能目前还是一个理论框架没有可扩展的实现方案。霍金斯在书里给出的例子都是概念性的没有具体的算法和代码。但这不意味着它没有价值。它的价值在于提供了一个“设计原则”不要用一个模型解决所有问题每个模型都要有自己的参考框架通过运动来学习。这些原则可以指导你的架构设计但不能直接变成代码。我个人的做法是把千脑智能当成一个“灵感来源”而不是“技术方案”。在遇到架构设计问题的时候我会问自己如果按照千脑智能的思路应该怎么设计然后把这个思路简化成一个可实现的版本再验证效果。6.4 预测编码和自编码器有什么关系预测编码和自编码器都是“重构”的思路但侧重点不同。自编码器是“压缩-解压”目标是学习一个紧凑的表征预测编码是“预测-校正”目标是学习一个动态的预测模型。在工程上自编码器更成熟应用更广预测编码还比较初步主要在神经科学和认知科学里研究。不过最近几年有一些工作尝试把预测编码引入深度学习比如PredNet、PCN等。这些工作在小规模任务上表现不错但在大规模任务上还没有验证。我的判断是预测编码可能更适合强化学习和机器人控制因为这些任务本身就有“运动-预测”的闭环结构。6.5 常见问题速查表问题排查思路解决方案参考框架模块效果不明显检查初始化是否合理更新频率是否合适用零均值小方差初始化学习率衰减0.1预测编码计算量太大检查光流或预测网络的复杂度用块匹配替代光流或用轻量级网络多模型投票推理太慢检查模型数量和推理成本用知识蒸馏压缩成单模型理论落地效果差检查是否过度追求理论优雅先简化再优化用工程指标说话读脑科学书没收获检查是否带着具体问题去读在项目卡住的时候读带着问题找答案7. 我在实际项目中的体会与后续扩展方向读《千脑智能》第8到10章这段时间正好是我在做一个多模态检索项目的阶段。项目本身跟脑科学没有直接关系但书里的很多概念给了我意想不到的启发。比如参考框架的“动态更新”思想让我重新思考了多模态对齐的问题我们是不是太依赖静态的对齐矩阵了如果让对齐矩阵随着输入动态变化会不会效果更好我试了一个简化版的动态对齐在小数据集上确实有提升虽然提升幅度不大但方向是对的。另一个让我印象深刻的点是“运动学习”。在传统的监督学习里数据是给定的模型是被动学习的。但大脑是主动探索的它通过运动来生成训练数据。这个思路在强化学习里已经有应用但在监督学习里还很少见。我最近在尝试一种“主动采样”的策略让模型自己决定下一步看哪个样本而不是随机采样。初步结果还不错尤其是在类别不平衡的数据集上主动采样能显著提升少数类的召回率。后续我打算继续沿着两个方向探索。一个是把参考框架机制引入到Transformer里看看能不能提升长序列建模的能力。另一个是研究“预测编码”在自监督学习里的应用看看能不能用预测误差作为自监督信号替代现在的对比学习。这两个方向都还比较初步但我觉得值得投入时间。最后分享一个小技巧如果你也想把脑科学理论用到AI工程里建议从“小规模实验”开始。不要一上来就改整个架构先找一个模块用最简单的实现验证核心思想。如果有效果再逐步扩大。这样既能控制风险又能快速积累经验。我自己就是这么做的虽然踩了不少坑但每次踩坑都让我对理论的理解更深一层。