1. 从看得懂公式到讲得清逻辑这门课到底难在哪学完一门AI入门课很多人会有一种奇怪的错觉课件上的公式都能看懂作业也能跑通但合上讲义让自己复述一遍脑子就空了。这不是记性问题而是知识组织方式出了偏差。我前后带过几批零基础的同学复习这门课最常见的困惑集中在同一处——课上的内容排布其实是一条隐线符号推理负责讲智能如何被形式化表达搜索与优化负责讲如何在解空间里找到答案概率与统计负责讲如何在不确定中做判断神经网络负责讲如何从数据里自动学出规律。这四个部分不是四门互不相干的课而是一次逐层递进的抽象迁移。标题里符号推理到神经网络这几个字本身就是整门课的骨架。前面那套符号化的做法把世界压缩成命题、规则、逻辑式靠人工把知识写进去后面那套连接主义的做法把知识藏在成千上万个可调参数里靠数据把权重调出来。中间那个从人写规则到机器调参数的转折点才是复习时最该死死咬住的地方。多数人复习低效是因为把它当成四个并列的模块分别背背完再做几道题结果考试一变问法就崩。这篇笔记面向的是正在复习或准备二次梳理入门课程的人也适合刚学完想系统归类一遍的读者。我会按这条隐线把内容重新排布一次讲清每个阶段的核心假设、关键公式背后的意图、容易踩的坑以及那些讲义上不写、但真正在做题和写代码时会卡住你的细节。所有涉及代码的部分我都会给出可直接运行的片段涉及计算的部分我会把推导过程写开方便你对照自己的笔记逐项核验。提醒一句复习阶段最忌讳以看懂为终点。判断自己是否掌握的标准只有一个——能否在空白纸上从动机出发把某个方法的输入、输出、假设、代价、失效条件完整讲一遍。先说清楚复习节奏这件事。入门课的复习不是从第一页翻到最后一页那样只会把本来就模糊的印象搅得更乱。我一般建议按三次覆盖来走第一次只做主线串联用一页纸画出四大模块之间的承接关系不碰任何细节第二次逐个模块攻坚把每个方法补齐五要素第三次专攻边界与对比把所有看起来像但本质不同的概念成对拉出来比较。下面各节的展开基本对应第二次和第三次的覆盖内容。2. 符号推理把智能翻译成可计算的形式2.1 命题逻辑、谓词逻辑与知识表示的层级差别符号推理这一块初学者最容易混的是命题逻辑和谓词逻辑的适用边界。命题逻辑把整个世界切成一个个不能再拆的原子命题比如今天下雨它只有真假两值没有内部结构。这样做的代价是表达力受限你想说所有人都要呼吸这种带对象和量词的句子只能穷举成甲要呼吸且乙要呼吸且丙要呼吸对象一多就崩了。谓词逻辑引入个体、谓词和量词把人这个类、呼吸这个性质、所有这个量词分开表达才让全体这类陈述有了紧凑的写法。这里有一个复习时特别值得强调的点表达力的提升从来不是免费的。命题逻辑的可满足性判定是 NP 完全的而到了一阶谓词逻辑可满足性直接变成不可判定的。这不是课程在刁难人而是在告诉你一个真实约束——你给系统越强的表达能力推理就越可能算不出来。很多入门教材把这句结论一笔带过,考试却偏爱考为什么不能全用一阶逻辑。答案就在于可判定性和实际推理效率的权衡。理解这个层级差别可以拿数据库做类比。原子命题像一张只有单列的表谓词逻辑像有主键和外键的关系表量词像 SQL 里的ALL和EXISTS。你写 SQL 时从来不会觉得量词有多难因为数据库引擎帮你做了规划但符号推理这门课要求你自己把规划过程写清楚难度自然上来了。复习时试着把你熟悉的几句 SQL 改写成谓词逻辑式这个练习能把量词、变元约束这些抽象概念落回地面。2.2 归结原理的手工推演流程与常见错位归结原理是这块内容的高频考点也是作业里最容易出错的环节。它的基本想法很朴素如果两个子句一个含 P、一个含 ¬P其余部分合起来就构成了它们逻辑上的推论于是可以把 P 和 ¬P 消掉得到新子句。反证法的用法是要证明 KB ⊨ α就把 ¬α 加进知识库然后不断归结直到推出空子句。手工推演时最常见的三个错位我建议你在复习时专门列成一张检查表常见错误具体表现正确做法忘记先化子句形直接对原公式归结先消蕴含、内移否定、标准化变元、Skolem 化、去全称量词、拆合取变元冲突未标准化两个子句用了同名变元归结后含义错乱每次归结前把参与的子句变元改名保证互不相同归结方向乱走乱配对子句数量爆炸优先合并含互补文字的对朝空子句方向缩短标准化变元这一条讲义往往只有一句注释但它是实际卡住最多人的地方。原因很好理解两个子句里的 x 各自独立你要让它们做归结就必须先确认它们指同一个对象或者把其中一个改名成 y 以免误绑。这一步在纸上看着像形式主义一旦写进程序里便立刻显出必要性因为程序不会替你做人脑的默契绑定。Skolem 化的处理也值得单独说一句。存在量词消去时引入的 Skolem 常量或函数本质上是在给存在某个东西这句话发一张身份证。如果存在量词不在任何全称量词的作用域内就引入一个常量如果它在全称量词里面就必须引入以该全称变元为参数的函数。很多人只记住了存在量词要换掉却忘了区分这两种情况结果写出来的子句在语义上已经不成立了。判定方法很简单从公式最外层往里读看当前的存在量词左边有没有还没被消去的全称量词。2.3 前向链接、反向链接与该选哪个的实际判据规则系统里前向链接从已知事实出发不断触发规则产生新事实直到没有新东西可推反向链接从目标出发寻找能让目标成立的规则再递归去验证规则的前提。这两个方向不是随便选的选择依据是事实多还是问题多。一句话总结判据数据驱动用前向目标驱动用反向。监控告警这类场景事实源源不断、结论不预先知道用前向链接更自然诊断类场景结论候选有限、事实需要现查用反向链接更省。复习时如果你只会背前向从事实到结论遇到应用题还是会犹豫所以务必带上这个判据一起记。还有一个细节容易被忽略前向链接在 Horn 子句上的复杂度是多项式的因为每条规则的前提是正文字的合取匹配过程不会产生组合爆炸。而一般子句上的归结是指数级的。这就是为什么实际的知识库系统偏爱把规则限制成 Horn 形式——不是理论上更优雅而是工程上算得动。复习到这一层你对形式化表达为什么要设限这件事就有了实感而不是当成一条需要背的结论。3. 搜索与优化解空间里的行走策略3.1 无信息搜索的四种策略与它们的真实代价搜索这块内容看起来最好背但恰恰是被背坏得最彻底的部分。BFS、DFS、一致代价、迭代加深这四种策略的完备性、最优性、时间空间复杂度考试必考但很多人背完表格之后遇到该用哪个还是没主意。复习时我建议换一个角度别记结论记代价的来源。BFS 的空间复杂度是 b^d因为要把整层节点全存着这是它保证最短路径的代价DFS 空间只要 b·m因为它只存一条路径代价是可能一头扎进深坑不回头一致代价搜索按路径代价从小到大扩展能处理边权不等的情况代价是要维护一个优先队列迭代加深把 DFS 的空间优势和 BFS 的层序优势拼在一起代价是浅层节点被反复生成。真正需要理解的是重复生成这件事为什么可以接受。迭代加深每一轮都把浅层重算一遍看着很浪费但由于分支因子 b 的存在最后一层的节点数远超前面所有层之和重复部分占比很小。做一个粗略估算b10、d5 时最后一层有 10 万节点前面所有层加起来约 1.1 万重复生成的开销大约占一成。这个数量级关系是理解迭代加深为什么实用的关键也是考试里为什么迭代加深不比 BFS 差太多的标准回答思路。启发式搜索则要牢牢抓住 A* 的两个条件可采纳性要求启发函数永不高估真实代价一致性单调性要求 h(n) ≤ c(n,n) h(n)。可采纳保证最优解一致性保证不重复扩展节点。这两个条件的关系常被考到——一致性蕴含可采纳反之不成立。想找一个可采纳但不一致的例子画个图就能构造出来从起点到某节点有两条路启发值在中间节点上跳了一下就破坏了单调性但没破坏可采纳性。3.2 用 Python 把 A* 跑通并观察启发函数的实际影响光看公式很难建立直觉下面这段代码是一个可直接运行的最小 A* 实现用的是网格地图你可以改启发函数亲自看效果差异。import heapq def astar(grid, start, goal, h): rows, cols len(grid), len(grid[0]) open_heap [(h(start, goal), 0, start)] g_cost {start: 0} parent {start: None} while open_heap: _, g, cur heapq.heappop(open_heap) if cur goal: path [] while cur is not None: path.append(cur) cur parent[cur] return path[::-1], g if g g_cost.get(cur, float(inf)): continue r, c cur for dr, dc in ((1,0), (-1,0), (0,1), (0,-1)): nr, nc r dr, c dc if not (0 nr rows and 0 nc cols): continue if grid[nr][nc] 1: continue ng g 1 nxt (nr, nc) if ng g_cost.get(nxt, float(inf)): g_cost[nxt] ng parent[nxt] cur heapq.heappush(open_heap, (ng h(nxt, goal), ng, nxt)) return None, float(inf) # 曼哈顿距离网格四连通下可采纳且一致 manhattan lambda a, b: abs(a[0]-b[0]) abs(a[1]-b[1]) # 欧氏距离也可采纳但在四连通网格上会略微低估更多扩展节点数偏多 euclid lambda a, b: ((a[0]-b[0])**2 (a[1]-b[1])**2) ** 0.5跑起来之后建议做三组对照h 恒为 0退化成一致代价搜索、用曼哈顿距离、用一个故意高估的 h比如把曼哈顿距离乘 2。你会看到扩展节点数从多到少再到快但可能不是最优的变化过程。这个实验的价值在于把可采纳性从一个定义变成一个你能亲眼看见的现象h 高估之后路径变短了但代价变大了这就是失去最优性保证的具体样子。实测下来还有一个容易忽略的点上面代码里if g g_cost.get(cur, ...)这一句是防止同一个节点被以更差的代价重复扩展。少了这一句程序照样能出结果但在某些地图上会明显变慢。这类不影响正确性但影响效率的细节恰恰是讲义不会写、自己写才会踩的地方。提示如果你想让 A* 在超大网格上也不爆内存可以考虑加权 A*把启发值乘一个略大于 1 的系数。代价是放弃最优性保证换来扩展节点数的大幅下降。工程上这是个常用折中但考试答题时必须写清楚这是在牺牲什么。3.3 局部搜索与遗传算法什么时候不保证最优反而是对的爬山法、模拟退火、遗传算法这几个放在一起讲核心就一句话当解空间大到没法系统枚举、或者目标函数没有好的梯度信息时放弃保证最优换快速得到足够好是划算的。爬山法只往更优的邻居走会卡在局部最优模拟退火以一定概率接受更差的解这个概率随温度下降而衰减从而有机会跳出局部最优遗传算法维护一个种群通过选择、交叉、变异在解空间里并行试探。三者共同的假设是解空间里好解是成片出现的靠近好解的地方大概率还有更好的解。这个假设如果不成立局部搜索的意义就大打折扣。复习时能把这条隐含假设讲出来说明你真的理解了而不是在背算法流程。退火温度的设置有个实用经验初始温度要大到让差解的接受概率接近 1终止温度要小到几乎不接受差解中间的降温系数取 0.9 到 0.99 之间比较常见。降温太快等于退回爬山法太慢则算力白白消耗。遗传算法这边种群规模太小会早熟收敛太大会拖慢每代计算交叉率和变异率一般分别落在 0.7~0.9 和 0.01~0.1 的区间。这些数值不是定论但作为起点够用了。4. 概率与学习在不确定中把话说清楚4.1 贝叶斯公式不是算概率是更新信念很多人学完贝叶斯公式只会做已知患病率和检测准确率求阳性者真患病概率这类题做完就忘。这很可惜因为贝叶斯公式真正的价值在于它是一个信念更新机制先验概率代表你原来的看法似然代表新证据对不同假设的支持程度后验是你看到证据之后应该调整到的看法。用一个具体数字走一遍。假设某类问题的先验发生率是 1%检测的灵敏度是 95%特异度是 90%。一个人检测阳性他真正有问题的概率是多少代入公式P 0.95×0.01 / (0.95×0.01 0.10×0.99) ≈ 0.00875。也就是说即使检测阳性真实概率也只有约 8.8%。这个结果反直觉但它清楚地展示了先验的力量——当基础发生率极低时假阳性会淹没真阳性。这个计算在复习时的意义不是背数字而是建立一个判断习惯看到准确率 95%这种说法先问基础发生率是多少。这个习惯在做分类任务的评估时同样管用类别极不均衡时准确率这个指标会严重失真必须换成精确率、召回率或 F1。课程里讲混淆矩阵、讲精确率召回率的权衡本质上就是在讲这件事。条件独立假设是另一个复习重点。朴素贝叶斯假设给定类别后各特征相互独立这个假设在现实中几乎从不成立但模型往往还work原因在于分类只需要后验的相对大小正确不需要绝对值准确。这个错得刚好够用的道理是理解很多工程实践的关键也是考试里朴素贝叶斯的独立性假设不成立为何还能用的标准答法。4.2 从最大似然到梯度下降的完整链路这块内容是符号世界走向学习世界的桥。复习时务必把这条链走通一遍不要跳步。第一步明确模型给定输入 x 和参数 θ模型输出一个预测。第二步定义损失用负对数似然或者均方误差衡量预测与真实之间的差距。第三步把学习问题转化为优化问题找一组 θ 让损失最小。第四步因为解不出闭式解用梯度下降迭代逼近。这四步里第二步到第三步的转化是最容易被跳过也最该讲清楚的地方。为什么要用负对数似然因为似然是在这组参数下观测到这批数据的概率我们想让这个概率最大取负号就变成最小化取对数是因为连乘容易underflow且求导后连乘变连加。每一步变形都有具体理由不是数学家的审美偏好。梯度下降的更新式 θ ← θ - α∇L 里α 是学习率。学习率太大损失震荡甚至发散太小收敛慢得让人失去耐心。实践中常用的做法是先用一个较大的值试几步看损失曲线如果震荡就调小如果几乎不降就调大找到能稳定下降的量级之后再细化。这个看曲线调参的笨办法比任何理论公式都实用。还有一个常被忽略的坑梯度的方向是损失上升最快的方向所以要走负梯度。这句话人人都懂但手推的时候符号错一次整个更新方向就反了。我在批改作业时见过不止一次损失曲线一路向上学生还在怀疑学习率。检查方法很简单更新一步之后损失必须下降如果上升了先检查符号再看学习率。5. 神经网络把学习变成可微分的函数组合5.1 感知机到多层网络为什么必须引入非线性单层感知机只能划一条直线连异或都解决不了。这个结论几乎每本教材都写但复习时要追问一步加了隐藏层就够了吗答案是还不够必须加非线性激活函数。因为两个线性变换叠加仍然是线性变换无论叠多少层整体还是一个线性映射表达能力并没有提升。真正让深度网络具备强表达能力的是线性变换 非线性激活的交替堆叠。理解这一点之后激活函数的选择就有了依据。Sigmoid 把输出压到 (0,1)适合做概率输出但两端饱和导致梯度接近于零层数一多就传不回去ReLU 在正区间梯度恒为 1缓解了这个问题代价是负区间梯度为零可能出现神经元死亡Tanh 零中心比 Sigmoid 好一些但饱和问题依旧。复习时把这张对照表和梯度消失的成因连起来记比单独背特性有效得多。反向传播这块最容易在纸上写对、在心里想不通。它本质上是链式法则在计算图上的系统化应用前向传播算出每个节点的值反向传播从损失出发把梯度一层层往回乘。有一个理解角度很有帮助——反向传播算的不是某个参数有多重要而是损失对这个参数有多敏感。敏感性高的参数改一点点损失就变很多所以要改得谨慎敏感性低的改一大步影响也不大。5.2 用 NumPy 手写一次反向传播只看公式永远学不会我强烈建议至少手写一次。下面是一个两层网络的完整前向与反向不依赖任何框架跑通之后你对维度对齐、梯度累加这些细节会彻底踏实。import numpy as np np.random.seed(0) N, D, H, C 64, 10, 32, 3 X np.random.randn(N, D) y np.random.randint(0, C, sizeN) W1 np.random.randn(D, H) * np.sqrt(2.0 / D) b1 np.zeros(H) W2 np.random.randn(H, C) * np.sqrt(2.0 / H) b2 np.zeros(C) def forward(X): z1 X W1 b1 a1 np.maximum(0, z1) # ReLU z2 a1 W2 b2 exp np.exp(z2 - z2.max(axis1, keepdimsTrue)) probs exp / exp.sum(axis1, keepdimsTrue) return z1, a1, probs lr 1e-2 for step in range(500): z1, a1, probs forward(X) loss -np.log(probs[np.arange(N), y] 1e-12).mean() dz2 probs.copy() dz2[np.arange(N), y] - 1 dz2 / N dW2 a1.T dz2 db2 dz2.sum(axis0) da1 dz2 W2.T dz1 da1 * (z1 0) dW1 X.T dz1 db1 dz1.sum(axis0) W1 - lr * dW1; b1 - lr * db1 W2 - lr * dW2; b2 - lr * db2 if step % 100 0: print(fstep {step:4d} loss {loss:.4f})这段代码里有三处值得你单独盯住。第一处是 softmax 里减去了每行的最大值这是防止指数溢出不是为了数学正确性——数学上减不减都一样工程上不减就可能得到 inf。第二处是dz2的构造先复制概率再把正确类别的概率减 1再除以样本数。这个减 1来自交叉熵对 logits 求导的结果是整段代码里最浓缩的一行值得自己推一遍。第三处是dz1 da1 * (z1 0)ReLU 的导数就是这么简单但要注意用的是前向时的 z1不是 a1。注意初始化用sqrt(2/fan_in)而不是全零或全一是因为全零初始化会让同一层的所有神经元梯度完全一样永远学不出差异全一会让激活值随层数指数增长。这个细节讲义通常一句话带过但它是你能训出结果和训不出结果的分水岭。5.3 训练不收敛时的排查顺序我在带人复习时被问得最多的不是反向传播怎么推而是我的网络不收敛怎么办。这个问题有比较固定的排查顺序按顺序走能省很多时间排查顺序检查项典型症状处理方向1数据与标签是否对齐损失不降准确率恒定打印几条样本人工核对2损失函数与输出层是否匹配损失为负或异常大多分类配 softmax交叉熵3学习率是否合适损失震荡或几乎不动调小或调大一个数量级再试4初始化是否合理早期就饱和梯度近零换用 fan_in 缩放初始化5梯度是否传回浅层浅层参数几乎不变打印各层梯度范数6是否过拟合训练降验证升加正则、早停、减容量这个顺序的原则是从便宜且致命的检查开始。数据对齐和损失匹配这两项检查成本几乎为零但一旦有问题后面所有调参都是白费。很多人一上来就调学习率试了半天才发现标签和特征错位这种时间浪费完全可以通过固定排查顺序避免。打印梯度范数这一招特别值。在各层梯度上算一下 L2 范数如果浅层范数比深层小好几个数量级基本可以判定是梯度消失此时该动的是激活函数或初始化而不是继续调学习率。这个诊断动作在框架里只需几行代码但能直接把瞎调变成定向修。6. 四个模块的横向对照把知识压成一张网6.1 符号派与连接派的分歧到底在哪复习到收尾阶段最有价值的动作是把前后两大范式摆在一起对照。它们的根本分歧不在技术细节而在知识从哪来符号派认为知识应该由人显式写进去规则、逻辑、本体都是人为构造的连接派认为知识可以从数据中隐式学出来参数就是知识的载体。这个分歧带来一连串连锁差异。可解释性上符号系统的推理链条可以逐步追溯你能指着某条规则说就是它推出的结论神经网络的判断藏在权重里只能靠事后分析去猜。数据需求上符号系统要的是专家写的规则冷启动成本高但样本需求低神经网络要大量标注数据冷启动靠数据堆。泛化方式上符号系统靠规则的组合覆盖新情况神经网络靠相似性插值。维护方式上符号系统改规则即可神经网络要重训。理解这张对照关系很多原本孤立的知识点就自动归位了。比如为什么专家系统在开放场景里难以维护——因为规则之间会冲突规则数量增长时一致性维护的成本爆炸为什么神经网络在小样本场景表现差——因为它靠的是从数据里估计参数样本不足就估不准。这些结论不需要单独背从范式差异里能直接推出来。6.2 一张表梳理全部核心方法的关键属性下面这张表建议你自己在纸上默写一遍写完对照比反复看书有效。方法核心假设输入输出主要代价失效条件命题逻辑推理世界可离散为原子命题命题与规则真假判定表达力弱需要刻画对象内部结构一阶逻辑归结知识可写成子句形子句集反证结论不可判定、易爆炸规则规模大、含函数符号A* 搜索启发函数可采纳图、起点、终点、h最优路径内存占用高状态空间巨大、h 难设计局部搜索好解成片分布状态、邻域、目标函数近似最优解无最优性保证解空间崎岖、多峰朴素贝叶斯特征条件独立特征向量类别后验独立性假设强特征强相关梯度下降损失可微参数、梯度局部最优参数依赖学习率非凸、鞍点、梯度消失多层神经网络目标函数可微可组合数据、标签预测需大量数据、黑箱小样本、强解释需求默写这张表时我建议重点盯失效条件这一列。多数人复习时把注意力放在前几列因为那是是什么但真正区分掌握程度的是能否说清什么时候不该用。考试的应用题往往就是在考这一列——给你一个场景问该选哪个方法答题的关键就是把场景特征和失效条件对上。6.3 复习节奏与自测方法的具体安排最后说说怎么把上面这些内容真正变成自己的。我给的一个可执行方案是七天一轮第一天只做主线串联用一张 A4 纸画出四个模块的承接图标出每个模块解决的前一个模块解决不了的问题。第二天攻符号推理重点是手工做三道归结题每题都要写清子句化的每一步。第三天攻搜索把 A* 的代码跑通并做前述三组对照实验。第四天攻概率手推一遍贝叶斯更新和梯度下降的链路。第五天攻神经网络手写一遍反向传播并故意制造一次不收敛然后用排查表定位。第六天做横向对照默写那张属性表。第七天只做一件事找三道综合应用题不看笔记独立作答答完再对。自测的判定标准要严格一点能默写公式不算掌握能解释公式里每个符号为什么在那儿才算能跑通代码不算掌握能说清每行代码删掉会怎样才算。用这个标准卡自己一轮下来哪里虚一目了然。我个人在复盘这类课程时还有个习惯把所有当时觉得懂了、后来发现没懂的点单独记在一个本子上每隔一段时间翻一次。这个本子往往比任何笔记都值钱因为里面记的全是自己的真实盲区而不是别人整理的重点。入门课的知识密度不算高但概念之间的连接很多靠一次性理解很难吃透反复回到自己的盲区上打补丁效率比从头再读一遍高得多。