简介这份资源面向正在学习斯坦福CS231N计算机视觉公开课、需要完成assignment1编程作业的深度学习入门者提供从题目到答案的完整参考。包内共54个文件以ipynb交互式笔记本为主涵盖knn、svm、softmax、two_layer_net、features等作业模块并配有py源码、pyc缓存、xml工程配置、sh与cmd脚本及tar、zip等数据集压缩文件整体约561.98MB已包含网上下载的CIFAR-10数据可直接在Anaconda的Jupyter环境中打开运行。资源已有2007人学习下载说明其作为课程配套练习的参考价值得到一定认可。读者可对照notebook中的实现理解KNN、线性分类器、两层神经网络与特征提取等核心知识点借助solver、layers、optim等模块梳理前向传播与反向传播的代码结构并通过答案核对自查梯度检查与训练流程中的问题适合作为课程作业的对照参考与调试辅助。1. 深度学习入门的第一张地图从 cs231n 作业一看见全貌很多人第一次打开 cs231n 作业一会以为它只是几道编程题写个 KNN、推个 SVM、搭个两层网络。真正做完一遍才会发现它其实是一张被压缩过的深度学习知识地图——从最朴素的最近邻分类器到线性分类器的评分函数与损失函数再到反向传播的链式求导最后落到一个能跑起来的两层全连接网络。这条线走完你对「模型怎么从数据里学东西」这件事就有了骨架级的理解。这份作业适合两类人一类是正在系统学深度学习、需要把课上公式变成可运行代码的人另一类是复习备考、想快速把散落知识点串成体系的人。它不要求你先精通框架反而刻意让你用最原始的 numpy 手写前向和反向逼你把每个梯度是怎么来的想清楚。梳理下来会发现作业一的价值不在代码本身而在于它把「数据—评分—损失—梯度—更新」这条主线完整地摊开给你看。下面按模块把这条主线拆开最后落到一份能直接拿去查漏补缺的复习清单。2. 数据与分类器KNN、线性评分与损失函数的三层递进2.1 KNN 为什么是起点而不是终点作业一的第一站是 KNNK 近邻。它的逻辑极其直白把测试样本和所有训练样本算距离取最近的 K 个投票决定类别。用 numpy 实现时核心是两次矩阵运算加一次 argsort避免写双重循环。向量化后的距离计算通常写成dists np.sqrt((X**2).sum(1)[:, None] (X_train**2).sum(1)[None, :] - 2 * X.dot(X_train.T))这一步是很多人第一次体会「广播机制省掉循环」的地方。但 KNN 的意义不在它能用而在于它暴露了三个问题第一它没有「学习」过程训练集就是模型测试时要和全部样本比一遍代价随数据量线性增长第二K 的取值和距离度量是超参数靠交叉验证选选不好准确率波动很大第三它无法给出类别之间的「评分」也就没法用梯度优化。这三点恰好是后面线性分类器要解决的。复习时最容易忽略的是KNN 的准确率在 CIFAR-10 这类数据上通常只有三成左右别拿它当性能基线它的作用是帮你建立「距离—相似度—分类」的直觉。2.2 线性分类器评分函数与两种损失线性分类器的核心是一个评分函数s Wx bW 的每一行对应一个类别的模板。作业一里通常用两种损失来训练它多类 SVM 的 hinge loss 和 Softmax 的交叉熵损失。两者的差别是复习重点也是考试和面试的高频对比点。对比项多类 SVMhingeSoftmax交叉熵损失形式对每个错误类求 max(0, s_j - s_y Δ) 再求和-log(exp(s_y) / Σexp(s_j))对分数的态度只关心是否超过间隔 Δ超过即不再惩罚关心整个概率分布持续拉开正确类概率梯度特点稀疏只有越界的错误类贡献梯度稠密所有类别都参与梯度常见坑Δ 的取值、边界样本的梯度处理数值稳定性需减去最大值再取 exp实现 Softmax 时数值稳定性是血泪经验直接对分数取 exp 容易溢出标准做法是先减去每行的最大值再算 exp 和 log。代码里通常写成shifted scores - scores.max(axis1, keepdimsTrue)然后loss -np.log(probs[np.arange(N), y]).mean()。这个keepdimsTrue漏掉就会广播错位是作业一里最经典的翻车点之一。2.3 正则化与超参数别让模型只记住训练集线性分类器部分还会引入 L2 正则项损失变成L data_loss reg * 0.5 * np.sum(W*W)。正则的作用是压住权重幅度防止模型对训练样本过度自信。作业一里通常要求你调learning_rate和reg两个超参数用验证集选。这里有个容易踩的坑学习率太大会让损失震荡甚至发散太小则收敛慢到你以为代码写错了。经验做法是先在一个对数尺度上粗扫比如 1e-5 到 1e-1看损失曲线是否单调下降再在最优附近细调。梳理下来会发现超参数搜索不是玄学它本质是在「欠拟合」和「过拟合」之间找平衡点而验证集就是你的裁判。3. 反向传播与梯度从链式法则到数值梯度校验3.1 计算图视角下的链式求导反向传播是作业一的分水岭。前面 SVM 和 Softmax 的梯度还能靠手工推导到了两层网络就必须用计算图的思路前向时把每个操作记下来反向时从损失出发按链式法则逐层把梯度乘回去。作业一里常见的做法是把仿射层affine和 ReLU 层拆成独立模块每个模块实现forward和backward两个方法。以仿射层为例前向是out x.dot(W) b反向时已知上游梯度dout则dx dout.dot(W.T)、dW x.T.dot(dout)、db dout.sum(axis0)。这三个式子是整份作业里出现频率最高的必须闭着眼能写出来。ReLU 的反向更简单前向输出大于 0 的位置梯度原样传回否则置零即dx dout * (x 0)。很多人在这里犯的错是拿out 0去判断如果前向里 out 已经被覆盖或修改判断就会错位所以稳妥写法是缓存输入 x。3.2 数值梯度校验给反向传播上保险手写反向传播最大的风险是「梯度算错了但损失还在降」这种 bug 极难靠肉眼发现。作业一强制要求做数值梯度校验对每个参数维度加一个极小扰动用(f(xh) - f(x-h)) / (2h)估计数值梯度再和解析梯度比相对误差。相对误差公式通常是|a - n| / max(1e-8, |a| |n|)低于 1e-7 算通过1e-4 量级就要警惕。# 数值梯度校验的核心逻辑 def eval_numerical_gradient(f, x, h1e-5): grad np.zeros_like(x) it np.nditer(x, flags[multi_index], op_flags[readwrite]) while not it.finished: idx it.multi_index old x[idx] x[idx] old h fxph f(x) # f(xh) x[idx] old - h fxmh f(x) # f(x-h) x[idx] old grad[idx] (fxph - fxmh) / (2 * h) # 中心差分 it.iternext() return grad这段代码的关键参数是 h取 1e-5 左右比较稳太大截断误差明显太小浮点精度不够。校验时不要一次性校验整个大矩阵抽几个随机维度就够否则跑得慢到怀疑人生。最容易忽略的是校验前要把正则项也算进损失函数否则数据损失梯度对、总梯度对不上你会白查半天。3.3 参数更新与训练循环梯度对了更新就是W - learning_rate * dW。作业一里还会让你实现带动量的更新SGD momentum公式是v mu * v - lr * dW; W v。动量的作用是积累历史梯度方向越过平坦区域和局部震荡。复习时要能说清mu的典型取值0.9 左右和它和 learning rate 的配合关系。训练循环本身不复杂每个 epoch 打乱数据、分 batch、前向算损失、反向算梯度、更新参数、记录训练和验证准确率。真正花时间的是调参和看曲线而不是写循环。4. 两层网络实战模块拼装、初始化与过拟合观察4.1 从单层到两层非线性从哪来两层网络的结构是affine - relu - affine - softmax。如果没有 ReLU两层仿射叠起来等价于一层线性变换加多少层都没用这是复习时最该记住的一句话。ReLU 引入非线性让网络能拟合更复杂的决策边界。作业一里通常要求你把这个结构封装成一个类__init__里初始化 W1、b1、W2、b2loss方法里做前向并返回损失和梯度字典。初始化不能全零否则同一层神经元梯度相同、永远学不到不同特征。常见做法是高斯初始化再乘一个缩放系数比如W1 np.random.randn(D, H) * 1e-2。缩放太大梯度爆炸太小梯度消失1e-2 量级是作业一里比较稳的起点。这个细节考试常考但很多人只记「不能全零」说不出为什么以及缩放系数的意义。4.2 训练过程要看什么跑起来之后重点看三条曲线训练损失是否稳定下降、训练准确率和验证准确率是否同步上升、两者差距是否逐渐拉大。如果训练准确率很高而验证准确率停滞就是过拟合信号对策是加大正则、减小隐藏层宽度或加 dropout作业一里不一定要求实现但要知道思路。如果两者都很低是欠拟合该加容量或调学习率。梳理下来会发现调参的本质是读曲线而不是盲试参数。提示作业一里隐藏层大小、学习率、正则强度、训练轮数这几个超参数互相影响一次只改一个否则曲线变化你归因不了。4.3 易漏点四个最容易翻车的地方易漏点一Softmax 数值稳定性。为什么漏公式推导时不会体现溢出问题只有真跑大数据才炸。怎么补永远先减行最大值再 exp并在校验时故意用大分数测试。易漏点二反向传播里缓存变量用错。为什么漏前向时为了省内存复用了变量名反向时拿到的是被覆盖后的值。怎么补每个模块 forward 返回 cachebackward 只从 cache 取不碰全局变量。易漏点三批量归一化或正则项漏进梯度校验。为什么漏校验时只算了数据损失训练时却带着正则。怎么补校验用的损失函数必须和训练完全一致包括所有附加项。易漏点四学习率与 batch size 的耦合。为什么漏单独调学习率时没意识到 batch 变了等效步长也变了。怎么补换 batch size 时按比例粗调学习率再细扫。5. 复习清单把作业一的知识点串成可自测的闭环走到这里作业一的骨架已经清楚了。最后落到怎么查漏补缺不要重读笔记而是拿一张白纸按下面这张清单逐项自测能默写公式和代码片段的打勾卡住的回去补。模块自测项达标标准KNN向量化距离矩阵、K 与距离度量选择能写出无循环的距离计算并解释复杂度线性分类评分函数、hinge 与交叉熵公式能默写两种损失及其梯度正则化L2 项位置与作用能说清 reg 过大过小的现象反向传播affine、ReLU 的 forward/backward能闭眼写出 dx、dW、db梯度校验中心差分与相对误差能解释 h 取值与误差量级两层网络结构、初始化、训练循环能画出数据流并指出非线性来源调参读损失与准确率曲线能区分过拟合与欠拟合并给对策自测时有个技巧把每个模块的「输入—输出—梯度」写成三行伪代码写不出来的就是漏洞。另一个高效做法是找一段别人写好的实现遮住 backward 部分自己补再对照比从头重写省时间且直击薄弱点。我自己的习惯是每次复习这类作业都强制走一遍「公式默写 → 代码片段默写 → 数值校验」三步尤其是梯度校验那步哪怕觉得已经熟了也不跳过。有一次偷懒没校验结果 hinge loss 的边界梯度符号写反损失照样在降准确率却卡在随机水平查了大半天才定位。从那以后我每次碰反向传播都强制走一遍数值校验这个习惯帮我省下的时间远超那点校验开销。希望这份梳理能帮到你把作业一真正变成你深度学习地图上的第一块稳固地基。本文还有配套的精品资源点击获取