简介面向Python期末项目与深度学习初学者这份资料以ResNet人脸表情识别为任务核心整合了可运行的工程源码、训练与测试数据集、说明文档以及可视化演示素材适合用作课程大作业、期末答辩或入门复现。压缩包共103个文件涵盖Python脚本、hdf5模型权重、jpg/png表情图片样本、XML配置、Markdown与txt说明等类型整体约54MB目录层次清晰不同用途的文件分开放置便于按模块查阅与快速定位。目前已有135人学习下载源码经本地编译与严格调试评审得分95分以上难度适中可直接运行验证效果。资源内含ResNet权重模型、多类表情的测试图片与动态演示图能够直观呈现分类正确与否及各类表情的区分度。借助说明文档对网络结构、训练流程与关键参数的梳理使用者可以沿着数据读取、特征提取、模型预测的路径完成端到端复现加深对人脸表情识别任务的理解并以此为基础扩展为个人期末项目。1. 用 ResNet 做人脸表情识别这个期末大作业到底要交付什么很多人在期末周拿到手里时都是一个“python期末大作业基于ResNet的人脸表情识别源码数据集说明文档.zip”这样的压缩包里面有模型源码、已经整理好的表情数据集还有一份说明文档。拆开看这其实是一个标准的图像分类工程输入一张人脸图片模型输出“开心、难过、惊讶、愤怒、恐惧、厌恶、中性”这 7 类表情中的一类。ResNet 是主干网络PyTorch 是训练框架最终要交付的不是“代码能跑、loss 降到 0”而是“验证集准确率稳定、报告能讲清楚原理、演示不翻车”。这篇笔记想讲清楚的是为什么这个题目偏偏用 ResNet拿到压缩包后该怎么一步步跑通以及哪些参数和隐藏坑会让你的准确率卡在 50% 上下一整天。2. 先吃透任务和选型为什么人脸表情识别绕不开 ResNet先别急着打开 train.py。答辩时老师第一个问题多半是“你为什么要选 ResNet”这个问题答不好后面对代码说得再细也会打折扣。表情识别任务有它的特殊性类别少、样本噪声大、类间差异细微。ResNet 恰好是这几个问题的最稳解法不是因为它最先进而是因为它在效果和可解释性之间最平衡。2.1 表情识别到底难在哪小类别、大噪声、细粒度表情识别不是目标检测。目标检测回答“脸在哪”表情识别回答“这张脸什么情绪”。输入通常是一张已经裁剪好的人脸图输出是一个分类标签。常见数据集 FER2013 用 7 类RAF-DB 用 7 或 8 类类别数量远小于 ImageNet 的 1000 类。类别少不代表容易表情识别是典型的细粒度分类问题。难点集中在三点。第一类间差异小。“开心”和“惊讶”都可能张嘴“难过”和“中性”的嘴部形态非常接近真正决定表情的是嘴角弧度、眼轮匝肌收缩程度这种细节。第二类内差异大。同样是“开心”有微笑、露齿笑、大笑同样是“愤怒”不同人脸的眉间距和嘴唇状态差别很大。第三环境噪声多光照角度、人脸姿态、遮挡都会让同一个表情在像素层面变得完全不像。这就引出了我们在搜索 ResNet 资料时总能看到的一串词“粗粒度特征”“细粒度特征”“FPN”“位置编码”“自注意力”。需要澄清一下粗粒度特征来自网络浅层是边缘、颜色块、眼睛和嘴巴的大致位置细粒度特征来自网络深层承载“嘴角上扬多少度”“眉毛是否下压”这类语义。表情识别对细粒度特征敏感所以输入分辨率不能太小。而 FPN 是多尺度特征融合多用于目标检测位置编码和自注意力是 Transformer 的结构ResNet 本身没有位置编码常用的全局平均池化还会把空间位置信息平均掉。看到这些关键词混在一起不要被带偏方向期末作业用 ResNet 是够的不涉及这些扩展概念。2.2 残差结构给训练过程带来的三个实际收益ResNet 的核心是残差块。公式表达就是让网络去学一个残差映射 F(x)再把输入 x 加回去最终输出 H(x) F(x) x。这个加的操作用一句话解释就是给梯度开了一条近路反向传播时梯度可以直接从高层流回浅层不用一路穿过几十层卷积相乘。落在实际训练上有三个明显收益。一是解决了深层网络退化问题堆到 18 层、50 层不会像 VGG 那样越深越差二是损失面更平滑对初始学习率不敏感即使学习率稍微调大一点也不容易直接发散三是训练更稳定epoch 多了以后验证集准确率不会出现剧烈抖动。这三条对期末作业非常重要因为大多数人没有时间做精细超参搜索需要一套“即使不那么讲究也能跑出结果”的模型。表情数据集规模通常很小FER2013 约 3.5 万张CK 只有几百到几千张。在这样的小数据下训练一个 20 层以上的网络最容易遇到的就是过拟合和不收敛。ResNet 的残差结构天然有正则化倾向配合预训练权重后即使在几千张的小数据集上也能达到可用精度。所以我的结论是这个任务用 ResNet 不是因为它最花哨而是因为它给初次做深度学习项目的人留了足够的容错空间。2.3 选 ResNet18 还是 ResNet50不是越深越有面子很多人拿到题就默认用 ResNet50理由是“越深效果越好”。实际上在表情识别这个小数据集任务上ResNet18 和 ResNet50 的差距很小而显存占用和训练时间差距很大。我曾在一个 4GB 显存的笔记本上用 ResNet50 跑 FER2013batch_size 只能设 32一个 epoch 要十几分钟换成 ResNet18batch_size 能上 64训练时间直接砍半最终准确率只差 1 个百分点左右。模型参数量单张 224 输入前向耗时建议使用场景ResNet18约 11M低数据集小于 5 万张、显存小于等于 4GB、CPU 也能验证ResNet50约 25M中数据集大于 5 万张、有独立 GPU、希望冲击更高精度ResNet101约 44M高数据量 10 万张以上期末作业基本用不到如果说明文档已经指明“基于 ResNet50 实现”那就不要擅自改成 ResNet18老师会按源码提问。如果文档没有指定我从血泪经验出发建议先用 ResNet18 跑通全流程最后有时间再换 ResNet50 对比一次把两条曲线放到报告里反而更显诚意。2.4 顺带说一句为什么期末项目不推荐换 Transformer这两年 ViT、Swin Transformer 热度很高很多同学会问“能不能用 ViT 替代 ResNet”。技术上可以但期末作业不建议。原因是 Transformer 需要更多数据表情数据集通常不够它发挥训练时对学习率、权重初始化、数据增强的要求更高出现 NaN loss 的概率比 ResNet 大而且答辩时解释自注意力机制比解释残差结构难得多一旦被追问“为什么你的注意力图分布不正常”很容易讲不清楚。ResNet 的每个模块都能用一句话说清也更容易手绘出结构图。3. 数据准备把说明文档里的数据集变成能训练的样子拿到压缩包后第一件事不是跑训练而是先打开说明文档确认三件事数据目录长什么样、标签是以文件夹名还是 CSV 字段存在、图片是已经裁剪好的人脸还是完整原图。这一步决定了后面所有代码怎么写跳过去直接跑 train.py 是最常见的翻车起点。3.1 先摸清目录结构再建立固定的标签映射大多数“源码数据集说明文档”项目采用按类别分文件夹的结构形如dataset/ train/ happy/ 00001.jpg sad/ 00002.jpg val/ happy/ sad/ test/ happy/如果说明文档提供的是 CSV第一行通常是图片路径,标签。可以用 pandas 先看一眼内容。import pandas as pd train_df pd.read_csv(dataset/train.csv) print(train_df.head()) print(train_df[label].value_counts())这段代码读训练集 CSV输出前五行和每个表情类别的样本数量。用途有两个确认列名是什么以及尽早发现类别不平衡。比如“厌恶”只有 200 张“中性”有 1 万张后面训练就要考虑加权损失或者抽帧复制否则模型会直接放弃识别稀有表情。还有一个细节比读取更重要标签映射必须固定。不要用sorted(os.listdir(...))动态生成类别列表因为不同操作系统的枚举顺序不一定一致训练集和验证集的目录如果分别扫描很容易出现标签错位。常见做法是在一个公共文件里写死类别列表CLASS_NAMES [angry, disgust, fear, happy, sad, surprise, neutral] LABEL2IDX {name: idx for idx, name in enumerate(CLASS_NAMES)}这段代码很简单作用是把表情名转成固定数字下标。关键是以后所有 Dataset、评估函数、混淆矩阵、摄像头演示都用同一个LABEL2IDX不要各自重新定义。3.2 数据增强和归一化把过拟合挡在进模型之前表情数据集的量级通常不足以支撑 ResNet 全量训练数据增强不是可选项是必选项。PyTorch 推荐用torchvision.transforms组合一套流程。我常用的配置如下from torchvision import transforms train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomResizedCrop((224, 224), scale(0.8, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])训练集的Resize((256, 256))先把图片放大一点RandomResizedCrop((224, 224))再随机裁剪一块 224 区域这样能模拟人脸在画面中位置不固定的情况也等价于做了小幅平移和尺度扰动。scale(0.8, 1.0)表示裁剪区域占原图面积的 80% 到 100%比例太小会裁掉嘴巴或眼睛影响表情判断。RandomHorizontalFlip是水平翻转表情语义不会因为左右翻转改变可以放心用。ColorJitter调亮度、对比度、饱和度模拟不同光照环境。Normalize的参数必须和预训练权重保持一致。用 PyTorch 官方 ResNet 权重时mean 和 std 就是上面这组 ImageNet 统计量。如果换用自己的权重可以重新统计数据集均值方差但对期末作业来说没必要用 ImageNet 参数即可。还要特别注意验证集和测试集不能加随机增强只能用固定 Resize 加 Normalize。很多人验证集准确率忽高忽低就是因为把RandomHorizontalFlip也带进了验证流程。3.3 自定义 Dataset 和 DataLoader路径与标签一一绑定接下来写一个继承torch.utils.data.Dataset的类。常见做法是遍历每个类别目录收集图片路径和标签索引真正取数据时才打开图片。我一般写成这样from torch.utils.data import Dataset from PIL import Image class ExpressionDataset(Dataset): def __init__(self, root_dir, transformNone): self.root_dir root_dir self.transform transform self.samples [] for label_name, label_idx in LABEL2IDX.items(): label_dir root_dir / label_name if not label_dir.exists(): continue for img_path in sorted(label_dir.glob(*)): if img_path.suffix.lower() in [.jpg, .jpeg, .png]: self.samples.append((img_path, label_idx)) def __len__(self): return len(self.samples) def __getitem__(self, idx): img_path, label self.samples[idx] image Image.open(img_path).convert(RGB) if self.transform: image self.transform(image) return image, label这段代码遍历root_dir下每个标签目录把合法的图片路径和对应的标签索引组成元组存到self.samples。__len__返回样本总量__getitem__真正加载图片并应用 transform返回模型输入张量和标签。有两个需要留意的点。第一用glob(*)而不是glob(*.jpg)因为数据集里可能存在 PNG 图片*.jpg会把它们静默漏掉训练数据量不明不白少一截。我在后缀判断里加了白名单只要结尾是.jpg/.jpeg/.png就收进来。第二convert(RGB)能把灰度图统一成三通道避免 ResNet 第一层卷积因为通道数不匹配报错。DataLoader 的参数也要注意from torch.utils.data import DataLoader train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)shuffleTrue只用于训练集验证集设 False保证每次验证的顺序一致混淆矩阵和报告数据可复现。num_workers4能加快数据读取但在 Windows 上必须把训练逻辑放在if __name__ __main__:里面否则多进程会重复执行主模块并报错。pin_memoryTrue在 GPU 训练时能减少一次数据拷贝纯 CPU 训练则没有明显收益。4. 训练 ResNet几个关键参数和让曲线好看的做法数据准备好之后下一步是搭建模型并训练。这里的代码套路很固定真正的区别在参数设置。很多人用同一份源码跑出来的精度差很多问题不出在模型结构而出在预训练权重、学习率调度和保存 checkpoint 的方式上。4.1 加载预训练权重并替换分类头ResNet 在 ImageNet 上训练过默认输出 1000 类而表情任务只需要 7 类所以要替换最后一层全连接层。import torchvision.models as models model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) in_features model.fc.in_features model.fc torch.nn.Linear(in_features, len(CLASS_NAMES))这段代码做了两件事第一加载在 ImageNet 上预训练过的 ResNet18 权重第二把原来输出 1000 维的fc层换成一个只输出 7 维的新全连接层。in_features是原全连接层的输入维度ResNet18 是 512ResNet50 是 2048不用硬编码直接读出来最稳妥。为什么表情数据和 ImageNet 差别很大还要用预训练因为预训练模型学到的底层特征比如边缘、纹理、颜色过渡是通用的。人脸表情数据量小从头训练很容易让底层特征崩溃预训练权重相当于给模型一个“已经会看边缘”的起点只需要微调高层语义。在 PyTorch 2.0 之后的版本官方推荐用weights...这种写法旧代码里常见pretrainedTrue写法虽然还能兼容但会提示弃用建议改掉。4.2 优化器、学习率、调度器和轮次的推荐训练主循环不用写得花哨但参数配置我一般这样设优化器用 SGD初始学习率 1e-3weight_decay 1e-4使用余弦退火调度器。为什么不用 AdamSGD 加 Momentum 在中小型图像分类任务上泛化更好更容易收敛到平坦的最低点尤其是表情识别这种小数据集Adam 有时候会在验证集上出现训练 loss 很低、验证 acc 波动很大的现象。import torch import torch.nn as nn from torch.optim import SGD from torch.optim.lr_scheduler import CosineAnnealingLR from copy import deepcopy device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer SGD(model.parameters(), lr0.001, momentum0.9, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max30) best_acc 0.0 EPOCHS 30 for epoch in range(EPOCHS): model.train() train_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() val_acc evaluate(model, val_loader, device) scheduler.step() if val_acc best_acc: best_acc val_acc torch.save(deepcopy(model.state_dict()), best_model.pt) print(fepoch {epoch 1}, loss {train_loss:.3f}, val_acc {val_acc:.2%})主要参数的动作逻辑如下。lr0.001适合全量微调预训练模型如果是从头训练建议降到 1e-3 以下或者改用 1e-4。momentum0.9是标准配置不要轻易改。weight_decay1e-4提供轻量 L2 正则化能压低模型权重范数对防止过拟合有实际帮助。CosineAnnealingLR的T_max30表示 30 个 epoch 内学习率从初始值降到接近 0所以 epoch 数设置多少T_max就应该跟着改多少否则学习率曲线不会完整跑完。注意scheduler.step()放在每个 epoch 结束后而不是每个 batch 后。如果放在optimizer.step()后面会变成 step 次数远超预期学习率提前衰减到最低点模型后半程基本不动。这个错误很隐蔽训练曲线看起来一直下降但后期验证集准确率就是上不去。4.3 验证指标整体准确率之外还要看混淆矩阵表情识别里整体准确率会掩盖很多问题。如果数据集里“中性”占多数模型只要把所有样本都判成“中性”整体准确率可能超过 30%看起来不算太差但“恐惧”“厌恶”这些类别完全没被识别。所以验证函数不能只返回一个准确率最好把每个类别的正确数也统计出来。def evaluate(model, dataloader, device): model.eval() correct 0 total 0 class_correct [0] * len(CLASS_NAMES) class_total [0] * len(CLASS_NAMES) with torch.no_grad(): for images, labels in dataloader: images, labels images.to(device), labels.to(device) outputs model(images) preds outputs.argmax(dim1) correct (preds labels).sum().item() total labels.size(0) for i, label in enumerate(labels): class_total[label.item()] 1 if preds[i] label: class_correct[label.item()] 1 overall_acc correct / total per_class_acc [ class_correct[i] / class_total[i] if class_total[i] 0 else 0.0 for i in range(len(CLASS_NAMES)) ] return overall_acc, per_class_acc这里的关键是torch.no_grad()。验证阶段不需要计算梯度如果不加这个上下文模型前向过程会把计算图完整保留下来一个 epoch 验证下来显存压力会翻倍甚至直接 OOM。outputs.argmax(dim1)是在类别概率维度取最大值的下标得到预测类别。class_total统计真实类别数量class_correct统计该类别里被预测对的次数最后相除得到每个类别的召回率。如果发现某个类别召回率特别低报告里能写出一句“模型对厌恶类别的识别率为 15%主要原因是该类样本数量极少且与惊讶类在嘴部形态上高度相似”这句话比整体准确率更有含金量。把整体准确率和各类别召回率都打印出来也能帮你判断到底是模型问题还是数据问题。5. 踩坑与排查表情识别项目最容易翻车的五个地方以下坑按出现频率排每一条都是期末周里反复出现过的场景现象、原因、解决方式按顺序写清楚。5.1 验证集准确率 20% 上下先查标签映射再查归一化现象训练 loss 正常下降但验证集准确率始终在 20% 附近浮动接近随机猜测。原因绝大多数情况是标签映射错位。比如训练集和验证集用了不同的类别排序或者用sorted(os.listdir())动态生成类别列表后在 Windows 和 Linux 上枚举顺序不一致。还有可能是 CSV 里的标签是字符串“happy”而代码里直接把它当成整数one_hot使用导致模型输入和输出维度都对不上。解决从 DataLoader 里手动取一个 batch打印图片对应的类别名。我一般会写三行代码快速验证images, labels next(iter(val_loader)) print(CLASS_NAMES[labels[0].item()]) # 保存 images[0] 到本地肉眼确认是不是这个情绪如果打印出的类别和图片实际内容对不上问题就在标签映射而不是模型。另外把Normalize的 mean 设为 0、std 设为 1 可以快速排查归一化方向如果去掉归一化后精度明显改变说明归一化参数写错。5.2 别人的 80% 你只能跑 60%多半是没做人脸对齐现象同一份源码、同一个数据集复现出的验证集准确率比说明文档里报的低十几个点。原因数据集里的图片并不全是人脸居中的正脸图很多照片除了脸还有大量头发、衣服、背景。模型被迫去学背景和肤色分布而不是嘴部和眼周细节。表情识别的前提是人脸已经对齐裁剪如果直接拿原图训练等于把任务难度抬高了一个级别。解决在预处理阶段加一个人脸检测器把最大的一张脸裁出来再送进模型。OpenCV 自带的 Haar 级联检测器在正常光照下够用import cv2 face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) gray cv2.cvtColor(cv2.imread(str(img_path)), cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors5, minSize(48, 48) )scaleFactor1.1表示每轮检测窗口按 1.1 倍缩小值越小越慢但越准不要低于 1.03否则检测时间会暴涨。minNeighbors5是每个候选框需要被多少个相邻窗口认可才保留值太小人脸检测器会输出大量误检框值太大侧脸会检测不到。找到最大面积的人脸框后把它外扩 20% 再裁剪然后走正常 transform 流程。5.3 CUDA out of memory 或者训练速度慢到怀疑人生现象训练脚本启动后直接报RuntimeError: CUDA out of memory或者显存没炸但一个 epoch 跑二十分钟。原因绝大多数是 batch_size 和输入图像尺寸设置不合理。4GB 显存硬跑 batch_size 128 的 ResNet50显存当然会爆。另一个常见原因是 DataLoader 的num_workers在 Windows 上反复创建子进程数据加载反而变成瓶颈。解决先把 batch_size 减半再看显存占用变化。如果 batch_size 降到 16 还不够就把输入从Resize(256)改成Resize(224)并去掉随机裁剪的放大步骤直接固定 224 训练。torch.cuda.empty_cache()能释放部分碎片显存但对超量占用没帮助不要指望它救急。如果实在没有 GPU把模型换成 ResNet18并且把验证阶段用torch.no_grad()包好CPU 也能在可接受时间内完成训练。5.4 训练集 99%、验证集 60%过拟合增强和正则没拉满现象训练 loss 一路降到接近于零训练集准确率接近 100%但验证集准确率只有 60% 出头而且随 epoch 波动越来越大。原因模型参数远多于训练样本又没有足够的正则化手段网络把训练集的噪声和具体人脸都背下来了。表情数据集特别小这种情况非常典型。解决按顺序做三件事。第一把训练增强拉满加上RandomRotation(10)和RandomAffine(translate(0.1, 0.1))人脸小幅旋转和位移不会改变表情语义。第二在全连接层前加一个Dropout(p0.5)注意要在替换分类头之后再加而不是直接改model.fc。第三使用早停连续三个 epoch 验证集准确率不增长就停止训练并保留之前表现最好的权重文件。不要迷信越大越深的模型过拟合时换 ResNet18 往往比调 ResNet50 的参数更有效。5.5 预训练权重下载卡住或版本兼容报错现象第一次运行models.resnet18(weights...)时一直卡在 downloading或者运行旧代码时提示pretrainedTrue即将弃用甚至直接报KeyError。原因torchvision 的权重下载需要访问外部地址网络不稳定时下载会中断下次运行还要从零开始。PyTorch 版本升级后部分旧写法被移除很多课程设计源码没有同步更新。解决手动下载对应的权重文件放到本机缓存目录里。缓存目录通常是~/.cache/torch/hub/checkpoints/文件名要和torchvision期望的名字一致。然后改成显式加载model models.resnet18(weightsNone) state_dict torch.load(resnet18-f37072fd.pth, map_locationcpu) model.load_state_dict(state_dict, strictFalse)strictFalse很关键因为替换fc层后权重文件和模型结构本来就不完全匹配它会忽略缺失和多余的 key只加载兼容的层。如果不加这个参数加载早于替换fc会报 shape mismatch加载晚于替换又会报 missing key。用strictFalse之后再确认一次数层卷积权重是否真的加载成功可以打印model.conv1.weight看看是不是非零张量。6. 答辩验收前最值得做的三件小事如果时间只剩三天不要急着换 ResNet50 或者调更复杂的损失函数优先把这三件事做完保存训练曲线图、做一次摄像头实时演示、生成一张混淆矩阵图。这三件事都不改模型结构却能让你的大作业从“代码能跑”变成“结果能讲”。摄像头实时演示是答辩时最容易给老师留下印象的环节。加载best_model.pt后每一帧画面先做人脸检测裁剪人脸再用和验证阶段完全相同的val_transform处理最后送进模型得到概率分布。注意推理时也一定要加torch.no_grad()否则计算图不断累积演示会越来越卡直到内存爆掉。一个容易忽略的细节是演示代码里使用的 transform 必须和训练时的验证 transform 一致不能重新写一组包含随机增强的变换否则摄像头里看到的结果会忽好忽坏。混淆矩阵图要打印成图片存在报告里。sklearn.metrics.confusion_matrix可以直接生成矩阵再用matplotlib画成热力图横轴是预测类别纵轴是真实类别。答辩时指着“恐惧被误分为惊讶”的那一格说一句话比背十页原理都更有说服力它能证明你真正看过模型在哪出错。再说一个我第一次做这个题目的教训我把所有精力都花在调 ResNet50 的学习率上最后精度只比 ResNet18 高了零点几个点却因为训练时间太长差点错过验收。从那以后我养成了一个习惯先小模型跑通全流程再考虑大模型提交前最后一小时不再改任何超参数只反复确认best_model.pt的加载路径和说明文档里写的准确率是不是自己复现出来的真实数值。希望这些方法能帮到正在为期末大作业熬夜的你。本文还有配套的精品资源点击获取