简介这份Python期末大作业源码实现了一个基于卷积神经网络CNN的人脸表情识别系统面向计算机相关专业学生及需要项目实战练习的学习者难度适中适合作为课程设计或深度学习入门实践。资源包共23个文件约19.17MB包含10个Python脚本、5张PNG图片、2个TFRecord数据文件以及Keras训练脚本、XML标注、HTML页面、Markdown说明等覆盖数据读取、模型定义、训练与识别等完整流程。已有52人学习下载。项目经导师指导与评审认可源码本地编译调试通过可直接运行。读者可借此掌握CNN特征提取与表情分类的实现思路理解图像预处理、数据增强、模型训练与推理的衔接方式并参考目录结构快速定位训练、识别与界面模块为后续深度学习项目开发积累可复用的工程经验。1. 从一份 CNN 人脸表情识别源码说起它到底能跑出什么期末大作业选人脸表情识别十有八九是因为它看起来有深度学习的样子又不像目标检测那样要标几千张框。但真正动手你会发现网上搜到的源码要么跑不起来要么跑起来只有 60% 准确率答辩时被老师一句你这个模型为什么这么设计问住。这份基于 CNN 的人脸表情识别系统源码核心链路其实就四步人脸检测裁出脸部区域、灰度化归一化、CNN 分类七类表情、输出结果。它解决的是给定一张人脸图判断是高兴、悲伤、愤怒还是中性这类问题适合做课程设计、毕业设计入门也适合想搞懂 CNN 卷积神经网络到底怎么落地的人。下面我按自己踩过的顺序把数据、模型、训练、推理、避坑全讲一遍你照着能复现也能看懂每一行为什么这么写。2. 数据准备FER2013 和 CK 怎么选、怎么读、怎么切2.1 两个主流数据集的取舍人脸表情识别最常用的公开数据集就两个FER2013 和 CK。FER2013 是 CSV 格式每行一个像素值加一个表情标签共 35887 张 48×48 灰度图七类表情分布不均厌恶类只有 547 张这是后面类别不均衡的根源。CK 是图片序列主体是实验室环境下的夸张表情干净但样本少只有几百条序列。选哪个取决于你的目标。如果只是跑通流程、答辩能展示FER2013 足够因为它是 CSV读取简单不用处理文件夹结构。如果想让准确率好看可以 FER2013 预训练再在 CK 上微调。我一般建议期末作业直接用 FER2013理由是数据量够、格式统一、网上参考多出问题好排查。2.2 用 pandas 读 FER2013 并转成 numpy 数组FER2013 的 CSV 第一列是标签第二列是 2304 个像素值用空格隔开的字符串第三列是用途Training/PublicTest/PrivateTest。直接读进来是字符串必须拆开。import pandas as pd import numpy as np def load_fer2013(csv_path): df pd.read_csv(csv_path) # 像素列是空格分隔的字符串拆成 2304 个整数 pixels df[pixels].apply(lambda x: np.array(x.split(), dtypefloat32)) # 归一化到 0-1CNN 对输入尺度敏感 X np.stack(pixels.values) / 255.0 # 还原成 48x48x1 的图像形状 X X.reshape(-1, 48, 48, 1) y df[emotion].values usage df[Usage].values return X, y, usage X, y, usage load_fer2013(fer2013.csv) # 按官方划分切分别自己随机切否则和论文结果没法比 X_train, y_train X[usage Training], y[usage Training] X_val, y_val X[usage PublicTest], y[usage PublicTest] X_test, y_test X[usage PrivateTest], y[usage PrivateTest]这段代码的关键点有三个。第一x.split()拆出来是字符串列表必须指定dtypefloat32否则后面训练会报类型错误。第二除以 255 是必须的不归一化的话梯度会爆炸loss 直接变 nan。第三reshape(-1, 48, 48, 1)里的 1 是通道数因为 FER2013 是灰度图如果你用彩色数据集这里要改成 3。2.3 类别不均衡的处理class_weight 比过采样更省事FER2013 七类样本数差距很大训练时模型会偏向多数类。常见做法有两种对少数类过采样或者用class_weight给损失函数加权。我一般用后者因为不用改数据一行代码搞定。from sklearn.utils.class_weight import compute_class_weight import numpy as np class_weights compute_class_weight( class_weightbalanced, classesnp.unique(y_train), yy_train ) class_weight_dict dict(enumerate(class_weights)) # 训练时传给 fit 的 class_weight 参数balanced模式会自动按总样本数 / (类别数 * 该类样本数)算权重少数类权重高模型犯错时惩罚更大。注意这个权重只在训练集上算别用测试集否则数据泄漏。3. CNN 模型搭建从三层基线到可用的七分类网络3.1 为什么不用现成的 ResNet50很多人第一反应是拿 ResNet50 或 VGG16 来微调觉得网络越深越好。但 FER2013 只有 48×48 灰度图输入分辨率低深网络的感受野和参数量严重过剩训练慢还容易过拟合。我实测过 ResNet50 直接上验证集准确率卡在 55% 左右还不如自己搭的四层卷积。原因是小图上深网络的池化层会把特征压得太狠到后面几乎没有空间信息了。所以选型逻辑是输入小、数据量中等用 4 到 6 层卷积、每层后面接 BatchNorm 和 MaxPooling最后全局池化接全连接。这个结构参数量在百万级单卡几十分钟能训完准确率能到 65% 上下对期末作业完全够用。3.2 用 Keras 搭一个可复现的基线模型from tensorflow.keras import layers, models, regularizers def build_cnn(input_shape(48, 48, 1), num_classes7): model models.Sequential([ # 第一层提取边缘和纹理 layers.Conv2D(32, (3, 3), paddingsame, input_shapeinput_shape), layers.BatchNormalization(), layers.Activation(relu), layers.MaxPooling2D((2, 2)), layers.Dropout(0.25), # 第二层组合局部特征 layers.Conv2D(64, (3, 3), paddingsame), layers.BatchNormalization(), layers.Activation(relu), layers.MaxPooling2D((2, 2)), layers.Dropout(0.25), # 第三层更高层语义 layers.Conv2D(128, (3, 3), paddingsame), layers.BatchNormalization(), layers.Activation(relu), layers.MaxPooling2D((2, 2)), layers.Dropout(0.25), # 全局平均池化替代 Flatten减少参数量防过拟合 layers.GlobalAveragePooling2D(), layers.Dense(128, activationrelu, kernel_regularizerregularizers.l2(1e-4)), layers.Dropout(0.5), layers.Dense(num_classes, activationsoftmax) ]) return model model build_cnn() model.compile( optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy] ) model.summary()逐层说下设计理由。paddingsame保证卷积后尺寸不变方便堆叠。BatchNorm 放在卷积和激活之间能加速收敛、缓解梯度消失这是血泪经验——不加 BN 的话训练前几个 epoch loss 几乎不动。Dropout 从 0.25 到 0.5 递增浅层特征多保留、深层多丢弃。用GlobalAveragePooling2D而不是Flatten是因为 Flatten 会把 6×6×128 拉成 4608 维全连接层参数量爆炸全局池化直接压成 128 维过拟合风险小很多。损失函数用sparse_categorical_crossentropy因为标签是整数不是 one-hot省一步转换。如果你标签是 one-hot要换成categorical_crossentropy这个搞混了 loss 会一直不降。3.3 训练参数怎么设batch size、学习率、epochfrom tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau, ModelCheckpoint callbacks [ # 验证集 loss 连续 8 轮不降就停防止过拟合 EarlyStopping(monitorval_loss, patience8, restore_best_weightsTrue), # 验证集 loss 停滞时学习率减半 ReduceLROnPlateau(monitorval_loss, factor0.5, patience4, min_lr1e-6), # 只保存验证集上最好的模型 ModelCheckpoint(best_model.h5, monitorval_accuracy, save_best_onlyTrue, modemax) ] history model.fit( X_train, y_train, batch_size64, epochs80, validation_data(X_val, y_val), class_weightclass_weight_dict, callbackscallbacks )batch size 选 64 是权衡太小梯度噪声大、训练慢太大显存吃紧且泛化差。学习率用 Adam 默认的 1e-3 起步配合ReduceLROnPlateau自动衰减比手动调省心。epoch 设 80 但靠 EarlyStopping 提前停实际一般 30 到 50 轮就收敛。restore_best_weightsTrue很重要否则 EarlyStopping 停的时候模型可能已经过拟合了这个参数帮你回滚到最优权重。4. 推理与部署把模型接到摄像头和图片上4.1 用 OpenCV 做人脸检测再送进模型模型只认 48×48 的人脸直接拿整张图去预测是错的。必须先用人脸检测器裁出人脸区域。OpenCV 自带的 Haar 级联检测器够用不用额外装 dlib。import cv2 import numpy as np from tensorflow.keras.models import load_model model load_model(best_model.h5) face_cascade cv2.CascadeClassifier( cv2.data.haarcascades haarcascade_frontalface_default.xml ) emotion_labels [Angry, Disgust, Fear, Happy, Sad, Surprise, Neutral] def predict_emotion(frame): gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, scaleFactor1.1, minNeighbors5) results [] for (x, y, w, h) in faces: roi gray[y:yh, x:xw] roi cv2.resize(roi, (48, 48)) roi roi.astype(float32) / 255.0 roi roi.reshape(1, 48, 48, 1) pred model.predict(roi, verbose0)[0] label emotion_labels[np.argmax(pred)] results.append((x, y, w, h, label, float(np.max(pred)))) return resultsdetectMultiScale的scaleFactor1.1表示每次图像缩小 10% 再检测值越小检测越细但越慢minNeighbors5是过滤误检的阈值调高误检少但可能漏检。裁出 ROI 后必须 resize 到 48×48 并归一化这两步和训练时保持一致否则预测结果全是乱的。reshape(1, 48, 48, 1)里的 1 是 batch 维度模型预测要四维输入。4.2 摄像头实时推理的帧率优化实时跑的时候如果每帧都检测帧率会掉到个位数。常见优化是隔几帧检测一次人脸中间帧沿用上一次的框。cap cv2.VideoCapture(0) frame_count 0 last_results [] while True: ret, frame cap.read() if not ret: break frame_count 1 # 每 5 帧检测一次其余帧复用结果 if frame_count % 5 0: last_results predict_emotion(frame) for (x, y, w, h, label, conf) in last_results: cv2.rectangle(frame, (x, y), (xw, yh), (0, 255, 0), 2) cv2.putText(frame, f{label} {conf:.2f}, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) cv2.imshow(Emotion, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()隔帧检测是实时系统的常规操作5 帧一次在普通笔记本上能跑到 20 FPS 以上。conf是 softmax 最大概率低于 0.5 的建议不显示或标不确定因为模型在模糊人脸上的输出不可信。5. 避坑与排查那些让准确率卡在 60% 的细节5.1 现象训练准确率 95%验证准确率只有 55%原因典型过拟合。FER2013 训练集和验证集分布有差异加上模型参数量相对数据量偏大。解决先加 Dropout 和 L2 正则再把GlobalAveragePooling2D换掉Flatten最后开数据增强。如果还不行说明模型太深减一层卷积。5.2 现象loss 一直是 nan训练无法进行原因输入没归一化或者标签越界。FER2013 标签是 0 到 6如果你自己映射错了变成 1 到 7sparse_categorical_crossentropy会报错或产生 nan。解决检查X.max()是否等于 1.0检查y.min()和y.max()是否在 0 到 6 之间。另外学习率设太大也会 nan从 1e-3 往下调。5.3 现象模型对厌恶类几乎全预测错原因FER2013 里厌恶只有 547 张模型见得太少。解决class_weight已经能缓解但效果有限。更彻底的做法是把厌恶和愤怒合并成一类变成六分类准确率立刻上去。答辩时如果老师问为什么少一类就解释数据不均衡的工程取舍这是合理的。5.4 现象摄像头推理时人脸框乱跳、表情频繁切换原因Haar 检测器在连续帧上不稳定加上模型对同一张脸的输出有波动。解决对连续几帧的预测结果做投票或滑动平均比如维护一个长度 5 的队列取众数作为最终输出。另外把minNeighbors调到 6 到 8减少误检。5.5 现象换一张自己拍的照片预测全错原因训练数据是实验室采集的正面人脸你拍的照片可能有侧脸、光照差异、戴眼镜。解决推理前做人脸对齐用眼睛位置把脸摆正或者对输入做直方图均衡化减小光照影响。如果要求高得在自己的数据上微调几轮。6. 让准确率再上一个台阶迁移学习和注意力机制的实际收益基线模型跑到 65% 左右就上不去了想冲 70% 以上我试过两条路说下实际收益和代价。第一条是迁移学习。用在大规模人脸数据上预训练过的网络做特征提取比如把 VGGFace 的卷积层拿过来只训练后面的分类头。做法是加载预训练权重冻结前几层用较小的学习率微调。base tf.keras.applications.MobileNetV2( input_shape(96, 96, 3), include_topFalse, weightsimagenet ) base.trainable False # 先冻结 model models.Sequential([ base, layers.GlobalAveragePooling2D(), layers.Dense(128, activationrelu), layers.Dropout(0.5), layers.Dense(7, activationsoftmax) ])注意 MobileNetV2 要求输入 96×96 三通道所以 FER2013 的 48×48 灰度图要先 resize 并复制成三通道。冻结训练 10 轮后再解冻最后几个 block 用 1e-5 的学习率微调。这套下来验证准确率能到 68% 到 70%代价是训练时间翻倍而且输入尺寸变了推理端也要同步改。第二条是加注意力模块。在卷积层后面插一个 SESqueeze-and-Excitation块让网络自动学习每个通道的权重。实现不复杂def se_block(inputs, ratio8): channels inputs.shape[-1] se layers.GlobalAveragePooling2D()(inputs) se layers.Dense(channels // ratio, activationrelu)(se) se layers.Dense(channels, activationsigmoid)(se) se layers.Reshape((1, 1, channels))(se) return layers.Multiply()([inputs, se])把每个卷积块的输出接一个se_block参数量只增加一点点准确率能提 1 到 2 个百分点。但要注意注意力模块在小模型上收益有限如果你的基线只有四层卷积加 SE 可能反而过拟合。我自己的习惯是先跑通基线记录准确率和混淆矩阵看清楚哪几类容易混再决定是加数据增强、换迁移学习还是加注意力。别一上来就堆模块那样出了问题你根本不知道是哪一层导致的。调参这件事没有后悔药每一步改动都要有对照实验。最后说个验证技巧训练完后一定要画混淆矩阵别只看总准确率。FER2013 上恐惧和悲伤经常互混中性和高兴也有重叠混淆矩阵能告诉你模型到底弱在哪比盯着一个数字有用得多。希望帮到你。本文还有配套的精品资源点击获取