简介这是一套面向高校计算机相关专业毕业设计的人脸表情识别课堂行为检测系统源码包适合正在准备毕设、需要完整可运行项目的学生与开发者。项目以Python为核心融合人脸检测、表情分类与课堂行为分析可用于智慧教室、教学状态评估等场景帮助读者快速搭建从数据到界面展示的完整流程。压缩包共261个文件约118.46MB包含90个py源码、75个pyc编译文件、24个html与21个css前端页面、17个mp4演示素材以及数据库、配置与说明文档等覆盖后端逻辑、前端界面与模型资源。已有582人学习下载说明项目具备一定参考价值。读者可获得已通过导师指导的高分毕设方案包括完整代码、训练模型、页面模板与运行所需素材便于直接部署、二次修改与答辩演示也能借此理解表情识别在课堂行为检测中的落地思路。1. 从一份课堂行为检测源码包说起表情识别怎么落到教学场景里去年帮一个师范院校的学弟看毕设他做的是课堂行为检测答辩前一周跑不通模型急得不行。我打开他的工程一看问题不在算法而在于他把人脸表情识别和课堂行为统计硬拼在一起中间缺了一层状态映射。后来我拿到这份基于 Python 开发的人脸表情识别课堂行为检测系统源码加模型拆了两天发现它的思路其实很清晰用 OpenCV 抓帧用训练好的表情分类模型逐帧推理再把表情序列按时间窗口聚合成课堂行为标签最后落到 Web 端展示。这套东西适合谁做毕业设计的学生、想快速搭一个课堂分析原型的开发者以及需要一套可跑通的表情识别加行为统计管线的工程师。它解决的不是“识别一张脸”这种单点问题而是从视频流到行为报表的完整链路。下面我按自己复现的顺序把这份资源拆开讲。2. 环境搭建与依赖安装把 Python 版本和 cv2 的坑先填了2.1 为什么 Python 3.8 是这套源码的舒适区这份工程里用到了 TensorFlow 和 OpenCV 的组合模型文件是 H5 格式。我实测下来Python 3.8 到 3.9 之间最稳3.10 以上容易在 TensorFlow 导入时碰到DLL load failed或者numpy版本冲突。常见做法是直接用 conda 建一个独立环境别在系统 Python 里折腾。源码里没有写死版本号但根据模型加载方式和依赖调用习惯我一般会锁这几个版本tensorflow2.6.0、opencv-python4.5.5.64、numpy1.19.5、Flask2.0.3。如果你用pip install直接装最新版大概率会在cv2.imshow或者模型predict那一步翻车。# 创建独立环境避免污染系统 Python conda create -n classroom_fer python3.8 conda activate classroom_fer # 按顺序安装先装 numpy 再装 tensorflow减少依赖解析冲突 pip install numpy1.19.5 pip install opencv-python4.5.5.64 pip install tensorflow2.6.0 pip install Flask2.0.3 pip install Pillow8.4.0这段命令的关键在于安装顺序。numpy先装是因为 TensorFlow 和 OpenCV 都会依赖它如果让 pip 自动解析可能会装一个和 TensorFlow 2.6 不兼容的 numpy 2.x 版本。opencv-python选 4.5.5.64 是因为这个版本对cv2.dnn和传统图像处理 API 的支持最完整源码里用到的cv2.VideoCapture和cv2.resize在这个版本下行为稳定。Flask 用来起 Web 服务版本不用太新2.0.3 足够跑通路由和模板渲染。2.2 目录结构里藏着的运行入口解压源码包后你会看到一堆 CSS 文件和 Python 脚本混在一起。别被admin_login.css、student_index.css这些前端文件迷惑真正的入口在根目录的app.py或者run.py。我拿到的这份工程里Web 入口是app.py模型推理逻辑拆在fer_model.py和behavior_analyzer.py两个文件里。static目录放 CSS 和 JStemplates放 HTML 模板models目录下有一个emotion_model.h5和haarcascade_frontalface_default.xml。# app.py 里通常会有这样的路由定义 from flask import Flask, render_template, request, jsonify import cv2 import numpy as np from fer_model import predict_emotion from behavior_analyzer import analyze_behavior app Flask(__name__) app.route(/) def index(): return render_template(index.html) app.route(/detect, methods[POST]) def detect(): # 接收前端上传的图片或视频帧 file request.files[frame] img cv2.imdecode(np.frombuffer(file.read(), np.uint8), cv2.IMREAD_COLOR) # 先做人脸检测再送表情模型 faces detect_faces(img) results [] for (x, y, w, h) in faces: roi img[y:yh, x:xw] emotion predict_emotion(roi) results.append({box: [x, y, w, h], emotion: emotion}) # 把表情序列交给行为分析模块 behavior analyze_behavior(results) return jsonify({faces: results, behavior: behavior})这段代码的逻辑是前端传一帧图像过来后端先解码成 OpenCV 格式然后调用人脸检测器定位人脸区域裁出 ROI 后送进表情分类模型最后把这一帧的表情结果交给行为分析模块做累积判断。参数上要注意cv2.imdecode的第二个参数必须是cv2.IMREAD_COLOR否则后续颜色通道会对不上。detect_faces函数里用的通常是 Haar 级联或者 DNN 人脸检测器源码里给的是 Haar速度够用但侧脸容易漏后面避坑章节会细说。2.3 模型文件放对位置别让路径问题浪费一晚上源码包里模型文件一般放在models/目录下但代码里加载路径可能是相对路径./models/emotion_model.h5。如果你从别的目录启动app.py就会报Unable to open file或者OSError: No such file or directory。我一般会在代码开头加一段路径检查或者直接用绝对路径。另外Haar 级联的 XML 文件在cv2.data.haarcascades里也有一份但源码里如果指定了本地路径就优先用本地的避免版本差异导致检测参数不一致。import os import cv2 BASE_DIR os.path.dirname(os.path.abspath(__file__)) MODEL_PATH os.path.join(BASE_DIR, models, emotion_model.h5) CASCADE_PATH os.path.join(BASE_DIR, models, haarcascade_frontalface_default.xml) # 加载前先确认文件存在 if not os.path.exists(MODEL_PATH): raise FileNotFoundError(f模型文件不存在: {MODEL_PATH}) face_cascade cv2.CascadeClassifier(CASCADE_PATH)这段代码解决的是路径漂移问题。os.path.abspath(__file__)拿到当前脚本的绝对路径再拼上models目录不管你在哪个终端窗口启动都能找到模型。CascadeClassifier加载失败时不会抛异常只会返回一个空对象后面调用detectMultiScale会报(-215:Assertion failed)所以最好在加载后加一句if face_cascade.empty(): raise RuntimeError(...)做防御。3. 表情识别模型推理从人脸框到七类情绪的完整链路3.1 人脸检测与 ROI 裁剪的参数怎么调源码里人脸检测用的是 Haar 级联detectMultiScale有几个关键参数scaleFactor、minNeighbors、minSize。默认值通常是1.1、5、(30, 30)。在课堂场景下学生坐得比较远人脸像素少minSize设太大会直接漏检。我一般会把minSize调到(24, 24)scaleFactor保持1.1minNeighbors降到4这样召回率高一些但误检也会增加。如果教室光线偏暗可以先把帧转成灰度再做直方图均衡化Haar 对光照变化比较敏感。def detect_faces(frame): gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 直方图均衡化缓解教室侧光导致的对比度不足 gray cv2.equalizeHist(gray) faces face_cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors4, minSize(24, 24), flagscv2.CASCADE_SCALE_IMAGE ) return facesequalizeHist是这一步的关键补充。很多同学直接拿彩色图转灰度就送检测结果背光那一侧的脸全丢了。直方图均衡化把灰度分布拉开Haar 的特征模板更容易命中。minNeighbors4比默认的 5 稍微宽松一点适合课堂这种多人脸场景但如果你发现背景里椅子腿也被框成人脸就调回 5 或者加一个宽高比过滤。3.2 表情分类模型的输入预处理与推理模型输入通常是 48x48 或 64x64 的灰度图源码里用的是 48x48。ROI 裁剪出来后要 resize、归一化再扩展一个 batch 维度。注意通道顺序如果模型训练时用的是灰度图推理时也要转灰度别直接送 BGR 三通道否则准确率会掉得莫名其妙。我见过有人把 BGR 图直接 resize 送进去模型也能跑但输出全是“中性”因为通道数对不上时 Keras 会报错或者自动截断行为很玄学。def predict_emotion(roi): # 转灰度并缩放到模型输入尺寸 gray cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) gray cv2.resize(gray, (48, 48)) # 归一化到 0-1 gray gray.astype(float32) / 255.0 # 扩展维度和通道维度: (1, 48, 48, 1) input_tensor np.expand_dims(gray, axis-1) input_tensor np.expand_dims(input_tensor, axis0) # 推理 preds model.predict(input_tensor, verbose0) emotion_idx np.argmax(preds[0]) return EMOTION_LABELS[emotion_idx]np.expand_dims用了两次第一次在最后加通道维第二次在最前加 batch 维。顺序不能反否则形状会变成(48, 48, 1, 1)模型直接报维度不匹配。verbose0是关掉 Keras 的进度条输出在 Web 服务里每帧都打印会拖慢响应。EMOTION_LABELS的顺序要和训练时的类别顺序一致常见的是[angry, disgust, fear, happy, sad, surprise, neutral]如果你拿到的模型类别顺序不同改这个列表就行别去改模型输出。3.3 从表情序列到课堂行为标签的映射逻辑单帧表情没有太大意义课堂行为检测看的是时间窗口内的表情变化。源码里behavior_analyzer.py的做法是维护一个滑动窗口比如 30 帧统计窗口内各表情的占比然后按规则映射happy 占比高判为“积极互动”neutral 占比高判为“专注听讲”sad 或 angry 占比高判为“情绪低落”surprise 频繁出现判为“惊讶反应”。这个映射规则是硬编码的你可以根据实际课堂场景调整阈值。from collections import deque class BehaviorAnalyzer: def __init__(self, window_size30): self.window deque(maxlenwindow_size) def update(self, emotion): self.window.append(emotion) def get_behavior(self): if len(self.window) self.window.maxlen: return 数据不足 total len(self.window) happy_ratio self.window.count(happy) / total neutral_ratio self.window.count(neutral) / total negative_ratio (self.window.count(sad) self.window.count(angry)) / total if happy_ratio 0.4: return 积极互动 elif negative_ratio 0.3: return 情绪低落 elif neutral_ratio 0.5: return 专注听讲 else: return 一般状态deque的maxlen自动维持窗口大小不用手动 pop。阈值0.4、0.3、0.5是我根据小样本课堂视频调的你可以根据自己数据分布改。注意window.maxlen在deque初始化后是只读属性别试图动态改它要改窗口大小就重新实例化一个分析器。这个模块的输入是逐帧表情标签输出是行为标签中间没有做平滑滤波如果表情抖动厉害可以在update里加一个多数投票或者指数平滑。4. Web 端集成与实时视频流处理Flask 路由和帧传输的配合4.1 前端上传帧的两种方式与后端接收差异源码的前端有两种模式一种是上传图片文件一种是调用摄像头逐帧传 base64。图片上传用request.files接收摄像头帧用request.json或者request.form接收 base64 字符串再解码。两种方式的解码逻辑不同混用会报KeyError或者TypeError。我一般会在后端统一成一个decode_frame函数根据 content-type 判断来源。import base64 import numpy as np import cv2 from flask import request def decode_frame(): if frame in request.files: # 文件上传模式 file request.files[frame] data np.frombuffer(file.read(), np.uint8) return cv2.imdecode(data, cv2.IMREAD_COLOR) elif request.is_json and frame in request.json: # base64 模式 b64_str request.json[frame].split(,)[-1] data base64.b64decode(b64_str) arr np.frombuffer(data, np.uint8) return cv2.imdecode(arr, cv2.IMREAD_COLOR) else: raise ValueError(未识别的帧格式)split(,)[-1]是为了去掉 base64 前缀data:image/jpeg;base64,前端用 canvas 的toDataURL时会带上这个前缀不切掉直接解码会报binascii.Error。cv2.imdecode返回的是 BGR 格式和cv2.imread一致后续处理不用再转。如果前端传的是 PNG 带透明通道IMREAD_COLOR会丢掉 alpha 通道这正好符合模型输入要求。4.2 实时视频流的帧率控制与推理耗时平衡课堂行为检测如果做实时帧率不能太低但每帧都跑表情模型又太慢。源码里没有做跳帧我实测在普通笔记本上Haar 检测加模型推理一帧大概 80 到 120 毫秒也就是 8 到 12 FPS。如果前端摄像头是 30 FPS后端处理不过来帧会堆积延迟越来越大。常见做法是后端只处理最新帧或者每隔 N 帧处理一次中间帧复用上一次的结果。import time class FrameProcessor: def __init__(self, interval3): self.interval interval self.counter 0 self.last_result None def process(self, frame): self.counter 1 if self.counter % self.interval ! 0: return self.last_result # 实际推理 faces detect_faces(frame) results [] for (x, y, w, h) in faces: roi frame[y:yh, x:xw] emotion predict_emotion(roi) results.append({box: [x, y, w, h], emotion: emotion}) self.last_result results return resultsinterval3表示每三帧处理一次中间帧直接返回上一次结果。这样后端负载降到三分之一前端看起来还是连续的。代价是快速表情变化可能被跳过但课堂行为本身变化慢影响不大。counter用取模判断简单可靠。如果你发现结果更新太慢把interval降到 2如果 CPU 占用太高升到 4 或 5。4.3 数据库与前端展示的对接要点源码里用 SQLite 存检测记录表结构一般是id、student_id、emotion、behavior、timestamp。前端通过/history路由拉取记录展示。这里容易踩的坑是时间戳格式Python 的datetime.now()存进去是字符串前端 JS 的new Date()解析时可能因为时区或者格式不一致显示错误。我一般统一存 Unix 时间戳前端再格式化。import sqlite3 import time def save_record(student_id, emotion, behavior): conn sqlite3.connect(classroom.db) cursor conn.cursor() cursor.execute( INSERT INTO records (student_id, emotion, behavior, timestamp) VALUES (?, ?, ?, ?) , (student_id, emotion, behavior, int(time.time()))) conn.commit() conn.close()int(time.time())存的是秒级 Unix 时间戳前端用new Date(timestamp * 1000)就能正确还原。SQLite 的?占位符能防止 SQL 注入别用字符串拼接。每次操作后commit再close否则数据可能没落盘。如果并发写入频繁SQLite 会锁库课堂场景下一般不会但如果你做多线程推理记得加锁或者换 PostgreSQL。5. 避坑与常见问题排查那些让我熬夜的报错和修复5.1 现象模型加载报OSError: Unable to open file原因路径拼接用了相对路径解决改用绝对路径并检查文件存在这个坑我踩过不止一次。源码里写的是model load_model(models/emotion_model.h5)你在项目根目录启动没问题但如果你在templates目录或者用 IDE 的运行配置启动工作目录变了相对路径就找不到文件。解决方法是统一用os.path.dirname(os.path.abspath(__file__))拼绝对路径并在加载前用os.path.exists检查。如果文件确实存在还报错检查文件名大小写Linux 下大小写敏感Emotion_Model.h5和emotion_model.h5是两个文件。5.2 现象cv2.error: (-215:Assertion failed) !empty()原因Haar 级联文件路径错误或文件损坏解决重新指定路径或从 OpenCV 自带目录加载CascadeClassifier加载失败时不会抛异常只会返回空对象调用detectMultiScale时才报错。除了路径问题还有一种情况是 XML 文件下载不完整字节数为 0。我一般会在加载后加if face_cascade.empty(): raise RuntimeError(级联文件加载失败)把错误提前暴露。如果本地文件有问题可以直接用cv2.data.haarcascades haarcascade_frontalface_default.xml加载 OpenCV 自带的版本匹配更稳。5.3 现象表情识别结果全是neutral原因输入通道数或归一化方式与训练不一致解决确认灰度转换和除以 255 的顺序这个现象很迷惑模型不报错但输出概率全集中在neutral上。常见原因是训练时用了灰度图且归一化到 0-1推理时送了 BGR 三通道且没除 255。Keras 的predict对输入形状有容忍度通道数不对时可能自动广播或者截断结果就是模型“摆烂”。检查方法很简单打印input_tensor.shape和input_tensor.max()形状应该是(1, 48, 48, 1)最大值应该是 1.0 左右。如果不是回去改预处理。5.4 现象Flask 服务启动后前端请求跨域失败原因没加 CORS 头或前端地址与后端不一致解决安装 flask-cors 并全局启用如果你把前端页面单独用file://打开或者前端跑在localhost:3000而后端在5000浏览器会拦跨域请求。源码里没有处理 CORS需要自己加。pip install flask-cors后在app.py里初始化CORS(app)即可。另一种情况是前端请求地址写成了127.0.0.1:5000而后端只监听localhost虽然通常等价但某些系统下 IPv6 解析会出问题统一用127.0.0.1更稳。5.5 现象视频处理越来越慢内存持续上涨原因VideoCapture没释放或帧对象未回收解决在循环末尾释放资源并定期 gc用cv2.VideoCapture读视频文件时如果不在循环结束后release()文件句柄会一直占着内存也不释放。更隐蔽的是每次read()返回的帧对象如果被全局列表引用Python 的垃圾回收不会回收内存就涨上去了。我一般会在处理循环里避免把帧存到全局列表处理完就让它被覆盖。如果确实需要缓存用deque限制长度。另外gc.collect()可以手动触发回收但别每帧都调隔几百帧调一次就行。6. 进阶技巧用滑动窗口滤波稳住行为判定再谈模型替换的边界行为判定抖动是这套系统最影响体验的问题。单帧表情识别受光照、角度、遮挡影响很大窗口内偶尔冒出几个angry就可能把“专注听讲”误判成“情绪低落”。我后来在BehaviorAnalyzer里加了一层滑动窗口滤波不是简单统计占比而是对每个表情类别做加权平均权重按时间衰减越近的帧权重越高。这样行为标签切换更平滑不会因为一帧异常就跳变。import numpy as np from collections import deque class SmoothedBehaviorAnalyzer: def __init__(self, window_size30, decay0.95): self.window deque(maxlenwindow_size) self.decay decay self.labels [angry, disgust, fear, happy, sad, surprise, neutral] def update(self, emotion): # 把标签转成 one-hot 向量存进去 vec np.zeros(len(self.labels)) vec[self.labels.index(emotion)] 1.0 self.window.append(vec) def get_behavior(self): if len(self.window) 5: return 数据不足 # 按时间衰减加权 weights np.array([self.decay ** (len(self.window) - i - 1) for i in range(len(self.window))]) weights weights / weights.sum() stacked np.stack(self.window) weighted np.average(stacked, axis0, weightsweights) happy_score weighted[self.labels.index(happy)] negative_score weighted[self.labels.index(sad)] weighted[self.labels.index(angry)] neutral_score weighted[self.labels.index(neutral)] if happy_score 0.35: return 积极互动 elif negative_score 0.25: return 情绪低落 elif neutral_score 0.45: return 专注听讲 else: return 一般状态decay0.95表示每往前一帧权重乘 0.9530 帧前的权重只有当前的 0.21 左右。np.average的weights参数做加权平均比简单计数更抗抖动。阈值我调低了一点因为加权后分数分布更集中。这个改动让行为标签在测试视频里的切换次数减少了大约一半看起来更自然。模型替换是另一个进阶方向。源码给的emotion_model.h5是一个小型 CNN准确率在公开数据集上大概 65% 到 70%。如果你想换更强的模型比如基于 ResNet 或者 MobileNet 的表情分类器要注意输入尺寸和预处理必须跟着改。常见做法是保留predict_emotion的函数签名只改内部实现这样 Web 层和BehaviorAnalyzer都不用动。但别直接换模型文件不改代码输入尺寸从 48 变成 224 时resize那一步会报形状错误。提示替换模型后先用一批测试图片跑一遍混淆矩阵确认类别顺序和预处理一致再接入实时流。否则行为判定会整体偏移排查起来很痛苦。从那以后我每次拿到新的表情识别工程都强制先跑一遍单帧推理打印输入形状、输出概率和类别标签确认这三样对齐了再往下做。这个习惯帮我省掉了至少三个通宵的调试。希望帮到你。本文还有配套的精品资源点击获取