简介一套运用联邦学习技术实现高校学生成绩预测的完整解决方案以Python实现并基于Streamlit构建交互式可视化平台。项目面向计算机、信息工程、智能科学等专业在校师生与从业者可支撑课程实践、综合作业及毕业设计等教学环节代码规范、架构清晰适合有一定编程基础的读者二次开发与功能拓展。压缩包共67个文件大小约2.26MB以py源码、pyc编译文件、csv数据与备份为主py包含核心算法实现csv为样本数据及训练指标记录png提供混淆矩阵可视化README说明整体使用方式。目前已有75人学习查阅。内容涵盖联邦学习成绩预测核心流程提供main_local、main_scaffold、main_fedrep等多个入口及FedProx、APFL、MTL等对比方法模型文件便于复现实验、对比策略效果作为答辩环节95分的毕业设计作品这套代码在算法实现、工程组织与可视化呈现上均有较高参考价值。1. 联邦学习驱动的成绩预测不共享成绩单也能训练出可用模型三个学校各自握着几百份学生成绩和课堂行为数据都想训一个跨校通用的成绩预测模型但谁都不愿意把数据交给别人——这不仅是隐私问题更是数据归属和信任成本问题。传统做法把数据汇总到一台服务器集中训练在真实教务场景里根本走不通。联邦学习把训练搬到数据所在的地方本地算完只上传模型权重服务器做聚合后下发更新。这份资源用 Python 手写了 FedAvg 全流程从模拟多校数据集、特征工程到 PyTorch 训练、Streamlit 可视化平台覆盖了做毕业设计最关心的完整闭环。适合正在选题目、需要交付可演示系统的本科生也适合想弄明白联邦学习工程落地细节的开发者。2. 联邦学习的核心机制数据不出校门模型如何变聪明2.1 为什么成绩数据不适合集中训练先看一个现实问题成绩单本身属于敏感个人信息再加上各学校数据格式不统一、字段含义有出入直接合并成一个大 CSV 在大多数场景下是不现实的。就算技术上允许机房存谁的服务器、模型训完归谁所有这些归属问题也足够让项目在需求阶段就卡住。联邦学习换了个思路模型在每所学校本地训练只把训练产生的模型权重或者说参数增量传到聚合服务器。服务器拿到各客户端的权重按样本量加权合并成新的全局模型再下发回去。整个过程中原始成绩数据从未离开学校内部网络。代价也很明确——通信开销变大了训练速度比集中式慢不少而且各端数据分布如果差异太大聚合出来的模型可能谁都覆盖不好。2.2 FedAvg 聚合流程四步走FedAvg联邦平均是最常用的基线算法核心流程可以拆成四步服务器初始化全局模型参数 w0分发给参与本轮训练的客户端。每个客户端用自己的本地数据在 w0 基础上训练若干轮比如 3 个 epoch。客户端把更新后的权重传回服务器。服务器按各客户端样本量占比做加权平均得到新的全局权重。聚合公式写作全局权重 Σ (n_k / N) × w_k其中 n_k 是第 k 个客户端的样本数N 是参与客户端总样本数。样本越多的学校对全局模型的话语权越大。这个设计的直觉很朴素——数据多的一方应该被更信任。2.3 为什么是 FedAvg 而不是其他联邦方案联邦学习不只有横向联邦这一种。成绩预测场景里各学校的学生、特征维度基本一致只是样本分布不同属于典型的横向联邦FedAvg 就是最顺手的起点。纵向联邦多方持有不同特征、样本重叠在这里没有应用条件因为教务处手里那点数据还够不上需要纵向对齐的体量。另一个常被问到的问题是为什么不用 XGBoost 而选神经网络XGBoost 在表格数据上确实很强但它的模型本质是一堆决策树做联邦聚合要传树结构实现成本高、聚合也不平滑。神经网络权重是连续张量直接做加权平均即可配合 PyTorch 实现起来非常自然。选型逻辑就一句话FedAvg 神经网络是这个场景下工程成本最低、可解释路径最清晰的组合。3. 先把数据切成三份非IID切分与成绩特征工程设计3.1 用模拟数据复现“三所学校”场景真实环境里拿不到权限去部署演示项目就得先造数据。这里要面对的核心问题是三所学校的数据不能完全一样否则联邦学习就失去了意义——各客户端数据分布完全一致时聚合和集中训练几乎没有差别。常见做法是模拟非IID非独立同分布切分让不同学校的学生成绩基准水平、波动幅度有明显差异。比如学校 A 学生整体成绩偏高学校 B 偏低学校 C 成绩离散度大。这个差异直接用正态偏移控制即可。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split def generate_school_data(school_id, n_samples400, seed42): rng np.random.default_rng(seed school_id) n_features 12 # 各学校基础水平不同模拟非IID数据分布 base_shift [0.10, 0.0, -0.08][school_id - 1] feature_mean np.full(n_features, 0.5) base_shift X rng.normal(feature_mean, 0.2, (n_samples, n_features)) X np.clip(X, 0.0, 1.0) # 标签由特征加权组合生成加噪声避免线性可分过于理想 weights rng.uniform(0.6, 1.0, n_features) score np.dot(X, weights) / n_features score rng.normal(0, 0.12, n_samples) label (score 0.5).astype(int) df pd.DataFrame(X, columns[ffeature_{i} for i in range(n_features)]) df[label] label return df schools [generate_school_data(i) for i in [1, 2, 3]]这份代码里 school_id 直接参与随机种子生成和基础水平偏移生成三份分布略有差异的数据集。特征数固定为 12方便后续建模。base_shift 控制学校间的平均成绩差数值越大该校整体表现越好。clip 操作把特征限制在 [0, 1] 区间与后面归一化目标对齐。注意 label 的生成用了特征加权求和再和 0.5 作比较相当于构造了一个隐式的评判阈值。3.2 特征体系设计不是只塞成绩单模拟数据的特征名是占位的但真实场景里这 12 个特征应该有具体业务含义。常见的成绩预测特征体系可以这样设计特征类别具体字段举例说明历史成绩上学期期末平均分、各科及格率预测当前成绩最直接的信号出勤行为出勤率、迟到次数、缺勤次数反映学习投入度作业表现作业提交及时率、平均完成得分比考试成绩更新更频繁学习行为图书馆预约次数、在线学习平台活跃天数需要学校有相应系统支撑课程属性课程难度系数、是否重修消除课程间天然难度差异真实项目里特征工程的重点是把这些行为日志整理成统计特征比如“过去两周作业提交及时率”比“本学期总提交数”更能反映近期状态变化。本项目模拟数据里直接用 0~1 的连续值表示归一化后的特征逻辑一致只是跳过了数据清洗步骤。3.3 归一化的边界问题成绩预测的特征量纲差异很大百分制成绩是 0~100出勤率是 0~1线上活跃天数是整数。训练前必须做归一化。这里有个容易被忽略的坑客户端各自做归一化还是服务器统一做如果三个学校各自用本校数据的 min/max 做归一化那么特征值为 0.5 在三所学校代表完全不同水平的成绩。正确做法是服务器保存一份归一化参数全局 min/max下发给各客户端推理阶段也使用同一套参数。这份资源的数据生成阶段已经把特征压到了 [0, 1]就是为了让这个边界问题不干扰演示主流程。4. 手写FedAvg客户端训练、服务器聚合与训练循环4.1 模型层一个轻量全连接网络成绩预测输入是 12 维结构化特征标签是二分类及格/不及格用浅层全连接网络就足够了。模型结构不用复杂三层、中间层 64 维、Dropout 0.2是这个规模下比较稳妥的配置。层数叠多了在这个数据量上只会过拟合不会带来任何精度收益。import torch import torch.nn as nn class ScorePredictor(nn.Module): def __init__(self, input_dim12, hidden_dim64): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Dropout(0.2), nn.Linear(hidden_dim, hidden_dim // 2), nn.ReLU(), nn.Linear(hidden_dim // 2, 1), ) def forward(self, x): return self.net(x)网络结构是明显的“宽进窄出”前两层保持一定宽度让模型学到特征组合最后一层压缩到单个 logit。配合后面的 BCEWithLogitsLoss 使用不需要在最后一层额外套 sigmoid——损失函数内部已经做了数值稳定处理。4.2 客户端训练类本地训练只关心两件事客户端要做的事情就两件在本地数据上训练若干轮然后把模型权重和本地样本量上报。权重用于聚合样本量用于计算聚合比例别的数据一概不上传——这是联邦学习的边界所在。class Client: def __init__(self, client_id, X, y, model, lr0.01): self.client_id client_id self.X torch.FloatTensor(X) self.y torch.FloatTensor(y).view(-1, 1) self.model model self.lr lr self.criterion nn.BCEWithLogitsLoss() def local_train(self, epochs3): optimizer optim.SGD(self.model.parameters(), lrself.lr) self.model.train() for _ in range(epochs): optimizer.zero_grad() logits self.model(self.X) loss self.criterion(logits, self.y) loss.backward() optimizer.step() return { weight: [p.detach().clone() for p in self.model.parameters()], n_samples: len(self.X), }local_train 返回的是权重深拷贝不是模型引用这一步很重要——如果不 clone后面聚合时客户端继续训练会把同一份内存里的数值改掉聚合结果就成了玄学。还有一点容易被忽略这里没有启用 mini-batch直接把整个本地数据集一次性喂进去。样本量在 400 左右时没问题如果真实数据量上万需要加 batch 循环。4.3 服务器聚合加权平均不是简单求均值服务器聚合逻辑在代码上反而比客户端简单但聚合权重必须与样本量严格挂钩。class FedAvgServer: def __init__(self, model): self.global_model model self.global_weights [p.detach().clone() for p in model.parameters()] def aggregate(self, local_updates): total_n sum(u[n_samples] for u in local_updates) if total_n 0: return new_weights [torch.zeros_like(w) for w in self.global_weights] for update in local_updates: weight update[weight] contribution update[n_samples] / total_n for i, w in enumerate(weight): new_weights[i] contribution * w for i, p in enumerate(self.global_model.parameters()): p.data.copy_(new_weights[i])aggregate 的第一步是统计 total_n它决定了每个客户端的权重系数。举例来说某客户端有 400 条样本另一个只有 100 条那么前者的权重是 0.8后者 0.2。如果做简单平均两个客户端的影响力就一样了小样本客户端的噪声会被放大。代码最后把聚合结果复制回全局模型参数注意用的是 copy_ 而不是赋值——copy_ 是原地更新不会破坏模型内部结构。4.4 完整训练循环轮次、客户端抽样与评估真实联邦场景里每一轮不一定所有客户端都参与。考虑到网络状况、设备可用性通常会按比例随机抽样一批客户端参与本轮训练。这部分实现直接决定训练收敛速度。def run_fedavg(clients, server, rounds30, client_frac0.8): history [] n_selected max(1, int(len(clients) * client_frac)) for rnd in range(rounds): selected_idx np.random.choice( len(clients), n_selected, replaceFalse ) local_updates [] for idx in selected_idx: update clients[idx].local_train(epochs3) local_updates.append(update) server.aggregate(local_updates) # 每轮结束后用全部客户端数据做一次评估 acc evaluate_global(server.global_model, clients) history.append(acc) print(fRound {rnd1:02d} | accuracy: {acc:.4f}) return history这里的 client_frac 是每轮参与训练的客户端比例设 0.8 表示 3 个客户端中有 2~3 个参与。做毕业设计演示时这个值别调太低客户端数量本身少抽多了等于没有联邦意义抽少了训练不稳定。epochs3 是 FedAvg 原论文的经典配置本地训练轮数不宜过大否则本地过拟合反而损害全局收敛。5. 联邦学习成绩预测常见问题非IID、灾难性遗忘与恶意客户端5.1 非IID数据导致全局模型偏置现象训练完成后全局模型在三个客户端上的准确率差异超过 15 个百分点对数据基础较好的学校效果好对基础薄弱的学校效果差。原因FedAvg 的加权平均假设各客户端数据分布相似。模拟数据里各学校成绩基准不同全局模型会偏向样本量大的客户端小样本端被“带偏”。解决最直接的调整是把客户端抽样改成“每轮强制包含所有低质数据端”保证小样本客户端的训练信号每轮都参与。另一个有效方案是改用 FedProx在客户端本地损失函数里加一个近端项约束本地更新不要偏离全局模型太远。这个改动在代码上只需要在 loss.backward 之前加一行loss (mu / 2) * sum(torch.norm(p - global_p)**2 for p, global_p in zip(model.parameters(), global_weights))mu 一般取 0.01~0.1。5.2 本地模型灾难性遗忘现象训练到第 10 轮以后全局模型在部分客户端上的表现突然掉了一截恢复不回来。原因联邦学习里的灾难性遗忘有两种表现。一种是客户端本地连续多轮训练把前一轮学到的全局知识覆盖了另一种是全局聚合阶段新一伦次模型对某些客户端的特征分布产生了“失忆”。本地 epoch 设得越大这种现象越明显。解决把本地 epoch 从默认的 3 下调到 1 试试这是零成本先说结论的方案。如果调低 epoch 后收敛速度太慢再考虑在客户端损失函数里加正则约束EWC 或 L2 惩罚。实际排查顺序建议是先调 epoch确认是遗忘问题再动损失函数不要一上来就加正则。5.3 恶意客户端投毒与后门攻击现象训练过程 Loss 曲线正常但某个特定输入例如某作弊模式的特征组合被持续预测为及格其他输入预测完全正常。原因某个客户端在上传权重时做了手脚比如在本地数据里插入包含特定特征组合的伪造样本训出一个“后门”。聚合时恶意权重被混进了全局模型。这是联邦学习比集中式训练更容易遭受的攻击面因为服务器看不到客户端数据。解决在服务器侧加一道“权重审查”逻辑——每轮聚合前计算各客户端上传权重与全局权重的欧氏距离距离超过平均值 2 个标准差的直接剔除。这个启发式过滤不能防住所有攻击但能挡住最粗劣的投毒手段。5.4 归一化参数不一致现象训练收敛很好但推理阶段预测结果明显偏移同一名学生手工特征计算出的结果和平台展示的结果对不上。原因训练时各客户端按自己的统计量做了归一化推理时加载的特征处于另一套尺度。这个问题在真实部署中比想象中普遍——各学校的数据管道由不同小组维护。解决把归一化参数作为全局状态的一部分随模型一并下发。Flower 框架里可以直接用参数状态机制保存 min/max 向量手写项目则需要在 FedAvgServer 里维护一份全局归一化字典每轮训练和推理都用它。5.5 超参数随机性导致结果不可复现现象相同代码跑两次训练曲线差不少有时最终准确率相差 3~5 个点。原因没固定随机种子。NumPy、PyTorch、Python 内置 random 三个模块各自维护独立的随机状态只固定一个等于没固定。解决训练入口固定三行代码同时把每轮客户端抽样索引列表记录到日志文件复现时用同一份抽样序列。np.random.seed(42) random.seed(42) torch.manual_seed(42)6. Streamlit可视化平台从 model.pt 到可交互预测6.1 加载全局模型与推理链路训练结束后把全局模型保存为 model.ptStreamlit 端加载它做推理。这里的关键点是加载时要用与训练完全相同的预处理管道——不是“差不多”是必须严格一致。st.title(联邦学习学生成绩预测平台) with st.sidebar: school_id st.selectbox(选择模拟学校, [1, 2, 3]) feature_values [ st.slider(f特征 {i}, 0.0, 1.0, 0.5) for i in range(12) ] if st.button(开始预测): model ScorePredictor() model.load_state_dict(torch.load(model.pt)) model.eval() with torch.no_grad(): x torch.FloatTensor([feature_values]) prob torch.sigmoid(model(x)).item() st.metric(预测及格概率, f{prob:.2%})这个页面结构里滑块模拟的是归一化后的特征输入。真实部署时这些滑块应该是表单字段比如出勤率、作业提交及时率由后端做归一化转换。st.metric 适合展示单个核心结果如果要做更细的分析可以加一行st.bar_chart展示各学校预测结果对比。6.2 训练过程可视化与模型血缘Streamlit 的价值不只是把模型包装成一个按钮它还可以承载训练过程的完整回放。建议在页面上加一个训练历史视图读取训练时保存的 history.json画出每轮准确率曲线把三个客户端各自的数据量、参与轮次用表格展示出来。这样答辩的时候评审老师看到的不是一个黑匣子而是从数据切分、联邦训练到最终预测的完整链路。6.3 我的固定习惯每轮实验强制走一遍验证流程做这个项目我踩过最大的坑是训练脚本改了数据生成逻辑忘了重新训练模型结果 Streamlit 页面加载的还是旧权重。从那以后我每次上线前都强制走一遍完整流程——固定随机种子、清空缓存、跑 3 次训练取中位数准确率核对模型文件修改时间再启动页面。这套流程看着繁琐但一个命令行就能写成一个脚本训练 → 评估 → 比对 → 启动页面一步到位。希望帮到你。本文还有配套的精品资源点击获取