简介这套基于深度迁移学习的水质预测研究源码面向计算机、数学、电子信息等专业学生及深度学习初学者提供完整的算法实现与工程化项目结构。源码覆盖Autoformer、Informer、Transformer、LSTM、BiLSTM、CNN、MLP等多种模型并融入迁移学习策略可用于水质指标预测任务也适合作为课程设计、期末大作业或毕业设计的直接参考。压缩包内共68个文件以31个Python脚本为核心辅以27个编译后的pyc文件、5个npy数据文件、4个csv数据表及1个yml环境配置便于快速搭建运行环境并开展对比实验。整体仅5.21MB轻量易部署已有70人学习下载。对具备一定Python和深度学习基础、愿意动手调试的研究者而言这套源码在模型选择、数据加载、实验封装与迁移训练方面均具有较好的借鉴价值。1. 迁移学习进场前先看清水质预测的真正难点水质预测这个方向在深度学习里看起来像是“标准的时间序列回归问题”拿到溶解氧、pH、氨氮、浊度这些历史监测序列训练一个 LSTM 或 Transformer预测未来几小时的指标。但一线部署过的人很快会发现真正卡住模型的往往不是网络结构而是数据分布。上游河段和下游湖库的水质变化规律不一样夏季汛期和冬季枯水期的漂移模式不一样甚至两个相邻站点的传感器标定差异都会让模型精度骤降。在一个水体上训好的模型迁移到另一个水体核密度分布一比对差异大得吓人。传统的监督学习在这个场景下有两个死穴一是目标水体历史数据不足特别是极端污染事件的样本极少模型学不到尾部特征二是不同水体之间的共性规律——比如温度对溶解氧的滞后影响、降雨对浊度的脉冲响应——明明是可以复用的却被当作“不同任务”从零开始学习。这就是深度迁移学习进场的位置。它解决的不是“把模型训得更准”而是“把在一个数据充足的水体上学到的表征迁移到数据稀缺的目标水体上并抑制分布漂移带来的负面影响”。源码的核心也围绕这个目标展开域适应、微调策略、冻结层划分、对抗训练分支、分布度量指标。本文按一个完整可复现的方案来讲——从迁移学习在水质预测里的选型逻辑到最小可运行的 PyTorch 源码结构到参数设置和排错经验一路落到进阶的验证技巧。2. 水质预测里的迁移学习域偏移与两个主流技术路线2.1 为什么说水质预测本质上是领域漂移问题把水质预测当普通回归任务做通常会忽略一个关键前提训练集和测试集必须来自同一分布。但在真实水务场景里这个前提天然不成立。假设你在 A 站点的 2021 年数据上训练了一个 LSTM 模型要预测 B 站点 2023 年的溶解氧浓度这里至少存在三重偏移。第一重是空间偏移。A 站点位于河流中段水流急、复氧能力强溶解氧的日变化幅度大B 站点靠近湖库出口水体滞留时间长溶解氧主要受藻类光合作用影响呈现出完全不同的周期性。第二重是时间偏移。同一个站点丰水期和枯水期的污染负荷差异极大汛期首场降雨带来的面源污染冲击在常年数据里占比很低模型很难从频率上学会这种突发模式。第三重是传感器偏移。不同批次的在线监测探头标定曲线不一致同样是 7.5mg/L 的溶解氧两个探头的原始电信号可能有 5% 的偏差。用一项研究里常用的量化方式来说源域Source Domain和目标域Target Domain的特征分布之间存在明显的差距直接复用模型时目标域上的误差会比源域验证集上的误差高出 30% 到 80%。迁移学习的任务就是利用源域中丰富的监督信号同时最小化这种分布差距让学到的特征在目标域上同样有效。2.2 两个可落地的技术路线微调Fine-tuning与域对抗Domain Adversarial深度迁移学习在水质预测上的落地路径抛开各种论文里的包装底层就两个方向。第一个是参数迁移加微调。源域模型在大数据上预训练后把特征提取层的参数作为目标域模型的初始值然后用目标域的少量数据做有监督微调。这个方案的假设是特征提取层学到的是“水质序列的通用动力学模式”而回归头学到的是“特定水体的数值映射关系”。所以微调时通常冻结特征提取层只训练回归头或者以很小的学习率微调底层防止灾难性遗忘。第二个是域对抗训练。参考域对抗神经网络DANN的结构在特征提取器后面并联一个域分类器通过梯度反转层Gradient Reversal Layer让特征提取器学到“既对源域预测任务有效、又让域分类器无法区分特征来自哪个域”的表征。这个方案不需要目标域的任何标签属于无监督域适应UDA在水质跨站点预测里尤其适用——因为你可能对目标站点完全没有历史水质标签但可以拿到它的气象、水文和上游来水数据。我个人的选型经验是目标域有少量标签哪怕只有几周数据就用微调路线快速、稳定代码改动小目标域完全没有标签时就用域对抗路线虽然训练不稳定但上限更高。下文源码部分给出的是两条路线合一的框架用配置开关切换方便对照实验。两种路线在源码结构上的差异并不大核心都是特征提取器加回归头区别只在于辅助分支和数据加载方式。3. 源码结构拆解数据组织、模型构建与训练流程3.1 数据准备按站点划分源域和目标域不能随机打乱水质预测迁移学习源码里最容易踩的坑是数据划分。如果直接把两个站点的数据混在一起随机划分训练集和测试集迁移学习就失去了意义——训练集里已经包含了目标域站点数据所谓“迁移”变成了“记忆”。正确的数据组织方式是按站点和时序划分。import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler # 假设 df_source 是源域站点 A 的数据df_target 是目标域站点 B 的数据 # 列[time, temperature, ph, do, turbidity, ammonia, flow] def load_domains(source_path, target_path, feature_cols, target_coldo, window_size24): df_src pd.read_csv(source_path, parse_dates[time]).sort_values(time) df_tgt pd.read_csv(target_path, parse_dates[time]).sort_values(time) # 统一特征维度用源域数据的均值和标准差做标准化 scaler StandardScaler() scaler.fit(df_src[feature_cols]) src_scaled scaler.transform(df_src[feature_cols]) tgt_scaled scaler.transform(df_tgt[feature_cols]) # 滑动窗口生成序列样本窗口为过去 24 小时预测未来 6 小时溶解氧 def make_sequences(data, target_idx, windowwindow_size, horizon6): X, y [], [] for i in range(len(data) - window - horizon 1): X.append(data[i:iwindow]) y.append(data[iwindowhorizon-1, target_idx]) return np.array(X), np.array(y) target_idx feature_cols.index(target_col) X_src, y_src make_sequences(src_scaled, target_idx) X_tgt, y_tgt make_sequences(tgt_scaled, target_idx) # 时序切分按时间顺序前 80% 做训练后 20% 做测试 split_src int(len(X_src) * 0.8) split_tgt int(len(X_tgt) * 0.8) return { src_train: (X_src[:split_src], y_src[:split_src]), src_test: (X_src[split_src:], y_src[split_src:]), tgt_train: (X_tgt[:split_tgt], y_tgt[:split_tgt]), tgt_test: (X_tgt[split_tgt:], y_tgt[split_tgt:]) }这段代码有三个关键设计点。第一标准化只用源域数据拟合目标域数据直接套用源域的均值和标准差这模拟的是“部署时只有源域统计量可用”的真实场景如果混在一起标准化会泄露目标域的分布信息。第二按时间顺序切分而不是随机切分保留时序依赖。第三返回的字典结构里同时保留源域和目标域的测试集用于评估迁移效果。另外要注意的是滑动窗口参数。window24表示用过去 24 小时预测未来 6 小时这是水质预测中比较常用的窗口组合因为水温、溶解氧的日周期效应能被 24 小时窗口完整捕获。如果是预测氨氮等污染物指标窗口一般要拉长到 48 到 72 小时因为污染物的降解过程比溶解氧的复氧过程慢得多。3.2 模型构建共享特征提取器加双分支输出模型结构上我一般用一维卷积加双向 GRU 作为特征提取器回归头是两层全连接域分类器是单层全连接。GRU 相比 LSTM 参数少、训练快在中小规模水质数据上不容易过拟合一维卷积做前置的特征降维和局部模式提取能显著缩短 GRU 的序列长度加快训练速度。import torch import torch.nn as nn import torch.nn.functional as F class GradientReversal(torch.autograd.Function): staticmethod def forward(ctx, x, lambda_): ctx.lambda_ lambda_ return x.clone() staticmethod def backward(ctx, grad_output): return -ctx.lambda_ * grad_output, None class WaterQualityTransferModel(nn.Module): def __init__(self, n_features, hidden_size64, window_size24): super().__init__() self.conv nn.Sequential( nn.Conv1d(n_features, 32, kernel_size3, padding1), nn.ReLU(), nn.Conv1d(32, 32, kernel_size3, padding1), nn.ReLU(), ) self.gru nn.GRU(32, hidden_size, num_layers2, bidirectionalTrue, batch_firstTrue, dropout0.3) self.reg_head nn.Sequential( nn.Linear(hidden_size * 2, 32), nn.ReLU(), nn.Dropout(0.3), nn.Linear(32, 1) ) self.domain_head nn.Linear(hidden_size * 2, 2) self.grl_lambda 0.5 # 梯度反转系数随训练进度从 0 线性升到 1 def forward(self, x, alpha0.5): # x: [batch, window, features] - [batch, features, window] h self.conv(x.transpose(1, 2)) h h.transpose(1, 2) out, _ self.gru(h) feat out[:, -1, :] # 取最后一个时间步的双向隐状态拼接 pred self.reg_head(feat) # 域分类分支梯度反转后分类 grl_feat GradientReversal.apply(feat, alpha) domain_logits self.domain_head(grl_feat) return pred.squeeze(-1), domain_logits这里最核心的是GradientReversal这个自定义的自动求导函数。前向传播时原样返回输入反向传播时梯度取反并乘以系数alpha。域分类器的梯度经过反转后会让特征提取器的参数朝着“增大域分类损失”的方向更新也就是让域分类器越来越分不清特征来自哪个域。alpha从 0 缓慢升到 1 是标准做法训练早期先让特征提取器专注学源域的回归任务后期再逐步施加域混淆压力。注意alpha 的调度策略直接决定域对抗训练的成败。常见做法是 alpha 2 / (1 exp(-10 * p)) - 1其中 p 是训练进度比例当前迭代数除以总迭代数。 前 10% 的迭代几乎不施加域对抗防止特征提取器在早期被带偏。3.3 训练循环联合损失与分阶段优化训练时有两个损失在同时优化。回归损失用平滑 L1 损失对离群点不那么敏感适合水质数据里常见的尖峰污染事件域分类损失用交叉熵。总损失是两者之和但反向传播时域对抗分支的梯度经过反转层天然实现了对抗更新不需要额外处理。这里有一个容易被忽略的细节优化器应该同时更新所有参数但要给特征提取器一个比回归头更小的学习率这样才能在微调模式下避免对预训练特征的破坏。def train_step(model, src_loader, tgt_loader, optimizer, epoch, total_epochs): model.train() mse_loss nn.SmoothL1Loss() ce_loss nn.CrossEntropyLoss() src_iter iter(src_loader) tgt_iter iter(tgt_loader) total_reg_loss, total_dom_loss 0.0, 0.0 for step in range(min(len(src_loader), len(tgt_loader))): src_x, src_y next(src_iter) try: tgt_x, _ next(tgt_iter) except StopIteration: tgt_iter iter(tgt_loader) tgt_x, _ next(tgt_iter) # 训练进度比例用于计算梯度反转系数 alpha progress (epoch * len(src_loader) step) / (total_epochs * len(src_loader)) alpha 2.0 / (1.0 np.exp(-10.0 * progress)) - 1.0 src_x, src_y src_x.cuda(), src_y.cuda() tgt_x tgt_x.cuda() optimizer.zero_grad() src_pred, src_domain model(src_x, alpha) _, tgt_domain model(tgt_x, alpha) reg_loss mse_loss(src_pred, src_y) domain_logits torch.cat([src_domain, tgt_domain], dim0) domain_labels torch.cat([ torch.zeros(src_x.size(0), dtypetorch.long), torch.ones(tgt_x.size(0), dtypetorch.long) ]).cuda() dom_loss ce_loss(domain_logits, domain_labels) loss reg_loss 0.5 * dom_loss loss.backward() # 梯度裁剪防止 GRU 训练中梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_reg_loss reg_loss.item() total_dom_loss dom_loss.item() return total_reg_loss / len(src_loader), total_dom_loss / len(src_loader)min(len(src_loader), len(tgt_loader))这个写法值得解释一下。源域数据量通常远大于目标域如果不限制迭代步数一个 epoch 内源域的轮数会远多于目标域。迁移学习的理想状态是两个域的样本在训练过程中交替出现保持数量均衡所以取较小者的迭代次数每步各取一个 batch。这比简单地把两个数据集拼接更均衡。优化器选择 AdamW权重衰减设为 1e-4。学习率要区分参数组特征提取器conv 和 gru用 1e-4回归头和域分类器用 1e-3。原因在于特征提取器的参数是经过源域充分预训练的学习率大了容易遗忘通用特征而回归头和域分类器是随机初始化的需要更大的学习率快速收敛。4. 三个决定迁移效果的参数冻结比例、学习率和数据配比4.1 微调模式下冻结层的比例怎么定如果走微调路线最影响迁移效果的操作是“决定冻结哪些层”。冻得太多模型学不到目标域的特定模式冻得太少灾难性遗忘会侵蚀源域学到的通用特征。我的经验法则是对 GRU 这种循环结构先冻结全部特征提取层只训练回归头看目标域验证集上的收敛情况如果欠拟合严重再逐层解冻从最靠近输出的层开始。def set_freeze_by_ratio(model, freeze_ratio): 按比例冻结特征提取层freeze_ratio0.8 表示冻结 80% 的参数 params [ (name, param) for name, param in model.named_parameters() if reg_head not in name and domain_head not in name ] n_params len(params) freeze_count int(n_params * freeze_ratio) for i, (name, param) in enumerate(params): param.requires_grad i freeze_count这个函数按参数列表顺序冻结最靠前的层。在 GRU 中named_parameters()的顺序是 conv 层在前、gru 层在后对应的是“靠近输入的层先冻结”。这符合迁移学习的直觉输入层的特征最通用输出层的特征最任务相关。提示冻结层后记得检查优化器的参数分组否则即便 requires_gradFalse 优化器依然会为这些参数维护状态并尝试更新。常见做法是在构建优化器时 只传入 requires_gradTrue 的参数。4.2 域对抗模式下目标域数据配比的下限微调时目标域哪怕只有几百条样本也能工作但域对抗对目标域的数据量有硬性要求。原因很简单域分类器需要足够的目标域样本才能学出稳定的判别边界如果目标域样本太少域分类器会很弱梯度反转信号基本是噪声。根据实践经验目标域的滑动窗口样本数至少要达到源域的 10%否则域对抗分支非但无益反而会干扰回归任务的学习。def verify_domain_ratio(src_train, tgt_train): ratio len(tgt_train[0]) / len(src_train[0]) if ratio 0.1: print(fWARNING: 目标域样本数不足源域的 10%当前 ratio{ratio:.3f}) print(f建议改用微调路线或者收集更多目标域无标签数据) return ratio这本质是个 debug 辅助函数但能帮你在训练前就止损。跑之前先打印一下两个域的数据量如果你的目标域只有源域的 3%就不要硬上 DANN 了直接把use_domain_adversarial开关关掉跑纯微调路线。4.3 学习率调度余弦退火与早期停机的配合迁移学习的训练曲线和普通深度学习很不一样。普通训练是损失持续下降迁移学习则是源域损失在降、目标域验证损失先降后升。这个“先降后升”的拐点就是过拟合发生的位置对迁移模型来说这个拐点出现得非常早通常在第 2 到第 5 个 epoch 之间。from torch.optim.lr_scheduler import CosineAnnealingLR optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max30, eta_min1e-5) best_tgt_loss float(inf) patience 5 early_stop_counter 0 for epoch in range(50): train_loss train_one_epoch(model, src_loader, tgt_loader, optimizer, epoch, total_epochs50) tgt_val_loss evaluate(model, tgt_validation_loader) if tgt_val_loss best_tgt_loss: best_tgt_loss tgt_val_loss torch.save(model.state_dict(), best_migration_model.pt) early_stop_counter 0 else: early_stop_counter 1 if early_stop_counter patience: print(fEarly stop at epoch {epoch}, best val loss {best_tgt_loss:.6f}) break scheduler.step()这里的评估集必须是目标域数据的最后一段时序数据不能提前切。提前切会带来未来数据泄露因为水质序列存在强自相关用时间上重叠的数据做验证评估结果会虚高。我踩过这个坑目标域验证集全部达标实际部署后误差翻了一倍后来发现是验证集和目标域训练集在时间上有重叠。4.4 最容易让调试者误判的三种现象在调迁移学习模型时有几种现象特别容易误导判断。第一种是源域测试集精度很高但目标域一塌糊涂。这说明模型学到的是“源域专属模式”特征提取器的表征没有泛化能力常见原因是迁移学习参数没起作用——比如梯度反转的alpha一直为 0。第二种是目标域验证损失不降反升。这未必是坏事要看源域损失是不是同时在降。如果源域损失在降而目标域在升说明分布差异太大域对抗压力不够如果两者都在升那就是学习率过大导致训练不稳定。第三种是域分类精度快速降到 50% 附近。这看起来是好事但要注意是不是因为特征提取器维度塌缩——所有样本的特征都挤在一起域分类器当然分不开回归任务也同时失效了。遇到这种情况去检查特征向量的标准差如果趋近于 0就是维度塌缩。5. 用核密度估计验证迁移效果并定位失效层5.1 为什么精度指标不够还要看特征分布目标域上的预测误差只是一个宏观数字它无法告诉你迁移失效发生在模型哪一层。调试时最有效的手段是把特征提取器的中间层输出投射到低维空间对比源域和目标域的重叠程度。一个常见的做法是取模型在源域测试集和目标域测试集上的最后一个隐状态特征用 t-SNE 降维后可视化。t-SNE 适合给人“看”分布但不适合量化因为它的目标是最小化 KL 散度输出的坐标没有绝对意义换个随机种子形状就变了。更好的做法是核密度估计KDE。用一维 KDE 对特征向量的某一个维度做密度曲线或者对特征向量的 L2 范数做整体分布对比。数学公式是[ \hat{f}(x) \frac{1}{nh} \sum_{i1}^{n} K\left( \frac{x - x_i}{h} \right) ]从工程角度理解KDE 就是用一个平滑核函数把离散的样本点“摊”成连续的概率密度函数带宽h控制平滑程度。h太大会把分布细节全部抹平h太小则密度曲线毛糙得像刺猬。实践中用 Scott 规则自动计算带宽即可。import numpy as np from scipy.stats import gaussian_kde import matplotlib.pyplot as plt def compare_feature_distribution(model, src_loader, tgt_loader, device): model.eval() src_features, tgt_features [], [] with torch.no_grad(): for x, _ in src_loader: x x.to(device) conv_out model.conv(x.transpose(1, 2)) gru_out, _ model.gru(conv_out.transpose(1, 2)) feat gru_out[:, -1, :].cpu().numpy() src_features.append(feat) for x, _ in tgt_loader: x x.to(device) conv_out model.conv(x.transpose(1, 2)) gru_out, _ model.gru(conv_out.transpose(1, 2)) feat gru_out[:, -1, :].cpu().numpy() tgt_features.append(feat) src_feat np.vstack(src_features) tgt_feat np.vstack(tgt_features) # 对特征矩阵的每个维度做逐维 KDE然后取平均曲线 fig, axes plt.subplots(2, 3, figsize(14, 8)) for i in range(6): ax axes[i // 3][i % 3] src_kde gaussian_kde(src_feat[:, i]) tgt_kde gaussian_kde(tgt_feat[:, i]) x_grid np.linspace( min(src_feat[:, i].min(), tgt_feat[:, i].min()), max(src_feat[:, i].max(), tgt_feat[:, i].max()), 200 ) ax.plot(x_grid, src_kde(x_grid), labelfsource dim {i}, alpha0.7) ax.plot(x_grid, tgt_kde(x_grid), labelftarget dim {i}, alpha0.7) ax.legend() plt.tight_layout() plt.savefig(feature_distribution_kde.png, dpi150) plt.show()看 KDE 图的要点是识别三种形态。第一种是源域和目标域的密度曲线几乎重合这说明特征提取器已经学习到了跨域通用的表征迁移是成功的。第二种是均值偏移不大但方差差异明显比如源域分布宽、目标域分布窄说明目标域数据的模式比源域单一此时应增加源域数据中与目标域相似样本的权重。第三种是分布整体错位且形态完全不同这是最糟糕的情况说明域对抗分支基本失效或者源域和目标域在物理机制上就不相通。5.2 用最大均值差异量化领域偏移KDE 是可视化的定性的工具最大均值差异Maximum Mean DiscrepancyMMD给出一个可以跨实验对比的量化指标。MMD 的核心思路是如果两个分布相同那么它们在一个再生核希尔伯特空间中的均值向量应该相等。计算方式是用核函数通常用径向基函数把样本映射到高维空间求两个域样本均值之间的距离。def compute_mmd(src_features, tgt_features, kernel_sigma1.0): n_src src_features.shape[0] n_tgt tgt_features.shape[0] xx torch.cdist(src_features, src_features) xy torch.cdist(src_features, tgt_features) yy torch.cdist(tgt_features, tgt_features) K_xx torch.exp(-xx / (2 * kernel_sigma ** 2)) K_xy torch.exp(-xy / (2 * kernel_sigma ** 2)) K_yy torch.exp(-yy / (2 * kernel_sigma ** 2)) mmd K_xx.mean() - 2 * K_xy.mean() K_yy.mean() return mmd.item()在训练过程中定期打印 MMD 值可以清楚地看到域对抗分支是否起效训练早期 MMD 较高随着alpha上升MMD 应该逐步下降。如果 MMD 不降反升说明梯度反转的设置有问题检查GradientReversal函数的backward实现是否返回了正确数量的梯度。5.3 一个提升迁移稳定性的实战技巧伪标签自训练最后分享一个在实践中特别有效的进阶技巧伪标签自训练。这个技巧适合目标域有少量有标签数据的情况——先用这些少量数据微调模型然后用微调后的模型对目标域的无标签数据生成预测取置信度最高的样本比如预测误差低于某个阈值的前 10%作为伪标签加入下一个训练轮次的训练集。每轮迭代伪标签集合逐步扩大模型逐渐适应目标域的分布。这个技巧在水质预测场景下的有效性其实有物理机制在支撑水质数据的变化是连续的相邻时间窗口的水质参数高度相关。模型对某一时刻的预测置信度高通常意味着这个时刻的模式已经被充分学习把它加入训练集不会引入太大噪声却能快速丰富目标域的样本多样性。实现时注意两点第一伪标签集合要在每个 epoch 结束时刷新不要累积——累积会让早期错误预测持续影响后续训练第二伪标签样本的置信度阈值要随训练进度逐步提高比如从 70% 升到 95%防止后期模型过自信时引入噪声。结合 MMD 指标和伪标签自训练迁移模型在目标站点上的测试误差一般能再降低 15% 到 25%。这个数字在我在多个水质数据集上做过的对比实验里比较稳定前提是域对抗训练本身已经收敛正常。如果连域对抗阶段都没有跑好先用 KDE 图把特征分布看清楚再说不要急着上自训练这层复杂度。本文还有配套的精品资源点击获取