简介这份资源面向制造业能源管理与时间序列预测方向的学习者围绕用电量数据展开 LSTM 建模实践帮助读者理解如何用循环神经网络捕捉电力消耗中的季节性、周期性与趋势性适合具备一定 Python 与深度学习基础、希望上手真实负荷预测项目的中级开发者。压缩包共 106 个文件约 4.57MB以 59 个 csv 数据与预测结果文件、24 张 jpg 图表、7 个 py 脚本为主体另含 pth 模型权重、xlsx 训练损失记录及 xml、log 等配置与日志文件覆盖数据、代码、模型与结果全链路。已有 1527 人学习下载。读者可从中获得可运行的 LSTM 训练与预测主程序、不同步长与损失函数下的预测输出对比、训练损失曲线记录以及 Tetuan City 用电量算例数据便于复现实验、分析学习曲线并排查过拟合进而掌握电力数据分析中模型构建与调优的完整思路。1. 用电量数据分享一份能直接跑 LSTM 的制造业负荷数据集手上拿到一份制造业园区的用电量数据第一反应往往不是建模而是先确认它到底能不能用。这份资源给的就是这样一批按时间序列组织的用电负荷记录颗粒度到小时级覆盖多条产线和若干辅助设施字段包含时间戳、有功功率、无功功率、部分工段标识。它解决的核心问题很具体做制造场景的短期负荷预测时公开数据大多是居民或商业楼宇产线启停、班次切换、设备轮换这些工业特征根本对不上。适合谁做能耗管理系统的后端、做电力需求侧分析的算法岗、以及拿 LSTM 练手但苦于找不到工业侧数据的学生和转岗开发者。下面按“数据长什么样、怎么喂进 LSTM、哪里会翻车”一路拆下去。2. 先摸清数据结构字段、采样频率与制造场景特征拿到任何时序数据别急着pd.read_csv然后丢进模型。制造业用电和居民用电的统计性质差得很远先花二十分钟做数据体检能省掉后面几小时的调参玄学。2.1 字段含义与采样频率的确认这份数据的典型结构是一张宽表或若干张按设备拆分的表核心列大致如下字段名含义类型备注timestamp采样时间戳datetime小时级需确认时区与是否含夏令时active_power有功功率 kWfloat主建模目标reactive_power无功功率 kVarfloat可算功率因数做辅助特征line_id产线/工段编号string分类特征需编码shift_flag班次标记int0/1/2 对应休班、白班、夜班第一步永远是确认时间戳是否连续、是否有重复、间隔是否严格为一小时。制造业数据常见的问题是设备检修期间整段缺失或者采集网关重启导致时间戳跳变。用下面这段做体检import pandas as pd df pd.read_csv(power_usage.csv, parse_dates[timestamp]) df df.sort_values(timestamp).drop_duplicates(timestamp) # 检查时间间隔分布找出非 1 小时的缺口 gap df[timestamp].diff().value_counts() print(gap.head(10)) # 统计每条产线的缺失比例 missing df.groupby(line_id)[active_power].apply(lambda s: s.isna().mean()) print(missing.sort_values(ascendingFalse))diff().value_counts()能一眼看出有多少个1 days或2 hours的异常间隔这些位置就是后续插值或截断的依据。groupby那段是血泪经验某条产线如果缺失超过 30%直接补全会引入大量人造规律不如整条剔除否则 LSTM 会学到“这条线经常是平的”这种假模式。2.2 制造负荷的三个统计特征摸完结构要理解这份数据为什么值得单独拿出来做。制造业负荷有三个和居民负荷明显不同的性质直接决定特征工程怎么做。第一是班次驱动的周期性。居民负荷的周期是 24 小时制造业往往是“24 小时 班次”的复合周期白班和夜班的功率基线能差 40% 以上。所以除了小时、星期几shift_flag必须进特征否则模型会把夜班的低负荷误判成异常。第二是设备启停的阶跃性。大功率设备冲压、注塑、空压机启动瞬间功率会跳一个台阶而不是平滑爬升。这意味着序列里存在大量近似阶跃的突变点LSTM 的平滑特性反而会把这些点抹掉。常见做法是对目标做一阶差分让模型学“变化量”而不是“绝对值”或者把设备启停事件单独做成 0/1 特征。第三是工作日与检修日的分布漂移。制造业有集中检修、订单旺季负荷分布会整体平移。如果训练集全是旺季、测试集落在检修周误差会大得离谱。所以划分数据集时不能简单按时间 8:2 切要保证训练和测试都覆盖至少一个完整的生产周期。提示先画一张按周聚合的负荷曲线肉眼确认有没有整段异常低的周再决定训练/测试切分点比任何自动化切分都靠谱。3. 把时序喂进 LSTM滑窗构造、归一化与模型骨架数据体检过关接下来是这份资源真正的落地环节——把表格变成 LSTM 能吃的三维张量。这一步的细节最多参数设错一个训练 loss 看着降预测出来全是滞后一条线。3.1 滑窗样本构造与防泄漏切分LSTM 的输入是(样本数, 时间步长, 特征数)。时间步长lookback的选择有讲究制造业负荷受班次影响lookback 至少要覆盖一个完整班次周期常见取 24 到 72。取太小模型看不到班次切换取太大训练慢且容易过拟合。import numpy as np def make_windows(series, lookback48, horizon1): X, y [], [] for i in range(len(series) - lookback - horizon 1): X.append(series[i : i lookback]) y.append(series[i lookback : i lookback horizon]) return np.array(X), np.array(y) # 关键先按时间切分再各自构造滑窗避免测试集信息泄漏到训练集 split int(len(features) * 0.8) train_X, train_y make_windows(features[:split], lookback48) test_X, test_y make_windows(features[split:], lookback48)horizon1表示单步预测做短期调度够用要做日前调度就设成 24。最容易翻车的是切分顺序如果先对全量数据构造滑窗再切分测试集的前 48 个窗口里会混入训练集末尾的数据指标虚高。上面代码先切features再各自make_windows就是为了堵这个洞。3.2 归一化的正确姿势LSTM 对输入尺度敏感功率值动辄几百 kW不归一化梯度会炸。但归一化有个隐蔽的坑统计量只能用训练集算。用全量数据的均值方差等于把测试集的分布信息提前泄露了。from sklearn.preprocessing import MinMaxScaler scaler MinMaxScaler() train_scaled scaler.fit_transform(train_X.reshape(-1, train_X.shape[-1])) # 用训练集的 scaler 变换测试集绝不重新 fit test_scaled scaler.transform(test_X.reshape(-1, test_X.shape[-1])) train_X train_scaled.reshape(train_X.shape) test_X test_scaled.reshape(test_X.shape)fit_transform只出现在训练集上测试集一律transform。预测完还要inverse_transform回原量纲才能算 MAE这一步经常被忘导致报出来的误差单位是归一化后的 0.02看着漂亮但没意义。3.3 一个够用的 LSTM 骨架不用一上来就堆深层网络。制造业负荷的规律性比自然语言强得多两层 LSTM 加一个全连接足够打底。from tensorflow.keras import layers, models model models.Sequential([ layers.LSTM(64, return_sequencesTrue, input_shape(48, n_features)), layers.Dropout(0.2), layers.LSTM(32), layers.Dense(16, activationrelu), layers.Dense(1) # 单步预测输出 1 维 ]) model.compile(optimizeradam, lossmse, metrics[mae]) model.fit(train_X, train_y, epochs50, batch_size32, validation_split0.1, verbose1)return_sequencesTrue让第一层把每个时间步的隐状态都传给第二层第二层只取最后一步。Dropout(0.2)放在两层之间是防止过拟合最省事的手段。validation_split0.1从训练集尾部切验证集注意它仍然是按时间顺序切的不会打乱。如果验证 loss 在 10 个 epoch 后还在震荡先把学习率降到 1e-3 以下再考虑加层。4. 训练与评估指标怎么选、残差怎么读模型跑起来只是开始能不能信它的输出取决于评估环节做得细不细。制造业场景里一个 MAPE 很低的模型可能在班次切换点全错而调度恰恰最关心那几个点。4.1 别只看 MAPEMAPE 在负荷接近零的时段会爆炸分母趋零制造业夜班待机功率可能只有几十 kWMAPE 会被放大到几百。更稳的组合是 MAE RMSE 分时段误差。from sklearn.metrics import mean_absolute_error, mean_squared_error pred model.predict(test_X) pred_inv scaler.inverse_transform(pred) # 回原量纲 true_inv scaler.inverse_transform(test_y.reshape(-1, 1)) mae mean_absolute_error(true_inv, pred_inv) rmse np.sqrt(mean_squared_error(true_inv, pred_inv)) print(fMAE{mae:.2f} kW, RMSE{rmse:.2f} kW)算完整体指标一定要按shift_flag分组再算一遍。如果夜班 MAE 是白班的三倍说明模型没学到班次特征回去检查shift_flag有没有正确编码进features。4.2 残差图是黑匣子的开口把残差真实值减预测值按时间画出来能看出模型系统性的偏差。常见三种形态残差在班次切换点集中出现大尖峰说明 lookback 不够或缺少事件特征残差整体偏正说明归一化或偏置有问题残差呈缓慢漂移说明数据有趋势而模型没捕捉需要加差分或趋势项。注意残差图里如果出现连续几十个点同号基本可以判定存在未建模的周期成分别急着调网络结构先回去补特征。5. 避坑清单五个让 LSTM 预测失真的常见问题这一章是踩坑记录每条都按“现象 → 原因 → 解决”写照着排查能省不少时间。现象一训练 loss 一路降到很低测试集预测却像滞后一天的复制品。原因滑窗构造时把目标值本身也当成了输入特征且 lookback 过长模型学成了“用昨天的值预测今天”。解决检查features里是否混入了active_power的原始列输入特征只保留外生变量和滞后项把 lookback 从 72 降到 24 再试。现象二验证集 loss 剧烈震荡每个 epoch 差别很大。原因batch 内样本的时间跨度太大一个 batch 里混了旺季和检修周的数据梯度方向互相打架。解决训练前按时间排序shuffleFalse或者用时间序列专用的分桶采样保证每个 batch 内分布相对一致。现象三预测值整体偏低系统性差一个固定量。原因归一化用了MinMaxScaler但测试集存在超出训练集范围的极值transform后被截断到 [0,1]。解决改用StandardScaler或对目标做对数变换压缩极值同时在体检阶段就标记出超出训练集范围的样本。现象四某条产线的预测误差远高于其他产线。原因该产线缺失值被前向填充填充段被模型当成真实规律学了进去。解决对缺失超过阈值的产线整条剔除或在损失函数里对填充位置加掩码权重让模型不在这部分计算梯度。现象五模型离线指标很好上线后第一天就崩。原因训练数据的时间范围和上线时段的生产模式不一致比如训练集没有覆盖新设备投运后的负荷水平。解决上线前用最近一周数据做一次滚动回测确认误差在可接受区间建立定期重训练机制别指望一个模型吃一年。6. 进阶技巧用滚动预测和分位数输出把误差管住单步点预测在调度场景里其实不够用调度员要的是“明天这个时段大概在什么区间”。这里分享两个我常用的进阶做法都是在这份数据上验证过能落地的。第一个是滚动多步预测。不要一次性预测未来 24 小时而是每次预测 1 步、把预测值拼回输入窗口、再预测下一步。这样误差不会在 24 步里一次性累积而且能自然利用最新观测。def rolling_forecast(model, last_window, steps24): window last_window.copy() preds [] for _ in range(steps): p model.predict(window[np.newaxis, ...], verbose0) preds.append(p[0, 0]) # 把预测值接到窗口尾部挤掉最老的一步 window np.vstack([window[1:], p]) return np.array(preds)window[1:]加p的拼接是关键保证窗口长度恒为 lookback。注意这里p已经是归一化尺度拼回去之前别急着反归一化否则下一轮输入尺度就乱了。第二个是分位数损失。把Dense(1)换成输出三个分位0.1、0.5、0.9用 pinball loss 训练直接得到预测区间。制造业调度对“最坏情况”比对“平均值”更敏感一个 90 分位的上界比点预测有用得多。实现上把最后一层改成Dense(3)损失函数自定义def pinball_loss(q): def loss(y_true, y_pred): e y_true - y_pred return tf.reduce_mean(tf.maximum(q * e, (q - 1) * e)) return loss三个输出分别用 0.1、0.5、0.9 的q加权求和作为总损失。训练完画一条带阴影的区间图比任何指标都直观。最后说个习惯。从那以后我每次拿到新的用电量数据都强制先跑一遍“时间戳连续性检查 按产线缺失率排序 按周聚合画图”这三步哪怕数据方说“已经清洗过了”。这三步花不了十分钟但能挡掉后面八成的翻车。希望帮到你。本文还有配套的精品资源点击获取