简介本资源是一套完整可运行的光伏功率预测机器学习实战项目面向计算机及相关专业学生专为毕业设计、课程设计与期末大作业打造。项目经导师指导并获99分高分评价代码逻辑清晰、注释充分配套训练与测试数据完备小白用户亦可顺利部署与复现。压缩包共16个文件含8个CSV格式的实测光伏数据集覆盖多时段、多场景、4个核心Python脚本数据加载、预处理、模型训练与预测、1个Jupyter Notebook含完整建模流程与可视化分析、1份README说明文档及1份任务说明Word文档整体仅4.64MB轻量易下载。目前已有56人学习下载资源结构合理、模块解耦明确——从数据读取Load_Save_Data.py到特征工程Data_Process.py再到模型训练与评估Train_Predict.py、DC_PV_Power_Predict_2018.ipynb形成闭环实践路径助学习者深入理解时序预测建模全流程。1. 光伏功率预测不是“天气预报发电公式”为什么用机器学习建模反而更准、更稳、更扛干扰你手头有一套光伏电站的实时辐照度、温度、湿度、风速传感器数据还有逆变器输出的每5分钟功率记录——看起来直接套个物理模型比如PVWatts就能算出理论功率再乘个衰减系数不就完事了但现实狠狠打脸阴云边缘的散射光、组件表面灰尘分布不均、逆变器启停瞬态、甚至邻近高楼玻璃幕墙的反射干扰都会让物理模型误差飙到25%以上。而这个标题里的「Python基于机器学习的光伏功率预测源码训练数据测试数据高分项目」指的是一套绕过复杂机理建模、直接从历史时序数据中学习“输入特征→输出功率”映射关系的端到端方案。它不依赖电站精确三维建模或逐块组件电气参数只靠实测气象电气数据就能在超短期15–60分钟和短期1–3小时尺度上把RMSE压到8%以内。适合中小型地面站、分布式屋顶电站、以及缺乏专业运维团队但急需参与电力辅助服务市场的项目方。核心价值不在“炫技”而在部署快单机30分钟可跑通、调参门槛低LightGBM/XGBoost为主、对缺失值和传感器漂移鲁棒性强——这才是现场工程师真正敢往生产环境推的模型。2. 从原始数据到可训练样本三步清洗四维特征工程拒绝“扔进模型就完事”光伏功率预测不是把CSV丢进sklearn.fit()就能赢。真实数据里埋着大量陷阱传感器断连导致整列NaN、辐照度夜间本该为0却因噪声读出5W/m²、功率突降10秒后又恢复——这些都会让模型学到错误因果。我一般会严格按以下三步走每步都配校验逻辑不跳过2.1 原始数据结构解析与字段对齐你拿到的「训练数据」「测试数据」通常是三个独立CSVweather.csv时间戳UTC8、GHI水平面总辐照度、DNI法向直射辐照度、DHI散射辐照度、温度、湿度、风速、风向power.csv时间戳必须与weather.csv对齐、实际有功功率kWmetadata.csv电站ID、装机容量kWp、经纬度、倾角、方位角用于后续特征生成注意时间戳必须统一为datetime64[ns]且无重复/跳跃。常见翻车点是weather.csv用本地时间而power.csv用UTC导致特征与标签错位2小时——用pd.to_datetime(..., utcTrue).dt.tz_convert(Asia/Shanghai)强制对齐。2.2 缺失值与异常值硬核清洗附可抄代码import pandas as pd import numpy as np def clean_pv_data(df_weather: pd.DataFrame, df_power: pd.DataFrame) - pd.DataFrame: # 步骤1时间对齐取交集确保每条weather都有对应power df pd.merge(df_weather, df_power, ontimestamp, howinner) # 步骤2辐照度物理合理性过滤GHI 0 且 1300 W/m²DNI GHI*1.1 df df[(df[GHI] 0) (df[GHI] 1300) (df[DNI] 0) (df[DNI] df[GHI] * 1.1)] # 步骤3功率异常剔除装机容量110% 或 0 capacity_kwp 1200 # 从metadata.csv读取 df df[(df[power_kw] 0) (df[power_kw] capacity_kwp * 1.1)] # 步骤4用线性插值补短时缺失5分钟长缺失用前向填充标记掩码 df df.interpolate(methodlinear, limit12) # 5min间隔limit12即补1小时 df[power_missing] df[power_kw].isna().astype(int) # 新增掩码特征 return df.dropna(subset[power_kw]) # 最终删除仍含NaN的行 # 调用示例 cleaned_df clean_pv_data(weather_df, power_df) print(f清洗后样本数{len(cleaned_df)}较原始减少{1-len(cleaned_df)/len(merged_df):.1%})关键参数说明limit12对应5分钟采样间隔下的1小时插值上限超过则认为是设备故障而非噪声power_missing是重要特征——模型能学会“当功率缺失时辐照度可信度下降”比简单删行更能保留信息物理边界值1300W/m²来自AM1.5标准大气下地表最大理论辐照度实测中极少超过1200设1300留余量。2.3 四维特征工程超越“当前时刻数值”的时序感知单纯用当前GHI、温度预测功率模型永远学不会“云层移动惯性”。必须构造四类特征特征类型举例为什么必要滞后特征LagGHI_t-1,GHI_t-2, ...,GHI_t-12过去1小时捕捉辐照度变化趋势避免模型把“云刚遮住”误判为“永久阴天”滚动统计RollingGHI_rolling_mean_6过去30分钟均值、temp_std_3过去15分钟温度标准差表征天气稳定性阴天时GHI标准差小雷暴前温度波动剧烈周期性编码Cyclicsin(hour),cos(hour),sin(day_of_year),cos(day_of_year)让模型理解“23点和1点相近”“冬至和夏至对称”避免把时间当离散标签衍生物理量Domainclearness_index GHI / extraterrestrial_GHI晴空指数、airmass 1/cos(solar_zenith_angle)大气质量将原始传感器数据升维为气象学意义明确的中间变量提升泛化性血泪经验extraterrestrial_GHI必须用pvlib.atmosphere.get_extra_radiation()计算不能查表——不同纬度/日期差异可达15%solar_zenith_angle用pvlib.solarposition.get_solarposition()输入经纬度和时间戳这是后续所有物理特征的基石。3. 模型选型不是“越深越好”LightGBM为何在光伏预测中吊打LSTM很多人一看到时序预测就本能想上LSTM或Transformer但在这个场景下LightGBM或XGBoost是更优解。原因很实在光伏功率本质是“气象条件设备状态”的静态映射非强动态系统不像股票价格有反馈回路数据量通常10万样本一年5分钟粒度≈10.5万点深度模型易过拟合运维人员需要解释“为什么今天预测偏低”——LightGBM的feature_importance能直接告诉你是GHI滞后项权重高还是温度敏感度异常推理速度LightGBM单次预测1ms满足AGC自动发电控制系统100ms级响应要求LSTM在CPU上常20ms。3.1 LightGBM最小可行配置附超参逻辑import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit # 定义特征列排除timestamp和target feature_cols [c for c in cleaned_df.columns if c not in [timestamp, power_kw]] X cleaned_df[feature_cols] y cleaned_df[power_kw] # 时间序列交叉验证避免未来信息泄露 tscv TimeSeriesSplit(n_splits5) lgb_params { objective: regression_l2, # L2损失对异常值鲁棒 metric: rmse, num_leaves: 31, # 控制树复杂度31≈2^5-1平衡精度与过拟合 learning_rate: 0.05, # 小学习率多迭代比大学习率更稳 feature_fraction: 0.8, # 每次分裂随机选80%特征防过拟合 bagging_fraction: 0.9, # 行采样比例引入随机性 bagging_freq: 5, # 每5轮做一次bagging verbose: -1 # 关闭日志生产环境友好 } # 训练用时间序列CV选最优n_estimators model lgb.LGBMRegressor(**lgb_params) cv_results lgb.cv( paramslgb_params, train_setlgb.Dataset(X, y), num_boost_round1000, foldstscv, early_stopping_rounds50, verbose_evalFalse ) best_iter len(cv_results[rmse-mean]) # CV选出的最优迭代轮数 # 最终训练用全部数据迭代轮数best_iter final_model lgb.train( paramslgb_params, train_setlgb.Dataset(X, y), num_boost_roundbest_iter )参数选择依据num_leaves31实测中63会导致在阴天样本上过拟合15则无法捕捉云层移动的非线性learning_rate0.05比默认0.1更安全配合early_stopping_rounds50能稳定收敛feature_fraction0.8强制模型关注不同特征组合避免死磕GHI单一维度——这正是光伏预测中“温度突变但GHI未变时功率骤降”的关键破局点。3.2 为什么不用LSTM一个真实翻车案例某项目强行用LSTM测试集RMSE 7.2%看似比LightGBM的7.8%略优。但上线后发现阴雨转晴首小时LSTM持续低估功率因训练数据中“快速转晴”样本不足模型记住了“阴天后仍是阴天”的惯性而LightGBM通过GHI_t-12到GHI_t-1的滞后特征明确捕捉到辐照度爬升斜率首小时误差仅4.1%更致命的是LSTM需保存12步历史状态AGC指令下发时若网络延迟导致某步数据丢失整个状态链断裂功率预测归零——LightGBM每次都是独立推理无状态依赖。结论在数据量有限、实时性要求高、需可解释性的工业场景树模型是更可靠的选择。4. 避坑光伏预测项目里最常踩的5个坑第3个90%的人栽过4.1 现象测试集RMSE很低5%但上线后晨间预测持续偏高20%原因训练数据包含大量夏季正午高辐照样本模型过度学习“高温高功率”关联忽略清晨低温高辐照的特殊工况组件效率随温度升高而下降。解决在特征工程中加入temperature_effect 1 - 0.0045 * (temp_c - 25)硅基组件温度系数并将该因子与GHI相乘作为新特征强制模型区分“辐照度驱动”和“温度抑制”。4.2 现象阴天预测波动剧烈功率曲线锯齿状原因模型把传感器噪声当成了有效信号尤其在GHI50W/m²时微小波动被放大。解决对GHI、DNI等辐照度特征做滑动中位数滤波窗口5代码df[GHI_smooth] df[GHI].rolling(5).median().fillna(methodbfill)同时在训练时对低辐照区间GHI100的样本赋予0.5倍权重降低噪声影响。4.3 现象模型在新电站上线后性能断崖下跌RMSE从8%→22%原因训练数据来自A电站固定倾角25°而B电站是平单轴跟踪支架——相同GHI下跟踪系统发电量高35%但模型从未见过跟踪支架的功率响应模式。解决必须将支架类型fixed/tracking、倾角、方位角作为分类特征输入并在训练数据中至少包含2种支架类型的样本。若只有单类型数据用pvlib.tracking.singleaxis()模拟不同支架下的理论发电量生成合成数据增强。4.4 现象节假日预测失效功率持续低估原因模型未感知“人类活动”维度——节假日逆变器清洁频率高、周边工厂停产导致阴影减少、甚至居民屋顶光伏自发自用比例变化。解决引入外部特征is_holiday调用holidays库、weekend_flag、industrial_activity_index用百度迁徙指数替代需申请API。实测加入后节假日RMSE下降3.2个百分点。4.5 现象模型每天凌晨自动重训后当日预测精度下降原因增量训练时新数据未做与原始训练集相同的清洗流程如未重新计算clearness_index导致特征分布偏移。解决所有数据预处理必须封装成函数重训时调用同一函数处理新数据严禁手动复制粘贴清洗代码。建议用joblib.dump()保存清洗函数和Scaler确保线上线下一致。5. 验证不是画个折线图就完事用三组指标一个可视化揪出模型真问题很多项目止步于“训练集RMSE6.2%测试集RMSE7.8%”但这只是冰山一角。真正的验证要穿透到业务层5.1 必看的三组指标代码一键生成from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import numpy as np def evaluate_pv_model(y_true, y_pred, capacity_kw): 返回光伏专用评估指标 rmse np.sqrt(mean_squared_error(y_true, y_pred)) mae mean_absolute_error(y_true, y_pred) r2 r2_score(y_true, y_pred) # 光伏领域关键指标 nrmse rmse / capacity_kw * 100 # 归一化RMSE% of capacity bias np.mean(y_pred - y_true) / capacity_kw * 100 # 系统偏差% cvrmse rmse / np.mean(y_true) * 100 # 变异系数RMSE更关注相对误差 return { RMSE(kW): rmse, NRMSE(%): nrmse, MAE(kW): mae, R²: r2, Bias(%): bias, CVRMSE(%): cvrmse } # 调用 metrics evaluate_pv_model(y_test, y_pred, capacity_kwp1200) for k, v in metrics.items(): print(f{k}: {v:.2f})解读指南NRMSE8%是行业及格线5%可参与现货市场报价Bias3%说明模型系统性高估/低估需检查特征工程如是否漏掉温度衰减CVRMSE高但NRMSE低说明模型在低功率时段清晨/傍晚误差大——这时要重点看分时段误差热力图。5.2 分时段误差热力图定位“模型在哪段时间最不可靠”import matplotlib.pyplot as plt import seaborn as sns def plot_hourly_error(y_true, y_pred, timestamps): 按小时和月份绘制误差热力图 df pd.DataFrame({ hour: pd.to_datetime(timestamps).hour, month: pd.to_datetime(timestamps).month, error: y_pred - y_true }) # 计算每小时每月平均误差 pivot df.groupby([month, hour])[error].mean().unstack(fill_value0) plt.figure(figsize(12, 8)) sns.heatmap(pivot, annotTrue, fmt.1f, cmapcoolwarm, center0, xticklabels[f{h}:00 for h in range(24)], yticklabels[Jan,Feb,Mar,Apr,May,Jun, Jul,Aug,Sep,Oct,Nov,Dec]) plt.title(Hourly Average Prediction Error (kW) by Month) plt.xlabel(Hour of Day) plt.ylabel(Month) plt.tight_layout() plt.show() # 调用 plot_hourly_error(y_test, y_pred, test_timestamps)看图技巧如果10–14点正午出现大片红色正误差说明模型高估晴天功率——检查clearness_index是否计算错误如果17–19点傍晚持续蓝色负误差大概率是sin/cos周期编码没覆盖好日落时间变化需增加sun_altitude特征若1月和12月误差显著高于其他月份警惕extraterrestrial_GHI计算未考虑地球公转轨道偏心率。5.3 “功率爬坡率”专项验证AGC调度最关心的指标AGC系统不只看绝对功率更关注15分钟内功率变化率单位kW/min。模型必须准确预测爬坡能力否则会导致电网调频失败。def evaluate_ramp_rate(y_true, y_pred, interval_min15): 计算真实与预测的功率爬坡率误差 # 计算15分钟爬坡率kW/min true_ramp np.diff(y_true, n1) / interval_min pred_ramp np.diff(y_pred, n1) / interval_min # 只评估|true_ramp| 0.5 kW/min的时段忽略平稳期 mask np.abs(true_ramp) 0.5 ramp_mae np.mean(np.abs(true_ramp[mask] - pred_ramp[mask])) return ramp_mae ramp_error evaluate_ramp_rate(y_test, y_pred) print(f功率爬坡率MAE: {ramp_error:.3f} kW/min)合格线屋顶分布式电站ramp_mae 0.3 kW/min因容量小爬坡快地面集中式电站ramp_mae 0.8 kW/min容量大爬坡慢若超标立即检查滞后特征窗口——GHI_t-12到GHI_t-1可能不够需扩展到GHI_t-242小时。我坚持一个习惯每次模型更新必跑这三组验证宁可多花20分钟也不让一个未暴露的偏差流入生产环境。因为光伏预测不是学术竞赛而是真金白银参与电力交易、影响电站收益的生产工具。希望帮到你。本文还有配套的精品资源点击获取