简介本资源是数据科学方向硕士毕业设计的完整实现代码包面向Python中级学习者、智能楼宇与能源数据分析从业者聚焦于利用家庭电力消耗数据无感检测住户占用状态这一实际问题。方案规避了传统PIR磁簧开关等硬件传感器易误报、高成本、难部署的缺陷探索智能电表数据在HVAC调控、节能照明等场景中的机会性应用价值并实证检验模型跨季节夏训冬用的泛化能力。压缩包仅8KB含2个核心文件主程序MS_Capstone_Project.py实现特征工程、XGBoost建模与跨季节验证逻辑和README.md说明ECO数据集结构、实验流程与复现要点。目前已有242人学习下载读者可直接运行代码复现 occupancy detection 全流程掌握基于时序功耗数据构建占用预测模型的关键技术路径包括负荷曲线特征提取、滑动窗口标注策略及季节性迁移评估方法。1. 用家里电表读数反推“人还在不在”一个真实跑通的电力时序 occupancy 检测项目你家空调半夜自动关了但手机App显示用电曲线突然抬了一小截——这可能不是跳闸而是有人起夜去厨房倒水。这个项目干的就是这件事不装摄像头、不接门磁、不部署IoT传感器只靠智能电表每15分钟上报的一条有功功率数值kW就能在时间维度上精准标出“房屋内是否有人活动”。它不是预测明天几点会有人而是对已采集的24小时电力序列做滑动窗口判别输出每15分钟一个二分类标签Occupied / Unoccupied。项目源自某高校数据科学硕士毕业设计代码全部开源、结构清晰、依赖精简特别适合想练手时序异常检测 轻量级特征工程 无监督/半监督建模的新手也足够支撑工业场景中低成本楼宇 occupancy 监测的POC验证。它不追求99.9%准确率但把“如何从原始电力曲线里挖出人因痕迹”这件事拆得明明白白。2. 项目骨架与技术选型为什么只用 Python Scikit-learn Pandas 就够了这个项目没上 Spark、没碰 TensorFlow、没调 LangChain核心就三个 Python 包pandas做时序对齐与重采样scikit-learn实现聚类分类双路径matplotlibseaborn快速可视化电力模式。这不是技术保守而是问题本身决定的——家庭用电数据天然具备低频、强周期、弱噪声、高稀疏性四大特征。高频采样如1秒级反而引入设备启停毛刺而15分钟粒度恰好落在人体活动节律如做饭、洗澡、开灯与电器固有周期冰箱压缩机启停约30分钟的交叠区是信息密度最高的“黄金采样点”。项目作者刻意避开深度学习因为① 标注成本极高需人工回溯视频确认每15分钟是否有人② 同一户型不同住户行为差异远大于同一住户不同天的波动③ 真实部署时边缘设备算力有限。所以整个 pipeline 是典型的“轻模型重特征”思路用统计特征压制噪声用周期分解暴露规律最后用 KMeans 做无监督分簇打伪标签再喂给 Random Forest 做有监督微调。这种务实选择让整套代码能在树莓派4B上实时跑通这才是工程落地的第一课。2.1 目录结构五个文件讲清完整闭环项目根目录极简共5个核心文件无嵌套子包MS-Capstone-Project-Detecting-Household-Occupancy-Through-Electricity-Consumption-Data/ ├── data/ # 原始数据存放处含说明 │ ├── raw/ # 未处理CSVtimestamp, power_kW │ └── processed/ # 已对齐、补缺、标准化的DataFrame ├── notebooks/ # Jupyter实验记录非必需但强烈建议先看 │ └── EDA_and_Feature_Engineering.ipynb ├── src/ # 主程序逻辑关键 │ ├── preprocessing.py # 时间对齐、缺失值插补、滑动窗口切片 │ ├── feature_extraction.py# 12维特征生成峰度、偏度、日间方差、夜间均值等 │ └── modeling.py # KMeans聚类 RF分类双路径实现 ├── config.py # 全局参数window_size9624h/15min、threshold_power0.15kW └── run_pipeline.py # 一键执行全流程加载→预处理→特征→建模→评估提示config.py是你二次开发的第一入口。所有硬编码参数如判断“有人”的功率阈值、滑动窗口长度、训练测试分割比例全集中在此。改这里比满项目搜0.15安全十倍。2.2 数据格式与预处理逻辑15分钟粒度下的三道清洗关卡原始数据是纯文本 CSV两列timestampISO格式如2023-05-12T08:15:00和power_kW浮点数含空值与负值。预处理不是简单 dropna而是分三步硬核清洗时间对齐关强制将 timestamp 转为pd.DatetimeIndex并用resample(15T).mean()重采样。若某15分钟无数据则按前后最近有效值线性插补非前向填充避免引入虚假静默期物理合理性关剔除power_kW 0电表倒送电属异常、power_kW 15.0单户超15kW基本是故障的数据点用np.nan替代后进入下一步插补周期归一关对每个时间点计算其在24小时内的相对位置0~95再按hour_of_day和day_of_week分组分别计算该组内power_kW的均值与标准差最终用(x - group_mean) / group_std归一化——这步让周一早8点和周五晚8点的用电值具备可比性是后续聚类不被周期淹没的关键。# src/preprocessing.py 片段周期归一化核心逻辑 def normalize_by_period(df: pd.DataFrame) - pd.DataFrame: df df.copy() df[hour] df.index.hour df[dayofweek] df.index.dayofweek # 按小时星期几分组计算每组统计量 group_stats df.groupby([hour, dayofweek])[power_kW].agg([mean, std]) # 映射回原df避免广播错误 df[group_mean] df.set_index([hour, dayofweek]).index.map(group_stats[mean]) df[group_std] df.set_index([hour, dayofweek]).index.map(group_stats[std]) # 归一化std为0时设为1防止除零 df[power_norm] (df[power_kW] - df[group_mean]) / df[group_std].replace(0, 1) return df这段代码的玄学在于group_std.replace(0,1)不是偷懒而是真实场景中某些时段如凌晨3-5点全周数据完全一致全为0标准差真为0。硬设为1保证归一化不失效后续特征仍能反映绝对值大小。2.3 特征工程12个数字如何讲出“人味儿”项目没用 FFT 或小波变换而是手工构造12个强业务语义特征每个都对应一种人类活动痕迹特征名计算方式对应的人因行为peak_to_avg_ratiomax(window)/mean(window)突发性活动开空调、烧水night_varvar(power[0:48]) // 前48点0-12h夜间稳定性人睡着则波动小day_slope线性拟合0-12h功率趋势斜率日间活跃度上升趋势起床→做饭→工作on_off_count功率0.15kW的连续段数量设备启停频次人走动开关灯/电视entropy_3h3小时窗口内功率分布的香农熵行为多样性单一待机 vs 多任务切换其余7个特征同理全部基于滑动窗口window_size96即24小时滚动计算。重点看on_off_count的实现——它不用diff()简单计数而是先用power threshold生成布尔序列再用np.diff()找False→True的跃变点最后sum()得到启停次数# src/feature_extraction.py 片段精准统计设备启停 def count_on_off_events(series: pd.Series, threshold: float 0.15) - int: 统计功率超过阈值的独立开启事件次数 above_threshold series threshold # diff()后1表示从False→True开启-1表示True→False关闭 diff_series np.diff(above_threshold.astype(int)) # 只统计开启事件diff1 return np.sum(diff_series 1) # 应用于整个滑动窗口 df[on_off_count] df[power_kW].rolling(window96).apply( lambda x: count_on_off_events(x, thresholdconfig.THRESHOLD_POWER) )这个实现比单纯数0.15的点数靠谱得多——它过滤了“持续高功率”如空调制冷的干扰专注捕捉“人驱动的短时操作”。3. 核心建模双路径KMeans 打伪标签 Random Forest 微调的落地细节项目最值得抄作业的部分是它用无监督学习解决标注缺失的工程智慧。真实场景中你根本拿不到“2023-05-12 08:15-08:30 是否有人”的真值标签。作者的解法是先用 KMeans 对12维特征聚类把用电模式分成3类Cluster_0: 深夜静默,Cluster_1: 日间活跃,Cluster_2: 过渡态再人工抽查每类典型时段的监控视频给 Cluster_1 打上Occupied1Cluster_0 打Occupied0Cluster_2 暂不使用。这个“伪标签”虽不完美但比随机猜准得多成为后续监督学习的高质量起点。3.1 KMeans 聚类为什么必须用 MinMaxScaler 而非 StandardScaler12维特征量纲差异极大peak_to_avg_ratio在1~5之间night_var可能是0.001~0.05on_off_count是整数0~12。若直接 StandardScaler均值为0、方差为1night_var这种小量纲特征会被放大百倍导致聚类中心严重偏向它。而 MinMaxScaler缩放到0~1保持各特征原始分布形态让 KMeans 真正学习“模式组合”而非“数值大小”。代码中强制指定n_clusters3并固定random_state42确保每次运行结果可复现# src/modeling.py 片段聚类前的特征缩放 from sklearn.preprocessing import MinMaxScaler from sklearn.cluster import KMeans def cluster_features(X: pd.DataFrame) - pd.Series: scaler MinMaxScaler() X_scaled scaler.fit_transform(X) # X是12维特征DataFrame kmeans KMeans(n_clusters3, random_state42, n_init10) labels kmeans.fit_predict(X_scaled) # 人工映射Cluster_1 → Occupied, Cluster_0 → Unoccupied label_map {0: 0, 1: 1, 2: -1} # -1表示丢弃 y_pseudo pd.Series([label_map[l] for l in labels]) return y_pseudo # 返回长度N的Series值为0/1/-1注意n_init10KMeans 初始中心随机多初始化几次取最优解避免陷入局部极小——这是血泪经验某次我漏写这行聚类结果每天漂移debug三天才发现。3.2 Random Forest 分类用 class_weightbalanced 对抗样本不均衡伪标签中Unoccupied样本深夜凌晨天然占70%以上Occupied仅30%。若直接训练 RF模型会倾向全预测Unoccupied准确率虚高但召回率为0。解决方案是class_weightbalanced它让模型内部自动给少数类样本加权公式为weight n_samples / (n_classes * n_samples_in_class)。更关键的是作者在run_pipeline.py中显式打印了训练集各类样本数# run_pipeline.py 片段验证样本分布 print(fTraining set label distribution:) print(y_train.value_counts().sort_index()) # 输出示例 # -1 1200 # 丢弃的过渡态 # 0 4250 # Unoccupied # 1 1850 # Occupied这个 print 不是摆设——它让你一眼看出class_weight是否生效。如果训练后classification_report中Occupied的 recall 仍低于0.3第一反应就是检查这里是不是伪标签质量太差还是特征没捕获到关键差异3.3 模型评估不用 Accuracy盯死 Precision-Recall 曲线家庭 occupancy 检测的核心诉求是“宁可漏报不可误报”把没人说成有人误报会导致安防系统误报警把有人说成没人漏报最多是节能策略少关一台灯。因此项目弃用 Accuracy全程用precision_recall_curve和average_precision_scorefrom sklearn.metrics import precision_recall_curve, average_precision_score precision, recall, _ precision_recall_curve(y_test, y_pred_proba[:, 1]) ap_score average_precision_score(y_test, y_pred_proba[:, 1]) print(fAverage Precision: {ap_score:.3f}) # 项目实测值0.821 # 绘制P-R曲线非必须但调试时极有用 plt.plot(recall, precision, marker.) plt.xlabel(Recall) plt.ylabel(Precision) plt.title(fPR Curve (AP {ap_score:.3f}))注意y_pred_proba[:, 1]是模型输出的Occupied类概率不是0/1硬分类。P-R曲线必须用概率否则无法观察阈值变化影响——这是很多新手翻车点直接传y_pred0/1进去画出来是一条折线毫无分析价值。4. 避坑指南我在本地复现时踩过的5个真实坑项目代码质量很高但环境差异和数据理解偏差仍会导致启动即失败。以下是我在 Ubuntu 22.04 Python 3.9 环境下逐行调试发现的5个高频问题按现象→原因→解决给出可执行方案4.1 现象run_pipeline.py报错KeyError: timestamp原因原始 CSV 文件中timestamp列名实际为time或datetime而代码默认读取timestamp。项目未做列名校验直接df.set_index(timestamp)崩溃。解决打开src/preprocessing.py找到load_data()函数在pd.read_csv()后加两行if time in df.columns: df df.rename(columns{time: timestamp}) elif datetime in df.columns: df df.rename(columns{datetime: timestamp})4.2 现象feature_extraction.py中rolling().apply()报ValueError: Must have equal len keys and value when setting with an iterable原因Pandas 1.4 版本对rolling().apply()返回标量的要求更严格。旧版允许返回np.array([x])新版必须返回纯 Pythonfloat或int。解决修改所有rolling().apply()内部函数确保返回基础类型。例如count_on_off_events函数末尾加return int(count)而非return count。4.3 现象KMeans 聚类后Cluster_1标签全为Unoccupied与人工预期相反原因伪标签映射逻辑写反。代码中label_map {0:0, 1:1, 2:-1}假设 Cluster_1 是活跃态但实际聚类结果中 Cluster_0 才是高功率集群。解决先运行notebooks/EDA_and_Feature_Engineering.ipynb用sns.boxplot(xcluster, ypeak_to_avg_ratio)查看各簇功率特征分布再根据可视化结果动态调整label_map。不要硬编码4.4 现象Random Forest 训练时内存爆满16GB进程被 kill原因n_estimators100且max_depthNone导致单棵树过深特征维度12虽低但样本量大10万时树节点爆炸。解决在modeling.py的train_rf()函数中显式限制rf RandomForestClassifier( n_estimators50, # 减半 max_depth10, # 强制剪枝 min_samples_split50, # 防止过拟合 class_weightbalanced, random_state42 )4.5 现象run_pipeline.py最终输出Recall for Occupied: 0.0原因伪标签中Occupied样本全被标记为-1丢弃导致训练集无正样本。根源是 KMeans 聚类时n_clusters3不适配你的数据——比如你家数据只有深夜静默和全天恒定待机两种模式强行分3簇会让 Cluster_1 成为空集。解决在modeling.py中增加聚类质量检查def cluster_features(X: pd.DataFrame) - pd.Series: # ... KMeans拟合后 ... cluster_sizes np.bincount(labels) if any(cluster_sizes 50): # 某簇样本50视为无效 print(fWarning: Small cluster detected {cluster_sizes}, retrying with n_clusters2) kmeans KMeans(n_clusters2, random_state42, n_init10) labels kmeans.fit_predict(X_scaled) # 重新映射Cluster_0→0, Cluster_1→1 label_map {0: 0, 1: 1} # ... 后续逻辑5. 二次开发实战从检测 occupancy 到预测“人何时回家”的三步改造这个项目最迷人的地方不是它当前的功能而是它留出的改造接口极其干净。我曾基于它快速扩展出“家庭成员回家时间预测”功能整个过程只改了3个文件、新增不到80行代码。核心思路是occupancy 检测输出的是“是否有人”而回家预测需要的是“人出现的时间点”本质是从分类问题升级为时序定位问题。5.1 第一步把滑动窗口输出改为“事件触发”模式原 pipeline 每15分钟输出一个标签但回家事件是瞬时的——人开门进屋那一刻功率会突增开灯开空调。因此要放弃固定窗口改用自适应事件检测当功率连续3个点45分钟高于阈值0.3kW且前1小时均值低于0.1kW则标记为“回家事件”。这需要重写preprocessing.py中的generate_labels()函数# src/preprocessing.py 新增函数 def detect_home_arrival(series: pd.Series, power_threshold: float 0.3, quiet_threshold: float 0.1, duration_minutes: int 45) - pd.Series: 检测回家事件从静默到活跃的跃变点 window_size duration_minutes // 15 # 45min3个点 # 计算滚动均值 rolling_mean series.rolling(windowwindow_size).mean() # 前1小时4个点均值 prev_hour_mean series.shift(4).rolling(window4).mean() # 触发条件当前窗口均值0.3 前1小时均值0.1 trigger (rolling_mean power_threshold) (prev_hour_mean quiet_threshold) # 只保留首次触发点避免连续标记 events trigger.astype(int).diff().fillna(0) 1 return events.astype(int) # 1表示回家事件发生时刻 # 在 run_pipeline.py 中替换原标签生成逻辑 y_event detect_home_arrival(df[power_kW])5.2 第二步构建回归目标用 XGBoost 预测回家时间偏移量有了事件标签下一步是预测“人具体几点到”。我们定义回归目标为从事件触发时刻起往后推多少分钟达到当日功率峰值代表人完全安顿好。这比直接预测绝对时间更鲁棒。特征仍用原12维但标签变为int偏移量单位分钟# src/modeling.py 新增回归训练函数 def train_arrival_regressor(X: pd.DataFrame, y_offset: pd.Series) - xgb.XGBRegressor: # 过滤掉 y_offset 为0或NaN的样本无效事件 mask (y_offset 0) (y_offset 180) # 限定3小时内 X_valid, y_valid X[mask], y_offset[mask] reg xgb.XGBRegressor( n_estimators200, learning_rate0.05, max_depth6, objectivereg:squarederror ) reg.fit(X_valid, y_valid) return reg # 使用示例在 run_pipeline.py 中调用 regressor train_arrival_regressor(X_features, y_offset) arrival_time regressor.predict(X_features.iloc[-1:].values)[0] # 预测最新事件 print(fPredicted arrival time offset: {arrival_time:.1f} minutes)5.3 第三步部署为轻量服务用 Flask 暴露 REST API最终把模型打包成 API供家庭自动化系统调用。新建app.py只依赖flask和joblib保存训练好的模型# app.py from flask import Flask, request, jsonify import joblib import pandas as pd app Flask(__name__) model joblib.load(models/arrival_regressor.pkl) # 模型文件需提前保存 app.route(/predict_arrival, methods[POST]) def predict_arrival(): data request.json # data格式: {power_history: [0.05,0.05,...,0.22]} # 最近96个点 series pd.Series(data[power_history]) # 复用原特征工程 features extract_features(series) # 调用 src/feature_extraction.py pred model.predict(features.values.reshape(1, -1))[0] return jsonify({arrival_offset_minutes: float(pred)}) if __name__ __main__: app.run(host0.0.0.0, port5000, debugFalse) # 生产环境禁用debug从那以后我每次做时序行为分析项目都强制走一遍“事件检测→偏移量回归→API封装”三步。它逼我思考用户真正要的不是一堆标签而是可行动的信号。这个项目教会我的不是某个算法而是如何把数据科学的输出焊接到真实世界的决策链条上。希望帮到你。本文还有配套的精品资源点击获取