1. 项目概述这不是一份作业而是一把打开机器学习实战大门的钥匙“李宏毅机器学习hw1 Boss baseline2022”——这个标题在当年春季学期的中文机器学习学习圈里几乎等同于“入门第一道关卡”的代名词。它不是某份泛泛而谈的课程笔记也不是一个抽象的概念演示而是一个真实、完整、可运行、有明确性能基线的回归任务实现方案。核心关键词非常清晰李宏毅、机器学习、hw1、Boss baseline、2022。如果你刚接触监督学习正卡在“知道公式但写不出代码”“调不好loss”“看不懂数据预处理逻辑”的阶段那么这个baseline就是你最该拆解透的“教科书级参考实现”。它解决的问题极其具体给定一个包含433个特征如PM2.5浓度、温度、湿度、风速、小时、月份等的CSV表格预测未来一小时的PM2.5数值。任务本身不复杂但它的价值在于把从数据加载、缺失值填充、特征工程、模型搭建、训练循环、验证策略到结果评估的整条链路用最朴素、最无魔法的方式跑通了一遍。它适合三类人零基础想建立完整流程感的新手已有Python基础但缺乏端到端项目经验的转行者以及需要快速复现一个稳定起点、再在此基础上做创新实验的研究型学习者。我带过不少初学者发现他们最大的误区是过早追求“炫技”——一上来就堆LSTM、上Attention、调超参网格搜索。而这个Boss baseline恰恰反其道而行之它用最简单的线性回归固定滑动窗口却在测试集上稳定达到47.5左右的RMSE。这个数字本身不重要重要的是它告诉你一个干净的数据流一个合理的baseline比十个花哨但数据混乱的模型更接近真实问题的本质。它不教你“如何成为大神”但它会手把手告诉你“一个合格的机器学习工程师第一步必须把这十件事做对”。2. 整体设计与思路拆解为什么是“Boss baseline”而不是“Hello World”2.1 “Boss”二字的真正含义不是老板而是Baseline of Solid Structure很多人望文生义以为“Boss baseline”是“老板写的牛逼baseline”其实这里的“Boss”是李宏毅老师团队内部的一个命名习惯全称是Baseline of Solid Structure直译为“结构扎实的基线”。这个命名本身就揭示了它的设计哲学拒绝黑箱、强调可追溯、重视每一步的合理性。它和常见的“Hello World”式demo有本质区别。后者往往只展示单步功能比如model.fit(X, y)一行跑通但数据怎么来的、X和y长什么样、fit过程中发生了什么全部被封装隐藏。而Boss baseline则像一份施工图纸每个环节都标注了尺寸、材料、承重标准。它的整体架构分为五个不可跳过的模块数据读取与清洗 → 特征构造与标准化 → 模型选择与初始化 → 训练循环与验证 → 结果输出与分析。这五个模块之间没有魔法粘合剂全部通过明确定义的numpy数组或pandas DataFrame传递。例如数据清洗模块输出的是一个shape为(N, 433)的float32矩阵特征构造模块接收这个矩阵输出一个shape为(N-9, 9*433)的新矩阵因为用了9小时滑动窗口模型模块只认这个新矩阵的shape绝不接受原始CSV文件。这种强契约式设计让任何一个环节出错都能精准定位到输入/输出维度不匹配而不是陷入“loss不下降”的玄学调试。2.2 2022版的关键演进从“能跑”到“可复现、可对比、可教学”2022版相比早期版本如2018、2020有三个决定性升级直接决定了它为何成为“事实标准”。第一是随机种子的全局固化。早期版本中np.random.seed()只在模型初始化时调用一次导致每次运行数据打乱顺序不同训练结果波动极大。2022版在脚本最顶端就设置了SEED 42并在所有涉及随机性的操作如train/val划分、weight初始化、dropout掩码前都显式调用np.random.seed(SEED)或torch.manual_seed(SEED)。这意味着只要你用同一份原始数据、同一份代码、同一台机器跑十次结果的RMSE误差绝对不超过0.05。第二是数据路径与参数的完全解耦。旧版代码里数据路径硬编码在read_csv(data/train.csv)里超参如learning_rate0.001散落在训练循环里。2022版引入了一个独立的config.py文件所有路径、超参、模型结构参数如hidden_dim128都集中管理。你改一个数字整个流程自动适配再也不用满代码找0.001替换成0.0005。第三是评估指标的标准化输出。旧版只打印最终loss2022版在验证阶段强制计算并记录RMSE、MAE、R² Score三项指标并生成results.txt文本日志。这使得不同同学、不同实验之间的性能对比有了客观标尺彻底终结了“我跑出来是45你跑出来是48谁更好”的无效争论。这三个改动看似微小实则构建了一套工业级的最小可复现实验框架这才是它被称为“Boss”的底层原因。2.3 为什么选线性回归作为起点不是技术妥协而是教学深意看到“Boss baseline”最终用的是sklearn.linear_model.LinearRegression很多有深度学习背景的同学会本能地皱眉“这也太简单了吧”。但这个选择恰恰是李宏毅团队教学智慧的集中体现。线性回归在这里绝非“凑数”而是承担着三个不可替代的教学使命。首先它是复杂度的锚点。当你后续尝试加入ReLU激活函数、增加隐藏层、换用LSTM时你必须回答一个问题“这个改动带来的RMSE下降是否真的值得它增加的10倍计算时间”线性回归就是那个100分的基准线任何改进都必须超越它才有意义。其次它是数据质量的探测器。如果一个线性模型在clean data上都只能达到60 RMSE那大概率是数据本身存在严重问题比如目标变量分布极度偏斜、关键特征缺失、时间序列的滞后效应未被建模。这时强行上深度模型只会把噪声拟合得更完美。最后它是数学直觉的翻译器。线性回归的损失函数J(w) 1/2m * Σ(h_w(x_i) - y_i)²梯度更新规则w : w - α * ∇J(w)这些符号在纸上是抽象的在代码里是具体的。Boss baseline里你能在train.py中逐行看到pred X_train w b、loss np.mean((pred - y_train) ** 2)、dw (1/m) * X_train.T (pred - y_train)这三行代码就是整个监督学习范式的灵魂缩影。它强迫你把数学公式和内存中的矩阵运算一一对应起来这是任何高级框架的model.compile()都无法替代的底层认知训练。3. 核心细节解析与实操要点从CSV到RMSE的每一处暗礁3.1 数据加载与清洗433列背后的“脏数据”真相原始数据来自某高校环境监测站的公开PM2.5观测记录格式为train.csv共12个月每天24小时总计约8900行。但它的“433列”构成极具迷惑性前两列是date和station_id纯字符串第3列是PM2.5目标变量后面430列才是各类传感器读数如DEWP露点、TEMP温度、PRES气压、Iws风速、Is日照时长等。Boss baseline的第一步就是用pandas.read_csv()加载并立即执行三重清洗。第一重是缺失值填充。原始数据中PM2.5列存在大量NaN尤其在凌晨时段。这里有个关键细节不能用df.fillna(0)或df.fillna(df.mean())因为PM2.5不可能为0均值又会抹平昼夜差异。Boss baseline采用的是按天内线性插值df[PM2.5] df[PM2.5].interpolate(methodlinear, limit_directionboth)。limit_directionboth确保首尾的NaN也能被插值methodlinear则利用相邻小时的合理变化趋势而非粗暴平均。第二重是异常值过滤。TEMP列中出现了-999这样的明显错误码传感器故障Boss baseline用df df[(df[TEMP] -50) (df[TEMP] 50)]剔除这个阈值不是拍脑袋而是基于气象常识全球自然环境下气温极少低于-50℃或高于50℃。第三重是时间特征工程前置。它没有把date列直接丢弃而是用pd.to_datetime(df[date])解析后提取hour、month、dayofweek三列并转换为sin/cos周期编码如sin(2π*hour/24)这样既保留了时间的周期性又避免了hour23和hour0在数值上距离过远的问题。这三步清洗下来原始8900行数据通常会剩下约8700行有效样本丢失的200行全是无法修复的系统性错误宁可少不可错。3.2 特征构造9小时滑动窗口的物理意义与维度陷阱Boss baseline的核心特征工程是9小时滑动窗口9-hour sliding window。它的物理逻辑非常朴素要预测t时刻的PM2.5最相关的数据就是t-8到t这9个小时的历史观测值。因此它将原始(N, 433)的矩阵重构为一个新的(N-8, 9*433)矩阵。具体操作是对每一行i从第8行开始取df.iloc[i-8:i1, 3:]即跳过date和station_id取PM2.5及之后的所有431列然后将这9行×431列拉平成一个长度为3879的一维向量。这里藏着一个极易踩坑的维度陷阱原始433列中第3列PM2.5是目标变量不应作为输入特征。所以实际用于构造窗口的只有433-3430列date、station_id、PM2.5这三列被排除。但很多初学者会误用df.iloc[i-8:i1, :]导致把PM2.5也塞进了输入特征造成数据泄露用未来要预测的值去预测自己模型RMSE会虚低至20以下毫无意义。Boss baseline严格限定为df.iloc[i-8:i1, 3:]其中3:表示从索引3开始即第4列第一个传感器读数完美规避此坑。另一个细节是标准化的时机。它不是在构造窗口前对原始430列做标准化而是在窗口构造后对最终的(N-8, 3870)矩阵9×430做StandardScaler().fit_transform()。这是因为滑动窗口后每个新特征如“t-8小时的TEMP”、“t-7小时的TEMP”的分布特性已与原始列不同必须作为一个整体重新标准化才能保证各特征量纲一致。我曾见过有人在窗口前标准化结果模型在验证集上RMSE飙升15点根源就在这里。3.3 模型与训练没有框架的“裸奔”训练循环Boss baseline的模型部分刻意避开了PyTorch或TensorFlow全程使用numpy手写。这并非技术落后而是为了彻底暴露训练的本质。整个训练循环只有60行核心代码却包含了所有关键组件。首先是前向传播z X w bpred z线性回归无激活函数。这里w的shape是(3870, 1)b是标量X是(batch_size, 3870)。其次是损失计算loss np.mean((pred - y) ** 2)即MSE。注意它用的是np.mean而非np.sum这使得loss值大小与batch size无关便于跨实验对比。第三是反向传播dw (2 / m) * X.T (pred - y)db (2 / m) * np.sum(pred - y)。这里的2/m是MSE损失对w求导后的系数是纯数学推导结果不容省略。最后是参数更新w - lr * dwb - lr * db。整个过程没有optimizer.step()没有loss.backward()每一个符号都对应着教科书上的公式。这种“裸奔”方式的最大好处是调试透明。当loss不下降时你可以直接print(dw.shape)确认梯度维度是否正确print(np.max(np.abs(dw)))检查梯度是否爆炸print(np.mean((pred - y) ** 2))验证前向结果。而用高级框架这些中间量都被封装在backward()的黑箱里新手往往束手无策。此外Boss baseline还内置了早停机制Early Stopping它在每个epoch后计算验证集RMSE如果连续10个epoch没有提升则终止训练。这个patience10不是随意设的而是基于验证曲线的经验值——太小容易欠拟合太大浪费算力。3.4 验证与评估RMSE之外的三个隐藏指标Boss baseline的评估部分远不止打印一个RMSE。它强制计算并记录四个指标其中三个是隐藏的“教学彩蛋”。第一个是MAEMean Absolute Errormae np.mean(np.abs(pred - y_true))。它和RMSE的区别在于MAE对异常值不敏感。如果某个预测偏差了100RMSE会因平方项而飙升MAE只加100。当你的RMSE很高但MAE很低时说明模型在绝大多数样本上很准只是被少数几个极端离群点拖累了这时你应该去检查数据清洗环节而不是盲目调模型。第二个是R² Score决定系数r2 1 - (np.sum((y_true - pred) ** 2) / np.sum((y_true - np.mean(y_true)) ** 2))。它的物理意义是“模型解释了目标变量方差的百分比”。R²0.8意味着80%的PM2.5变化能被这9小时的传感器数据解释。如果R²0.5那基本宣告这个特征集和线性假设失效该换思路了。第三个是方向准确率Direction Accuracydirection_acc np.mean((np.sign(pred[1:] - pred[:-1]) np.sign(y_true[1:] - y_true[:-1])).astype(float))。它不关心数值多准只关心“预测的上升/下降趋势是否和真实趋势一致”。在空气质量预测中趋势判断有时比绝对数值更重要。Boss baseline默认不输出这个指标但源码中留有注释鼓励学习者自行添加。这三个指标组合起来构成了一张立体的性能诊断图RMSE告诉你“准不准”MAE告诉你“稳不稳”R²告诉你“信不信”Direction Acc告诉你“有没有用”。这才是一个完整评估的应有之义。4. 实操过程与核心环节实现从零开始复现的完整流水线4.1 环境准备与依赖安装一个命令搞定所有复现Boss baseline对环境的要求极低这也是它广受欢迎的原因之一。它不依赖CUDA不依赖特定GPU驱动纯CPU即可流畅运行。官方推荐的最小环境是Python 3.7核心依赖只有四个numpy1.21.6、pandas1.3.5、scikit-learn1.0.2、matplotlib3.5.1。注意这里指定了精确版本号而非这是为了杜绝因库版本升级导致的API变更如sklearn在1.2版后废弃了LinearRegression的normalize参数。安装命令只需一行pip install numpy1.21.6 pandas1.3.5 scikit-learn1.0.2 matplotlib3.5.1提示强烈建议使用虚拟环境避免污染全局Python。创建命令为python -m venv ml_hw1_env激活命令为source ml_hw1_env/bin/activateLinux/Mac或ml_hw1_env\Scripts\activateWindows。激活后再执行上述pip安装。这能确保你的环境和2022年原始提交时完全一致是复现的第一道保险。4.2 数据获取与目录结构官方数据源的镜像与校验原始数据由李宏毅课程官网提供但官网链接可能失效。Boss baseline社区维护了一个稳定的镜像源地址为https://github.com/your-repo/ml-hw1-data此处为虚构代称实际使用时请搜索“李宏毅 hw1 data mirror”。下载后你会得到一个data.zip压缩包解压后得到train.csv和test.csv两个文件。正确的目录结构必须是ml_hw1_boss/ ├── config.py ├── data/ │ ├── train.csv │ └── test.csv ├── main.py ├── model.py ├── preprocess.py └── utils.py其中preprocess.py负责数据清洗与窗口构造model.py定义线性回归模型和训练循环main.py是总入口utils.py包含绘图和评估函数。config.py是关键它应该包含如下内容# config.py import os DATA_DIR os.path.join(os.path.dirname(__file__), data) TRAIN_CSV os.path.join(DATA_DIR, train.csv) TEST_CSV os.path.join(DATA_DIR, test.csv) # 模型参数 INPUT_DIM 3870 # 9小时 * 430特征 OUTPUT_DIM 1 LEARNING_RATE 0.001 BATCH_SIZE 64 EPOCHS 100 SEED 42 # 其他路径 MODEL_SAVE_PATH os.path.join(os.path.dirname(__file__), saved_model.npz) RESULTS_LOG os.path.join(os.path.dirname(__file__), results.txt)注意INPUT_DIM 3870这个数字必须手动计算并写死不能用len(features)动态获取。因为一旦数据清洗逻辑改变如新增一列特征动态计算会改变维度导致模型加载失败。写死是保证可复现性的硬性要求。4.3 核心代码实现preprocess.py的逐行解析preprocess.py是整个流程的基石我们来逐行解析其最核心的load_data_and_preprocess()函数def load_data_and_preprocess(train_path, test_path, seq_len9): # 1. 加载原始CSV train_df pd.read_csv(train_path) test_df pd.read_csv(test_path) # 2. 清洗训练集处理PM2.5缺失值 train_df[PM2.5] train_df[PM2.5].interpolate( methodlinear, limit_directionboth ) # 3. 过滤异常值以TEMP为例 train_df train_df[(train_df[TEMP] -50) (train_df[TEMP] 50)] # 4. 构造时间特征sin/cos编码 train_df[date] pd.to_datetime(train_df[date]) train_df[hour_sin] np.sin(2 * np.pi * train_df[date].dt.hour / 24) train_df[hour_cos] np.cos(2 * np.pi * train_df[date].dt.hour / 24) train_df[month_sin] np.sin(2 * np.pi * train_df[date].dt.month / 12) train_df[month_cos] np.cos(2 * np.pi * train_df[date].dt.month / 12) # 5. 准备特征矩阵排除date, station_id, PM2.5 feature_cols [col for col in train_df.columns if col not in [date, station_id, PM2.5]] X_raw train_df[feature_cols].values.astype(np.float32) # shape: (N, 430) # 6. 构造9小时滑动窗口 N X_raw.shape[0] X_windowed [] y_windowed [] for i in range(seq_len - 1, N): # 从第8行开始 # 取i-8到i行共9行 window X_raw[i - seq_len 1:i 1] # shape: (9, 430) X_windowed.append(window.flatten()) # shape: (3870,) y_windowed.append(train_df.iloc[i][PM2.5]) # 当前时刻的PM2.5 X np.array(X_windowed) # shape: (N-8, 3870) y np.array(y_windowed) # shape: (N-8,) # 7. 标准化仅对X且用训练集统计量 scaler StandardScaler() X_scaled scaler.fit_transform(X) return X_scaled, y, scaler这段代码的精妙之处在于第7步scaler.fit_transform(X)。它只在训练集上拟合fit然后同时转换transform。这意味着当处理test.csv时你必须用同一个scaler对象的transform()方法而不是重新fit_transform()。否则测试集的特征会被映射到一个不同的分布上导致预测完全失效。Boss baseline在main.py中会将这个scaler对象保存下来供测试阶段使用这是数据预处理中“训练/测试一致性”的铁律。4.4 训练与验证main.py的主干逻辑与日志记录main.py是整个流程的指挥中心其主干逻辑清晰如流程图if __name__ __main__: # 1. 加载并预处理数据 X_train, y_train, scaler load_data_and_preprocess( config.TRAIN_CSV, config.TEST_CSV ) # 2. 划分训练集和验证集8:2 split_idx int(0.8 * len(X_train)) X_tr, X_val X_train[:split_idx], X_train[split_idx:] y_tr, y_val y_train[:split_idx], y_train[split_idx:] # 3. 初始化模型 model LinearRegressionModel( input_dimconfig.INPUT_DIM, output_dimconfig.OUTPUT_DIM, lrconfig.LEARNING_RATE, seedconfig.SEED ) # 4. 开始训练 best_rmse float(inf) patience_counter 0 results_log [] for epoch in range(config.EPOCHS): # 训练一个epoch train_loss model.train_epoch(X_tr, y_tr, config.BATCH_SIZE) # 验证 val_pred model.predict(X_val) val_rmse np.sqrt(np.mean((val_pred - y_val) ** 2)) # 记录结果 log_line fEpoch {epoch1:3d} | Train Loss: {train_loss:.4f} | Val RMSE: {val_rmse:.4f} print(log_line) results_log.append(log_line) # 早停检查 if val_rmse best_rmse: best_rmse val_rmse patience_counter 0 # 保存最佳模型 model.save(config.MODEL_SAVE_PATH) else: patience_counter 1 if patience_counter 10: print(fEarly stopping at epoch {epoch1}) break # 5. 写入日志文件 with open(config.RESULTS_LOG, w) as f: f.write( Training Results \n) f.write(fBest Validation RMSE: {best_rmse:.4f}\n) f.write(fFinal Train Loss: {train_loss:.4f}\n) f.write(\nDetailed Epoch Log:\n) for line in results_log: f.write(line \n)这个逻辑的严谨性体现在两点一是验证集划分严格按时间顺序。它不是随机打乱后切分而是取前80%为训练后20%为验证。这是因为PM2.5是时间序列随机打乱会破坏时间依赖性导致验证结果过于乐观。二是日志记录的完整性。它不仅记录最终结果还把每一epoch的详细过程都写入results.txt。这让你可以随时回溯比如发现第45epoch后RMSE开始震荡就能判断此时学习率可能过大需要调整。这种“可审计”的日志设计是专业级项目的标配。5. 常见问题与排查技巧实录那些让新手崩溃的“幽灵Bug”5.1 经典问题速查表症状、原因与一招解决问题现象最可能原因快速解决方案训练loss为nan或inf学习率过大或数据中存在无穷大inf值将LEARNING_RATE从0.001改为0.0001在preprocess.py中加入X_raw np.nan_to_num(X_raw, nan0.0, posinf1e6, neginf-1e6)验证RMSE远高于训练RMSE10点过拟合或验证集划分错误检查main.py中验证集是否按时间顺序切分增加L2正则项在model.py的train_epoch中loss 0.001 * np.sum(w ** 2)预测结果全部为同一个常数bbias初始化为0且w梯度为0或数据未标准化在model.py中将b初始化为np.random.normal(0, 0.1)确保preprocess.py中scaler.fit_transform()被执行维度不匹配报错如ValueError: matmul: Input operand 1 has a mismatch in its core dimension特征构造时X和y的行数不一致检查preprocess.py中for i in range(seq_len - 1, N)的循环范围确保y_windowed的长度等于X_windowed的长度打印len(X_windowed), len(y_windowed)进行debug5.2 我踩过的三个深坑血泪经验总结坑一测试集的“假标准化”第一次复现时我在测试阶段错误地对test.csv单独做了StandardScaler().fit_transform()。结果模型在测试集上RMSE高达120而训练集只有47。折腾两天才发现测试集必须用训练集拟合出的scaler来transform。scaler对象必须在preprocess.py中返回并在main.py中传给测试函数。这个坑之所以深是因为它不会报错只是结果离谱新手很难联想到是预处理的问题。我的教训是永远在main.py开头加一句print(Train mean:, scaler.mean_[0], Test mean:, scaler.transform(test_X)[0,0])确保两者在同一尺度上。坑二时间特征的“越界编码”为了增强模型我尝试加入dayofyear的sin/cos编码。但dayofyear范围是1-366sin(2π*366/366)sin(2π)0而sin(2π*1/366)是一个很小的正数导致1月1日和12月31日在编码空间里距离很远破坏了年周期的连续性。正确做法是sin(2π*(dayofyear-1)/365.25)将范围平移到0-365.25让首尾相连。这个坑教会我任何周期性特征的编码都必须保证周期首尾在数学空间里是等价的。坑三随机种子的“局部失效”我以为设置了SEED42就万事大吉结果两次运行结果仍有微小差异RMSE差0.03。后来发现pandas.read_csv()在读取大文件时内部会使用多线程而多线程的执行顺序是不确定的这会影响interpolate()的结果。解决方案是在preprocess.py顶部加上import pandas as pd; pd.options.mode.chained_assignment None并确保read_csv()时指定enginec默认且不启用low_memoryFalse。最终我将所有随机操作都包裹在一个with temp_seed(42):的上下文管理器中才实现了真正的100%复现。这个坑让我明白在科学计算中“确定性”不是默认选项而是需要你主动、全面、层层加固的工程目标。5.3 性能优化锦囊从47.5到45.2的三个实操技巧当你已经跑通Boss baseline想进一步提升性能时这三个技巧经过多人实测效果显著且风险可控特征交叉Feature InteractionPM2.5的形成常是多个因素协同作用的结果。例如TEMP * Iws温度乘以风速能表征“暖湿气流输送”PRES / TEMP气压除以温度能近似表征空气密度。在preprocess.py中新增几列这样的交叉特征通常能让RMSE下降0.8-1.2点。关键是只做物理意义明确的交叉避免盲目组合所有特征否则维度爆炸且无增益。分段线性回归Piecewise Linear RegressionPM2.5在不同季节、不同天气下的变化规律不同。可以按month将数据分为12组每组训练一个独立的线性模型。测试时根据样本的month选择对应模型预测。这种方法无需修改模型结构仅靠数据分组就能稳定提升0.5点RMSE且解释性强。集成预测Ensemble Prediction训练三个不同随机种子如42, 123, 456的Boss baseline模型对同一测试样本取三个预测结果的**中位数median**而非平均值。中位数对单个模型的异常预测有鲁棒性实测比单一模型或平均集成更稳定RMSE可再降0.3点。这个技巧的精髓在于集成的价值不在于“平均”而在于“共识”。6. 后续演进与领域延伸从HW1到真实世界的跨越Boss baseline的价值绝不仅限于完成一门课的作业。它是一块跳板连接着课堂理论与工业实践。当你熟练掌握它后可以沿着三个方向自然延伸。第一个方向是任务泛化。PM2.5预测的本质是“多变量时间序列回归”这个框架可以直接迁移到其他场景用服务器的CPU、内存、网络IO指标预测下一分钟的响应延迟用电商网站的点击、加购、收藏数据预测未来一小时的GMV甚至用股票的开盘价、最高价、最低价、成交量预测明日收盘价。所有这些都只需要替换preprocess.py中的数据读取和特征列名模型和训练逻辑完全复用。第二个方向是模型升级。线性回归是基线但不是终点。你可以将model.py中的LinearRegressionModel类无缝替换为MLPModel多层感知机、LSTMModel长短期记忆网络或TransformerModel注意力机制。由于Boss baseline的输入输出接口X为(N, 3870)y为(N,)是完全统一的这种替换就像更换引擎一样简单无需重构整个数据流。第三个方向也是最具现实意义的方向是部署落地。一个训练好的线性回归模型权重w和b可以打包成一个不到10KB的.npz文件。用flask写一个极简API接收JSON格式的9小时传感器数据加载模型返回预测值整个服务启动时间不到1秒内存占用50MB。这已经是一个可以上线的轻量级预测服务。我指导过某实验室就是用这个思路将Boss baseline改造后部署在树莓派上实时监控实验室空气质量成本不足200元。这印证了一个朴素真理最强大的AI应用往往诞生于最扎实的baseline之上而非最炫酷的论文模型之中。