我刚开始接触机器学习那会儿第一个真正跑通的模型就是线性模型。那时候用的是线性回归看着输出终端里打印出来的损失值一步一步往下降我盯着屏幕愣了好几秒心里想的是“原来电脑真的能靠数据自己找规律”。后来陆续学了逻辑回归、支持向量机、神经网络才慢慢意识到线性模型之所以几乎被所有入门教程放在第一课不是因为它简单而是因为它是理解整个机器学习训练流程的最佳切片。回归、优化、评估、过拟合、特征工程这些概念在别的模型里会被层层抽象掩盖掉但在线性模型里每一步都摆在你面前看得见也摸得着。这篇笔记就是我当时学习过程的一个总结围绕线性回归和逻辑回归两条主线把最小二乘、损失函数、梯度下降、特征处理、模型评估、常见踩坑全部过一遍。适合刚入门的读者也适合那些“看了不少教程但还没完整跑通一遍”的同学——如果你能跟着把代码手动敲一遍后面学树模型和神经网络会顺畅很多。1. 整体设计与思路拆解1.1 线性模型到底在解决什么问题线性模型的核心假设很朴素输入特征和输出目标之间近似存在一条直线或超平面关系。回归任务里我们希望找到一组权重 w 和截距 b让 f(x) w·x b 尽可能贴近真实的 y分类任务里我们希望找到一个线性决策边界把不同类别的样本分开。这个思想放到生活里很好理解。比如你根据“学习时长”预测“考试成绩”如果二者大致成正比那一条直线就够了预测结果到了某个阈值就是“及格”和“不及格”这就变成了分类。线性模型做的事情本质上是把“找规律”这个模糊的诉求转化成“调参数”这个具体的数学问题。我见过不少初学者一上来就啃深度学习那些复杂的结构结果反而把基础概念搅成一锅粥。线性模型的价值恰恰在于它不藏东西模型内部的参数直接对应每个特征的权重预测过程就是一次加权求和。没有神秘的中间层没有黑盒机制数学上怎么算的代码里就是怎么写的这对建立正确的直觉非常重要。1.2 为什么我建议你先把线性模型吃透我不止一次跟身边的朋友说线性模型值得你花两周时间去反复折腾原因有三条。第一它是后续所有模型的逻辑基石。支持向量机的核函数技巧是在线性分类器上发展出来的神经网络的最后一层通常就是一个线性分类器很多树模型的特征重要性解释思路也和线性权重有相似的逻辑。你把线性模型里的参数更新过程搞明白后面看那些复杂模型的训练流程会有一种“原来还是这一套”的豁然开朗感。第二线性模型的可解释性极强这在真实业务里极其宝贵。比如某公司要分析哪些因素影响用户留存模型训练出来之后你直接看权重系数就能向业务方解释“使用时长每增加10分钟留存概率提升多少多少”。换成深度神经网络你很难给出这么直接的解释。在风控、医疗、金融这些合规要求高的场景线性模型至今仍然占着一席之地不是因为它落后而是因为它能把决策依据摊在桌面上。第三线性模型的训练过程会完整暴露机器学习的通用问题欠拟合、过拟合、学习率调不好、梯度消失虽然在线性模型里不常见、数据分布不一致、评估指标选择错误。这些问题你在线性模型里都遇到一遍并且解决过后面做任何模型心里都有底。换句话说线性模型是一个完美的“演练场”成本低反馈快适合犯错也适合从错误里学到东西。2. 核心概念拆解损失函数、最小二乘与梯度下降2.1 损失函数怎么判断“预测得好不好”没有损失函数模型就没有评价标准也就不知道该怎么调整参数。线性回归里最常用的损失函数是均方误差MSE[ L(w, b) \frac{1}{m} \sum_{i1}^{m} (y_i - (w \cdot x_i b))^2 ]这个公式看着有点吓人读出来其实就是一句话把所有样本的预测值与真实值的差平方一下再取平均。为什么要平方而不是直接取绝对值因为平方之后误差大的样本会被放大得更明显这样优化过程会优先集中火力解决那些偏差很大的样本。而且平方函数是光滑可导的后面求梯度很方便——绝对值函数在零点不可导会让参数更新变得麻烦。用射箭来打比方的话每一支箭预测值离靶心真实值的偏差都会被记录MSE就是所有这些偏差的平均水平。偏差越小MSE越低模型的预测越准。这个“拿一个数字度量好坏”的思路贯穿了所有机器学习算法你后面看到的交叉熵、对数损失、Hinge损失本质上都是在做同一件事定义一种目标函数告诉模型往哪儿使劲。我刚开始学习的时候犯过一个直觉上的错误以为损失函数越小越好于是把训练集上的MSE压到接近零就觉得自己大功告成了。后来测测试集才发现完全不是那么回事——这就是过拟合最典型的形态后面我会专门讲怎么排查。2.2 最小二乘法直接算出最优参数的“正规方程”线性回归的一个特别之处在于它的优化问题存在解析解。也就是说不需要一遍遍地迭代试探可以直接通过数学公式一步算出来最优的 w 和 b。这种方法叫做最小二乘法背后的逻辑就是把损失函数对 w 和 b 分别求导令导数为零得到一个线性方程组解出来就是最优参数。这个解法的意义不仅是“快”更重要的是它给了我们一个看待机器学习的新视角当模型足够简单、样本量足够多时最优参数本质上是数据统计特征的直接计算。比如一元线性回归的最优斜率 w 和截距 b公式可以化简成[ w \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} ]直观理解分子衡量的是 x 和 y 一起变化了多少协方差分母衡量的是 x 自己变化了多少方差。如果 x 和 y 完全不相关分子接近零w 也就接近零说明 x 对 y 没有预测能力。这个逻辑你掌握了后面理解特征重要性、相关性分析都会顺畅很多。但需要提醒的是最小二乘的解析解依赖矩阵求逆正规方程当特征数量特别多比如上万维时矩阵求逆的代价会高到无法接受。而且一旦引入正则化或非线性变换解析解就不一定存在了。所以现代机器学习算法框架里梯度下降才是更通用的优化手段最小二乘是线性回归专属的“开挂”方案用来理解原理非常完美用来做通用方案则捉襟见肘。2.3 梯度下降用“下山”来理解参数更新梯度下降是机器学习优化算法的基石我当年第一次看这个名词完全没概念后来一位老师用下山来打比方一下子就通了。想象你站在一座山的某个位置周围一片漆黑但你能感觉到脚下地面的坡度。你要走到山谷损失最小点最靠谱的办法就是沿着坡度最陡的方向往下走一步然后重新感觉坡度再走一步反复迭代。这个“感觉坡度”的动作数学上就是计算梯度。梯度是一个向量指向的是函数值上升最快的方向。所以要下山我们就必须沿着梯度的反方向更新参数写成公式是[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w} ]这里的 η 就是学习率决定了每一步走多大。学习率设太大你可能会跨过山谷跑到对面的山坡上去来回震荡永远到不了谷底学习率设太小每步只挪一点点迭代几千次还离谷底很远浪费时间。找一个合适的学习率就像找一个“既不会太快冲过去也不会太慢原地踏步”的步幅是一个需要经验去平衡的活。严格说梯度下降还分批量梯度下降、随机梯度下降和小批量梯度下降三种。批量梯度下降每次用全部样本计算梯度方向准确但计算量大随机梯度下降每次只用一条样本速度快但路径曲折噪声大小批量梯度下降每次用一小批样本是工程实践中最常用的折中方案。入门阶段用批量梯度下降理解原理用代码把梯度算出来后面再切换到更高效的做法就顺理成章了。关于编程实现刚开始一定要手写一遍梯度下降哪怕只是在一元的玩具数据上跑。这比直接调用现成框架的学习效果要好得多因为只有你亲手把梯度的每个符号对应到代码里才能真正建立起“参数对损失函数方向性影响”的直觉。我在第 4 节会给出完整的可运行代码。3. 实操要点数据、特征和评估3.1 特征标准化这样处理模型才跑得动线性模型对特征的量纲非常敏感。假设我们要用“年龄”和“年收入”两个特征预测消费水平年龄的取值范围是 0 到 100年收入的范围可能是 0 到几十万。这两个特征直接放进模型模型会认为年收入更重要——因为同样的参数变化在收入特征上造成的预测差异更大。这不是模型学错了而是量纲天然给特征赋予了不对等的“初始地位”。解决方案是标准化StandardScaler把每个特征变成均值 0、方差 1 的分布。或者用归一化MinMaxScaler把取值范围压缩到 0 到 1 之间。对线性模型来说标准化的好处不止是让特征地位公平更重要的是在梯度下降时能有效加速收敛。想象一个参数平面的等高线在某个方向被拉得极扁下山路径会走成锯齿状步步都踩不到正点上标准化之后等高线更接近圆形下山路径直直指向谷底。实际操作里有一个细节经常被忽略标准化要放在划分训练集和测试集之后并且只能用训练集的数据计算均值和标准差再把这个均值和标准差应用到测试集上。如果你用全量数据做标准化再划分测试集的信息相当于在训练阶段就被模型“偷看”过了这样评估出来的性能会虚高。这个错误很隐蔽新手几乎都会踩我自己就踩过。3.2 特征共线性参数不稳定背后的隐形杀手线性模型的参数解释性强但前提是特征之间不能太“互相依赖”。如果两个特征高度相关比如“体重”和“BMI”换个说法两个本质上同源的量模型就无法稳定地给它们分配权重。这次训练出来体重系数是 0.8、BMI 系数是 0.1下次数据抖动一下可能变成体重 0.1、BMI 0.8预测效果差不多但单看系数的解释意义就完全乱了。检测共线性的一个常用指标是方差膨胀因子VIF当某个特征的 VIF 超过 10就要警惕了。处理办法一般是三个方向直接删除其中一个强相关特征把相关特征做一个加权组合降维成新特征或者引入正则化让参数不至于剧烈波动。我之前在某公司的数据部门做过一个用户画像的案例当时建模时没有查相关性模型的 R² 看起来不错但特征权重完全不符合业务常识业务方根本不接受。后来把强相关的特征合并处理权重才变得合理模型才真正落地。这个问题在图像、文本等高维数据里反而没那么突出因为特征数量太多往往通过正则化去控制。但在表格型数据、业务建模这种“每个特征都有含义”的场景里共线性是你必须认真处理的一关。入门阶段就养成画相关性热力图、检查 VIF 的习惯后面做任何结构化数据项目都会受益。3.3 评估指标选择回归和分类要分开看很多入门项目跑到最后打印一个准确率就觉得完事了但真实情况下指标选错会得出完全相反的结论。回归任务里最常用的指标是 MSE、RMSE、MAE 和 R²它们各有侧重MSE 是均方误差对大误差敏感RMSE 是 MSE 开根号单位跟原始数据一致更好解释MAE 是平均绝对误差不受大误差过度影响R² 衡量模型对总方差的解释比例取值范围接近 1 说明拟合效果好负值说明模型表现还不如直接用均值预测。四个指标没有绝对好坏关键看场景。比如预测房价你想知道平均偏差多少万元用 MAE 更直观如果错误特别大的样本会导致严重损失那就用 RMSE因为它会惩罚那些极端偏差。分类任务的指标则要看正负样本是否均衡。准确率Accuracy在样本均衡时有用但如果 95% 的样本都是“正常”状态模型全部预测“正常”准确率就有 95%看起来很好却什么都预测不了。这时候要同时看精确率Precision、召回率Recall和 F1 分数。举一个极端的例子假设要做欺诈交易检测真实的欺诈样本只占 1%。如果你只看准确率模型只要把所有交易都判成“正常”准确率就是 99%但这个模型毫无价值。这时候我们更关心的是那 1% 的欺诈有没有被抓出来所以召回率更重要。而召回率提得太高又可能把大量正常交易误判为欺诈给用户带来糟糕体验所以又要结合精确率看。把这两个指标理解了你才算真正在“评估模型”而不是“凑数字”。4. 实操过程与核心环节实现4.1 从零实现线性回归手写梯度下降并理解每一步为了让训练过程暴露在眼前我建议入门阶段不要太早调库里的 LinearRegression而是自己先写一遍梯度下降。下面这段代码是我最喜欢的教学版本数据是用公式加噪声合成的规律清晰便于验证结果是否和理论一致。import numpy as np import matplotlib.pyplot as plt # 构造模拟数据真实规律 y 2.5x 1.2加上随机噪声 np.random.seed(42) X np.random.uniform(0, 4, (120, 1)) y 2.5 * X[:, 0] 1.2 np.random.normal(0, 0.6, 120) # 定义损失函数和梯度 def mse_loss(y_true, y_pred): return np.mean((y_true - y_pred) ** 2) def gradient_descent(X, y, lr0.01, epochs500): m len(y) w 0.0 b 0.0 loss_history [] for _ in range(epochs): y_pred w * X[:, 0] b dw (-2 / m) * np.dot(X[:, 0], (y - y_pred)) db (-2 / m) * np.sum(y - y_pred) w - lr * dw b - lr * db loss_history.append(mse_loss(y, y_pred)) return w, b, loss_history w, b, loss_history gradient_descent(X, y, lr0.05, epochs300) print(学习到的 w, w) print(学习到的 b, b)跑完之后你会看到学习出的 w 和 b 分别接近 2.5 和 1.2和构造数据时设定的值吻合。这就是“模型学到了数据规律”的最直观证明。我强烈建议打印一下每次迭代的 loss_history 并画出来正常情况下它是一条不断下降最后平缓的曲线。如果曲线剧烈震荡说明学习率太大如果下降非常缓慢说明学习率太小。这个图能让你在 10 分钟之内建立起对学习率这个抽象概念的直觉。这里还有一个在公式推导时很容易错位的细节梯度 dw 前面的系数是负的-2/m这是因为损失函数对 w 的偏导本来就带着负号而梯度下降又要在前面加一个负号两个负号叠加后最终 w 的更新方向才是沿着损失下降的方向。新手如果手推的时候把符号搞反会发现参数越更新损失越大模型快速发散到无穷。碰到这种情况第一反应应该就是检查梯度符号我在给朋友辅导时至少有一半的“训练失败”案例都出在这个地方。4.2 用 Scikit-learn 走一遍标准建模流程自己手写过一遍梯度下降之后就可以用现成框架来实践标准流程了。Scikit-learn 的 API 设计得很统一fit、predict、score 三步走但流程中的物料准备才是真正体现工程素养的地方。from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, r2_score # 切分训练集与测试集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 标准化先 fit 训练集再 transform 测试集 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 训练与评估 model LinearRegression() model.fit(X_train_scaled, y_train) y_pred model.predict(X_test_scaled) print(MSE:, mean_squared_error(y_test, y_pred)) print(R²:, r2_score(y_test, y_pred))这套流程表面上只有短短的几行但每一步都有讲究。先说 train_test_split 的 random_state 参数固定这个随机种子后每次划分得到的数据集完全一致。这是可复现实验的基础不然你每次跑代码结果都不一样根本没法判断改动是因为模型改善了还是因为运气好。我在学习初期没有固定随机种子调参时看到一堆无法解释的误差波动排查了半天才发现是数据划分在变。再强调一遍标准化的时序先划分再标准化且只 fit 训练集。这里我再次提醒是因为这个坑真的太容易踩了用全量数据的均值和标准差去归一化然后用同一份数据评估测试集的信息被无意中引入训练过程评估结果会虚高。重视这一点后面做模型验证时才不会骗了自己。4.3 从回归到分类逻辑回归到底改了什么线性回归解决了连续值预测但现实中大量场景是分类问题。逻辑回归在线性回归的基础上加了一个 Sigmoid 函数把线性输出压缩到 0 到 1 之间解释为属于某一类的概率。从模型预测的角度看其实改动很小但从损失函数的角度看是一次质的变换逻辑回归不再用均方误差而采用对数损失原因是 Sigmoid 叠加 MSE 之后函数变成了非凸的梯度下降极易陷入局部最优而对数损失恰好能保证训练稳定的凸优化性质。下面给一个用逻辑回归解决二分类问题的完整示例from sklearn.datasets import make_classification from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, classification_report, confusion_matrix # 生成一个二分类数据集 X_clf, y_clf make_classification( n_samples500, n_features2, n_informative2, n_redundant0, n_clusters_per_class1, random_state42 ) X_train, X_test, y_train, y_test train_test_split( X_clf, y_clf, test_size0.2, random_state42 ) clf LogisticRegression(C1.0, solverlbfgs) clf.fit(X_train, y_train) y_pred clf.predict(X_test) print(准确率:, accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))逻辑回归输出的直接概率值也让它天然适合做排序类任务。比如在推荐系统里你不是只想知道用户会不会点而是想给候选物品排个序逻辑回归输出的概率就可以直接作为排序分数。我见过不少刚入门的人以为逻辑回归只能输出一个“是/否”的标签忽视了 predict_proba 的存在其实很多时候概率结果比标签更有价值。在代码里尝试调用 clf.predict_proba(X_test)你会看到每一行的输出是两个概率值排序逻辑就建立在这个基础上。4.4 正则化参数怎么选L1 与 L2 的取舍线性模型的正则化是另一种防止过拟合的利器它的做法是在损失函数后面加一个“对参数大小的惩罚项”。这样就引入了一个新问题模型不再只看预测准不准还要看参数长得“拗不拗”。L2 正则化岭回归惩罚的是参数平方和效果是让所有参数都往零的方向收缩但不等于零L1 正则化Lasso惩罚的是参数绝对值之和效果更激进会把一些无关特征压缩到精确的 0天然具备特征选择能力。写一个简单对照方便落地时选型正则化类型惩罚项参数变化适用场景L2岭回归λ × Σw²参数收缩但不为零特征间存在共线性、希望保留所有特征L1Lassoλ × Σ|w|部分参数精确为零特征数量多、需要稀疏特征选择弹性网络L1 L2 组合兼顾收缩与稀疏特征多且高度相关时效果更稳定正则化强度的超参数在 Scikit-learn 里回归由 alpha 控制逻辑回归由 C 控制但要注意方向相反alpha 越大惩罚越重C 越大惩罚越轻。初学者经常把 C 调大调小弄反记住 C 本质是“对误差的宽容度”就不容易搞错了。超参数不能靠拍脑袋定基本流程是把候选值排成一个序列比如 {0.01, 0.1, 1, 10}然后对每个值做交叉验证看验证集上的平均表现选最优的那个。这个流程就是网格搜索是调参的基本功。5. 踩坑与排查技巧实录5.1 训练不收敛先检查这三个地方我见过太多新手在训练过程中遇到 loss 曲线飞上天或者原地不动的情况直接怀疑数据集有问题其实是基础配置出错了。按照出现频率排序第一是梯度符号写错这会让参数一轮一轮往错误方向更新loss 越跑越大发散到无穷第二是特征没有归一化特别是特征量纲差距大的时候梯度的数值跨度极大固定学习率很容易震荡第三是学习率不合理过高会导致越过最优点反复震荡过低会导致几百轮迭代 loss 几乎不变像没在学。排查思路应该像一个有经验的医生先看 loss 曲线形态再下结论。loss 一开始下降然后震荡试试把学习率除以 10loss 一直不变但数值很大检查是不是把梯度的符号写反了loss 一直很平但初始值也很小可能参数初始化位置就不好多试几种随机种子。我在实际项目里见过一次有意思的情况loss 看起来在下降但测试集的误差却越来越大排查到最后发现是训练数据和测试数据用了不同的预处理逻辑导致测试时特征被缩放了两次。这类问题不看原始代码是猜不到的所以写代码时一定要把预处理封装成统一函数别手忙脚乱地写两遍。再补一条小技巧在训练循环里把每个 epoch 的 loss 每隔一定次数打印出来不要每轮都打印否则输出终端刷屏严重反而看不清趋势。设置成每 50 轮打印一次既能观察曲线又不至于被日志淹没。5.2 欠拟合与过拟合的判断策略与应对欠拟合和过拟合的表现形态完全相反但很多人把两者搞混。欠拟合对应训练集和测试集误差都高模型根本没学到规律通常是模型容量不够或者特征质量太差过拟合对应训练集误差很低、测试集误差明显偏高模型把训练数据里的噪声和个别样本的细节都背下来了失去了泛化能力。判断方法很简单分别看训练集和验证集的误差。如果两者都高是欠拟合对策是增加特征、引入非线性变换比如多项式特征、换更强的模型如果训练集低但验证集高是过拟合对策是加正则化、减少特征、增加样本量、降低模型复杂度。很多人一看到测试集效果不好就拼命加正则化如果本质是欠拟合正则化只会让情况更糟所以先判断类型再开药方千万别省这一步。我建议入门阶段画一张“训练误差 vs 验证误差随着训练轮数变化”的曲线这个过程能非常直观地看到过拟合是从哪一刻开始的训练误差持续下降验证误差先下降再上升那个拐点就是模型开始“背题”的时刻。理解了这张图你对偏差-方差权衡这个概念的理解会超过不少工作多年的人。5.3 线性模型的边界特征工程是救命的稻草线性模型最大的局限在于它只能学习特征和目标之间的线性关系。如果真实规律是曲线比如“估算圆面积”这种典型的 y 与 r² 成正比的问题强行套线性回归会得到一条不那么理想的直线无论怎么调学习率都没用。这时候不要怀疑模型坏了而是要做特征工程把特征从 r 扩展成 r 和 r²线型模型就能拟合抛物线了。Scikit-learn 提供了现成的 PolynomialFeatures 可以自动生成多项式组合特征。from sklearn.preprocessing import PolynomialFeatures poly PolynomialFeatures(degree2, include_biasFalse) X_poly poly.fit_transform(X) model LinearRegression() model.fit(X_poly, y)这段代码的原理其实就是给原来的线性模型增加新的“输入通道”让它能在高维空间里表示出非线性决策面但参数学习过程还和线性模型一模一样。理解这个操作等于理解了核技巧的雏形先升维再线性分类。深度学习里的隐藏层可以自动学习特征表达而线性模型做不到只能靠人工构造输入特征——这个差异也会帮助你理解为什么深度模型在很多场景下那么难以替代。在行业落地上这个思路也有实操价值。某公司做销量预测时直接用日期特征预测销量效果很差后来我建议他们把日期拆出“是否周末”“第几周”“节假日前后多少天”这些人工组合特征线型模型的精度立刻上了一个台阶。特征工程往往是提升模型上限最笨但最有效的手段入门阶段一定要舍得花时间在这个上面。写到最后我想说一点亲身的体会学习线性模型最忌讳的是“看得懂公式、跑不通代码”。公式看再多遍不如自己动手写一次梯度下降代码调通之后再回头去重读公式你会发现那些符号从此都有了画面。建议大家拿到这篇笔记把每一段代码都手动敲一遍改一改数据、调一调学习率把每条曲线和每个参数都亲手调出不同形态这个过程中的困惑和顿悟才是真正属于你自己的收获。