简介围绕 Python 中支持向量机分类模型的三类实现展开的 docx 文档面向已具备 sklearn 基础、希望把 SVM 从公式落实到代码的数据挖掘初学者。内容按三个小节递进SVC 用平面上 8 个点演示线性核建模输出权重 w、截距与支持向量并画出决策边界与两条平行的边缘直线NuSVC 以简单二分类数据展示 nu 参数及 support_、classes_ 的用法LinearSVC 则加载鸢尾花数据集切分训练测试集后完成评分与预测。此外还梳理核函数、支持向量、间隔、C 与 nu 参数等关键概念并给出线性可分数据优先 LinearSVC、非线性数据尝试 SVC 或 NuSVC 的选型提示。包内共 1 个 docx 文件约 179KB代码、注释与运行结果并排呈现便于边读边复现适合作为课堂示例或自学时的随手参照。目前已有 1261 人学习。1. 小样本点到决策边界sklearn.svm 三兄弟怎么选手上只有 8 个二维点想让模型自己画出那条分界线还想把支持向量、间隔边界一并摆在纸面上——这种事用 sklearn.svm 里的支持向量机配一个线性核十几行代码就能做到。跑完之后你能亲眼看到 w、截距和两条虚线之间的距离关系比看十页推导都直观。同一个 sklearn.svm 模块里还包含另外两个实现它们的特性很不一样NuSVC 用 nu 参数直接约束支持向量占比适合这种场景——你对噪声比例心里有数却不想反复试 CLinearSVC 基于 liblinear速度快、适合大样本量是文本分类和特征维度上万时的常见选择。这三个类经常被新手混着调结果就是参数名对不上、评分忽高忽低、换个数据规模就得推倒重来。下面按“先画出来、再读懂参数、最后挑对实现”的顺序走一遍适合已经会 fit/predict、但还没弄清 kernel、C、nu 三者边界的人。2. 从八个点画出一条分界线SVC 线性核的三条线复现2.1 先拿线性核开刀的理由SVM 的二分类几何解释很干净找一个超平面 w·x b 0让两类样本到它的最小距离尽量大。把两类的间隔归一化成 1 之后支持向量就落在 w·x b ±1 这两张“纸”上间隔宽度等于 2/‖w‖训练过程就是在约束下最小化 ‖w‖²/2。线性核的价值在于权重向量 w 是特征空间里的真实法向量可以直接读出来、算出斜率、画到图上中间不存在核函数带来的映射歧义。换成 RBF 核w 会被隐式映射到无穷维空间你拿到的只有dual_coef_和支持向量画不出那条线也解释不了某个特征到底贡献了多少。所以八点这个小例子必须用kernellinear。我见过不少人上来就SVC()默认 RBF然后在 8 个点上得到一条扭曲的曲线还以为模型学得更好——实际上是模型把噪声也记住了样本外预测全靠运气。另外要分清楚 SVC 与 LinearSVC 的定位。SVC 走 libsvm 的对偶求解支持任何核函数适合中小样本、需要核技巧的场景LinearSVC 走 liblinear 的坐标下降只做线性但对样本量和特征维度都不敏感几千行几万列也扛得住。第 4 章会专门量一次两者的差距。2.2 逐行跑通训练、反解斜率、画三条线把原始代码整理成可直接执行的一版加了画图需要的全部变量和一处在原始示例里没有显式写出的细节——间隔边界最好从支持向量反算而不是直接拿intercept_加减 1 再除以 w[1]后者在 w[1] 接近 0 时会数值爆炸。from sklearn import svm import numpy as np import matplotlib.pyplot as plt # 平面上的 8 个点二维特征方便直接画在坐标系里 X [[0.39, 0.17], [0.49, 0.71], [0.92, 0.61], [0.74, 0.89], [0.18, 0.06], [0.41, 0.26], [0.94, 0.81], [0.21, 0.01]] Y [1, -1, -1, -1, 1, 1, -1, 1] clf svm.SVC(kernellinear) # linear 必须小写Linear 会抛 ValueError clf.fit(X, Y) # 8 个点训练耗时可以忽略 w clf.coef_[0] # 权重向量二维w[0] 对应 x 轴w[1] 对应 y 轴 a -w[0] / w[1] # 决策边界 w·xb0 在平面上的斜率 xx np.linspace(0, 1, 50) # 画图用的横轴采样点 yy a * xx - clf.intercept_[0] / w[1] # 由 w·xb0 解出 x2 # 两条间隔边界取首尾两个支持向量过它们作平行线 b clf.support_vectors_[0] yy_down a * xx (b[1] - a * b[0]) c clf.support_vectors_[-1] yy_up a * xx (c[1] - a * c[0]) print(模型参数 w:, w) print(边缘直线斜率:, a) print(支持向量:, clf.support_vectors_) plt.plot(xx, yy, k-) # 决策边界实线 plt.plot(xx, yy_down, k--) # 下间隔边界虚线 plt.plot(xx, yy_up, k--) # 上间隔边界虚线 plt.scatter([s[0] for s in X], [s[1] for s in X], cY, cmapplt.cm.Paired) plt.show()逻辑上分三段。第一段fit完成对偶问题求解得到coef_形状(1, 2)二分类只有一行和intercept_形状(1,)。第二段做几何反解把 w₀x₁ w₁x₂ b 0 移项成 x₂ (-w₀/w₁)x₁ - b/w₁系数a就是屏幕上那条线的斜率截距部分是-intercept_[0]/w[1]。第三段取支持向量首尾两个点套进点斜式得到两条平行线——因为支持向量恰好满足 w·x b ±1过它们作的平行线就是间隔边界。参数上有几个容易忽略的地方。kernellinear之外C默认是 1.0控制对误分类的惩罚强度调小会让间隔变宽、支持向量变多调大则反过来class_weight默认 None样本不均衡时设成balanced会按类别频率自动加权probability默认 False想要predict_proba必须显式打开代价是内部会多跑一次五折交叉验证小数据上看不出几万样本时会明显变慢。运行结果里w大致是[1.0, -1.0]量级斜率接近 1说明两类样本沿着对角线被分开。这和散点图的直觉一致标记为 1 的点集中在左下和右下一带标记为 -1 的在上方一条 45 度左右的线正好切开。2.3 改 C 和换核函数三个立刻能做的对照实验不改数据、只改一个参数是理解 SVM 最快的办法。把C依次设成 0.01、1、100观察三件事支持向量的个数len(clf.support_)、权重w的数值、图上两条虚线的间距。C0.01 时你会发现支持向量几乎覆盖全部 8 个点间隔被拉得很宽个别点已经落到间隔内部C100 时支持向量缩减到两三个间隔收紧模型开始贴着噪声走。这条经验在真实项目里同样成立小 C 抗过拟合、大 C 拟合能力强。换核函数则要看数据。把kernel改成rbf代码里coef_那一行会直接抛AttributeError因为非线性核没有原始空间的权重向量。这个报错本身是个好提醒——一旦你画不出决策边界模型的可解释性就交出去了。实际工程里我的习惯是先跑线性核拿到基线分数和系数如果分数差距明显比如线性 0.78、RBF 0.93再考虑上核函数同时准备好人能看懂的替代解释手段比如置换重要性或者单特征偏依赖。gamma只对rbf、poly、sigmoid生效线性核下传了也不报错只是被忽略。默认scale等价于 1/(n_features × X.var())比老版本的auto稳手工调的时候从默认值上下各取一个数量级试就行。3. NuSVC 的 nu 参数支持向量比例到底怎么约束3.1 nu 与 C 的关系一个管比例一个管惩罚NuSVC 是 SVC 的参数化变体把“惩罚系数 C”换成了“支持向量占比 nu”。理论上 nu 是支持向量占训练样本比例的下界同时是间隔错误样本比例的上界取值落在 (0, 1]默认 0.5。说人话就是nu 越大允许落进间隔内、被当作支持向量的点越多模型越“松”nu 越小模型越倾向于只保留极少数关键点间隔被压窄。它跟 C 不是一一对应的换算关系但方向相反C 越大越紧nu 越大越松。真实项目里我更愿意用 C因为它的量纲和正则化概念对得上调参时容易和逻辑回归那一套经验互借nu 的优势在于你能直接说“我预计有 30% 的样本是不可靠的”把业务判断翻译成参数比盲试 C 更有依据。做异常检测类的边界划分时这个表达力很值钱。需要注意 NuSVC 和 SVC 共用 libsvm 后端同样支持各种核函数同样有support_vectors_、dual_coef_但没有C这个构造参数写了会直接TypeError。反过来 SVC 也没有nu。这类参数名对不上的错误在复制粘贴代码时特别常见。3.2 四个点跑通predict、support_、classes_ 各返回什么原始示例的数据只有 4 个点、2 个特征、2 个类别规模小到可以把每一步的中间结果都打出来看。import numpy as np from sklearn.svm import NuSVC # 两簇点左上、右下各两个标签 1 和 2 X np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]]) y np.array([1, 1, 2, 2]) clf NuSVC(nu0.5, kernelrbf) # nu 默认就是 0.5写出来是为了显式 clf.fit(X, y) print(predict:, clf.predict([[-0.8, -1]])) # 预测单个新样本 print(support index:, clf.support_) # 支持向量在训练集里的下标 print(class label:, clf.classes_) # 模型见到的类别升序排列 print(support vectors:, clf.support_vectors_) # 支持向量本身 print(n_support:, clf.n_support_) # 每个类别的支持向量个数predict返回的是数组而不是标量即使只传一个样本也是array([1])想拿单个值要写clf.predict(...)[0]。support_返回的是下标对应X里的第几行很多人第一次看会误以为是支持向量的坐标结果拿去画图时对不上位置。真正的坐标在support_vectors_里两者顺序一致但类型不同这个区别在第 5 章还会单独拿出来说。classes_一定按升序排列跟你在y里写的顺序无关。这点很重要多分类时predict_proba的列顺序、decision_function的列顺序都跟着classes_走如果你自己维护了一份标签映射表务必以classes_为准而不是以原始y的出现顺序为准。n_support_给出每个类的支持向量数量加起来等于len(support_)。在上面这组数据上nu0.5通常会让三个点成为支持向量预测[-0.8, -1]落在类 1 那一侧。把 nu 调到 0.1支持向量会缩减调到 0.9几乎全部样本都被拉进支持向量集合模型对训练集近乎完美拟合但泛化能力基本没了。3.3 nu 的取值边界与网格搜索的写法nu 有一个硬性约束不能大到让问题不可行。极端情况下 sklearn 会抛ValueError: specified nu is infeasible通常发生在 nu 设得很高、而两类样本又严重不均衡的时候。稳妥的做法是把它当成一个待搜索超参从 0.1 扫到 0.9步长 0.1配合交叉验证挑。from sklearn.model_selection import GridSearchCV, StratifiedKFold from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler pipe Pipeline([ (scaler, StandardScaler()), # SVM 对量纲敏感标准化必做 (clf, NuSVC(kernelrbf, gammascale)) ]) param_grid { clf__nu: [0.1, 0.3, 0.5, 0.7, 0.9], clf__gamma: [scale, 0.1, 1.0], } cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) grid GridSearchCV(pipe, param_grid, cvcv, scoringf1_macro, n_jobs-1) grid.fit(X, y) # 换成自己的数据即可 print(最优参数:, grid.best_params_) print(交叉验证得分: %.3f % grid.best_score_)这里几个写法值得固定下来。管道把标准化和分类器绑成一个整体交叉验证时每一折的均值方差都只从训练折算不会把验证折的信息漏进来——这一点在直接手写循环时经常被忽略导致分数虚高。StratifiedKFold保证每折的类别比例和全集一致小样本上尤其重要普通KFold在只有四个点这种规模下可能切出单类别的折直接报错。评分用f1_macro而不是默认的 accuracy是因为不均衡数据上准确率会骗人。上面这段代码用的是第 3.2 节的四点数据样本太少网格搜索的结果基本没有参考价值跑通流程才是目的。真实数据上把 nu 的上界压在 0.7 以内通常更稳太高的 nu 会让模型退化成几乎不过滤的边界。4. LinearSVC 上鸢尾花大数据集的线性快车道4.1 单独实现一个 LinearSVC 的理由SVC 用核矩阵时间和内存都是 O(n²) 到 O(n³) 量级样本过万就开始明显卡顿LinearSVC 用 liblinear 的对偶坐标下降复杂度大致线性样本十万、特征几万也能在几分钟内出结果。这是它存在的核心理由不是为了“多一个类”。代价是能力边界很清楚只做线性不能换核多分类默认 one-vs-rest不是 SVC 那种 one-vs-one没有support_vectors_因为对偶坐标下降不显式保留支持向量集合coef_的形状是(n_classes, n_features)二分类时是(1, n_features)多分类每一行是一个类的超平面。惩罚项默认penaltyl2、losssquared_hinge这两个默认值组合起来训练最稳改成losshinge才是标准 SVM 的合页损失但对偶形式要求dualTruesklearn 新版本里dualauto会自己判断别手写dualFalse配hinge会直接报参数不合法。文本分类是它的主场。TF-IDF 出来动辄几万维稀疏特征样本几千到几十万SVC 在这种规模下要么跑不动要么内存爆掉LinearSVC 加上标准化或者直接吃稀疏矩阵都能扛。我的经验是先用 LinearSVC 出一版基线如果分数够用就收工不够再考虑上核或者换模型。4.2 80/20 切分、训练、评分的完整流程鸢尾花数据集是内置的150 个样本、4 个特征、3 个类别拿来做流程演示刚好。原始示例只取了第 0 列和第 2 列是为了能在平面上画决策边界这个取舍在教学中合理但要注意它丢掉了一半信息。from sklearn import datasets, model_selection, svm from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler iris datasets.load_iris() X iris.data[:, [0, 2]] # 花萼长度 花瓣长度便于二维可视化 y iris.target # 80% 训练、20% 测试stratify 保证三层类别比例一致 X_train, X_test, y_train, y_test model_selection.train_test_split( X, y, test_size0.2, random_state1, stratifyy) pipe make_pipeline( StandardScaler(), # 两列量纲接近但流程里保留更通用 svm.LinearSVC(C1.0, max_iter5000, random_state1) ) pipe.fit(X_train, y_train) print(分类器评分: %.2f % pipe.score(X_test, y_test)) print(预测的类别:, pipe.predict(X_test)) print(实际的类别:, y_test)test_size0.2在 150 个样本上就是 30 个测试样本每类 10 个左右stratifyy保证这个比例。random_state1是原始示例用的值换个数分数会动一两个百分点这不是模型不稳定是测试集太小带来的方差。想让评估更可信把cross_val_score跑五折取均值比单次切分靠谱得多。max_iter5000是我加的。sklearn 新版本对LinearSVC的默认迭代上限是 1000数据没标准化或者 C 设得很大时容易触发ConvergenceWarning警告本身不影响结果但说明解还没收敛分数不可信。遇到这个警告优先做两件事标准化、调大max_iter而不是直接warnings.filterwarnings(ignore)把它盖掉。运行结果评分通常在 0.9 上下预测类别和实际类别逐行对下来会有一两个错分集中在 versicolor 和 virginica 之间——这两类在花萼长度这个维度上本来就重叠严重只用两列特征到这个水平是正常表现。用全部四列特征再跑一次分数会明显上去可以自己对照一次体会特征选择对结果的影响。4.3 特征切片、random_state 与结果复现iris.data[:, [0, 2]]这种花式索引要留意返回的是副本还是视图。numpy 的花式索引返回副本所以后面无论怎么改X都不会动到iris.data这一点比切片安全。但如果写成iris.data[:, 0:2]拿到的是视图再对它做原地标准化就会污染原始数据集同一进程里第二次加载load_iris()拿到的还是被改过的数据——这个坑我踩过一次排查了半天才发现是上游把内置数据集改了。random_state要贯穿始终。train_test_split一个、LinearSVC一个、如果后面接GridSearchCV的cv还有一个三处不一致的话同一个脚本两次运行结果不同你根本分不清是改了参数带来的差异还是随机性。习惯做法是在文件开头定义一个SEED 42所有需要随机种子的地方都传它。最后是量纲。SVM 基于距离特征尺度差一个数量级权重就会被大尺度特征主导。鸢尾花四列都是厘米级别不标准化也能跑出不错的结果所以很多人从小数据集上学到“SVM 不用标准化”的错误结论。换成年龄0-100和收入0-1000000这种组合不标准化的话模型基本只看得见收入。管道里常驻一个StandardScaler比事后补救省事。5. 避坑与排查SVM 落地最容易翻车的五件事5.1 五条踩坑记录现象一同一份脚本上午跑 0.94下午跑 0.89代码一个字没改。原因是切分和模型初始化都没锁种子train_test_split每次重新洗牌测试集换了一批样本。小数据集上这个波动能有五个百分点。解决是把random_state显式传给所有带随机性的环节包括交叉验证的切分器再把评估从单次切分换成五折交叉验证取均值和标准差波动立刻变成可解释的数字。现象二SVC(kernelrbf)在四万条样本上跑了半小时还没结束内存一路涨。不是代码写错是核矩阵的复杂度摆在那里。样本量上万之后SVC 的时间随 n² 增长内存要存 n×n 的核矩阵。解决办法按优先级排先试 LinearSVC 看分数掉多少掉得少就直接换掉得多再做特征降维或者抽样实在要非线性换Nystroem近似核映射加 LinearSVC或者考虑树模型。硬扛 SVM 是最差的选择。现象三想拿support_去画支持向量的位置画出来一片乱点。support_返回的是训练集里的行下标不是坐标。要画点得用X[clf.support_]或者直接用clf.support_vectors_。这两个属性顺序一致但一个是整数索引、一个是浮点坐标混用不会报错只会画出错误的图属于最难发现的那类 bug。现象四SVC(kernelrbf)之后访问clf.coef_AttributeError: coef_ is not available when the kernel is not linear。非线性核的决策函数是在对偶空间里用核函数展开的没有原始特征空间的权重向量。想要系数就换线性核或者改用LinearSVC如果必须用 RBF 又要解释性退而求其次看dual_coef_和支持向量的分布或者用置换重要性在预测层面做解释。现象五训练集准确率 0.99测试集 0.62怎么调参都上不去。先别调参去看特征量纲和类别分布。量纲差异大时大尺度特征吃掉全部权重模型在小尺度特征上学不到东西训练集靠拟合大尺度特征拿到高分测试集一换分布就崩。另一个常见原因是 C 设得过大模型把训练集里的噪声全记住了。处理顺序是标准化 → 检查类别是否严重不均衡不均衡就加class_weightbalanced→ 再把 C 从 1 往下调一个数量级试。三步走完还上不去问题多半在特征而不在模型。5.2 上线前固定要过的检查项模型跑通和模型能用是两件事。我习惯在交付前固定过一遍下面这几项每项都对应上面某一条坑。检查项怎么查不通过的表现随机性是否锁定连跑三次比对分数三次结果不一致是否进入管道标准化看Pipeline里有没有 scaler特征量纲差异大时分数虚高是否收敛有没有ConvergenceWarning警告刷屏分数不可信训练/测试分布对比两边类别比例测试集某类样本极少属性是否用对support_与support_vectors_分开画图位置错乱、索引越界第三项补充一句ConvergenceWarning在 LinearSVC 上出现的频率比想象中高尤其是数据没标准化的时候。看到它先别调max_iter先看标准化做没做做完标准化大部分警告会自己消失。6. 进阶用同一把尺子量三个实现三个类的参数名不一样直接比分数容易失真。我一般把标准化和分类器封进管道用同一个交叉验证切分器、同一个评分口径跑一遍拿到可比的数字再谈选型。from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC, NuSVC, LinearSVC from sklearn import datasets X, y datasets.load_iris(return_X_yTrue) cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) candidates { SVC-linear: SVC(kernellinear, C1.0), SVC-rbf: SVC(kernelrbf, C1.0, gammascale), NuSVC-rbf: NuSVC(nu0.5, kernelrbf, gammascale), LinearSVC: LinearSVC(C1.0, max_iter5000, random_state42), } for name, clf in candidates.items(): pipe Pipeline([(scaler, StandardScaler()), (clf, clf)]) scores cross_val_score(pipe, X, y, cvcv, scoringf1_macro, n_jobs-1) print(%-12s 均值 %.3f 标准差 %.3f % (name, scores.mean(), scores.std()))在鸢尾花这种线性可分度很高的数据上四个实现的分差一般在两三个百分点以内LinearSVC往往还略快出结果这正说明数据简单时没必要为核函数付出代价。真正拉开差距的是样本规模和特征维度把样本量放大到五万SVC-rbf的训练时间会变成LinearSVC的几十倍而如果数据是明显的环形分布线性核怎么调都追不上 RBF。我的选型顺序是固定的先LinearSVC拿基线因为它快、稳、不吃内存分数不满意再上SVC(kernelrbf)试核同时记下训练耗时只有当业务上对“不可靠样本占比”有明确预估时才换成NuSVC用 nu 把这个预估直接写进参数。三种实现共用同一套管道和同一个切分器换起来只改一行字典项比每次重写脚本靠谱。还有个小技巧值得固定下来把decision_function的输出分布也打出来看一眼。SVM 的分数不是概率LinearSVC连predict_proba都没有直接拿分数当置信度排序会出问题。需要概率就老老实实给SVC打开probabilityTrue或者用CalibratedClassifierCV在外面包一层做 Platt 校准别自己拍脑袋把分数线性映射到 0 到 1。从那以后我每次接 SVM 的活儿都会先把随机种子、标准化管道和实现类这三件事钉在脚本开头跑完一轮基线再谈调参再没出现过“调了一下午发现是量纲问题”。希望帮到你。本文还有配套的精品资源点击获取