1. 从一个翻车现场说起为什么正负样本值得单独拎出来讲前阵子帮一个朋友看他的推荐系统项目模型离线指标 AUC 跑到 0.92团队欢天喜地准备上线结果灰度第一天 CTR 直接掉了三成。排查了两天问题不在模型结构也不在特征工程而是出在最不起眼的地方——负样本的采样方式。他们为了省事把用户没点击的全部当成负样本结果把用户根本没曝光过的物品也塞进了负样本池模型学到的不是用户不喜欢而是用户没见过上线后自然一塌糊涂。这个坑我见过太多次了。正样本Positive Sample和负样本Negative Sample这两个词听起来像是机器学习入门第一课就该懂的东西但真正在工业级项目里把它们定义清楚、采样合理、标注准确难度远超大多数人的想象。不管你做的是搜索排序、推荐系统、风控反欺诈、图像分类还是最近火得一塌糊涂的大模型偏好对齐正负样本的定义方式直接决定了模型的上限。这篇文章不打算给你背教科书定义而是从一线实操的角度把正负样本这件事掰开揉碎讲清楚它们到底是什么、在不同场景下怎么定义、采样时有哪些坑、标注环节怎么保证质量、以及当样本出问题时怎么快速定位。适合已经上手做过模型、但对样本处理还停留在调个库函数阶段的同学也适合想系统梳理一遍样本方法论的老手。2. 正负样本到底是什么别被教科书定义骗了2.1 一句话讲清楚它们不是好和坏而是符合目标和不符合目标很多人第一次接触这两个词会下意识理解成正样本就是好的数据负样本就是坏的数据。这个理解在情感分类里勉强说得通但放到其他场景立刻就崩了。举个反例在信用卡反欺诈模型里欺诈交易才是正样本正常交易是负样本。你看正样本反而是坏的那一类。再比如医疗影像筛查有病灶的片子是正样本健康的片子是负样本。所以正负的本质不是好坏而是你希望模型去识别的那个目标类别就是正样本其余的就是负样本。用一句更工程化的话说正样本是我们关心的、希望模型给出高置信度的事件负样本是我们希望模型压低置信度的事件。这个定义在所有领域都成立也是你后面做任何采样、标注、评估时判断对错的唯一标尺。2.2 二分类、多分类、排序任务里的正负样本形态完全不同在二分类任务里正负样本是泾渭分明的两个集合标签就是 0 和 1。但到了多分类比如图像识别里识别猫、狗、鸟正负样本的概念就变成了相对于某个类别而言——对猫这个类别来说猫的图片是正样本狗和鸟的图片都是负样本。这就是为什么多分类常用 one-vs-rest 的思路来理解。到了排序和推荐场景正负样本的形态又变了。这里没有绝对的类别只有用户行为点击、购买、收藏、停留超过 N 秒这些通常算正样本曝光未点击、划走、快速返回这些算负样本。但注意曝光未点击和从未曝光是两回事前者是明确的负反馈后者是未知把它当负样本就是前面那个朋友踩的坑。我整理了一张表把常见场景下的正负样本定义列出来你可以对照自己的项目看看有没有定义错场景正样本定义负样本定义常见误区推荐系统点击/购买/收藏曝光未点击把未曝光当负样本搜索排序点击且停留达标曝光未点击把误点当正样本风控反欺诈欺诈交易正常交易正负比例极度失衡图像分类目标类别图像其他类别图像忽略难负样本大模型偏好对齐被选中的回答被拒绝的回答忽略平局样本广告CTR点击曝光未点击忽略展示位置偏差这张表建议你收藏每次开新项目定义样本时拿出来对一遍能省掉大量返工。2.3 为什么这个定义如此重要它决定了模型的学习目标模型本质上是在拟合一个函数输入特征输出概率。正负样本的定义就是在告诉模型你要把哪些东西的概率往 1 推哪些往 0 压。定义一旦偏了模型学到的就是错误的目标。我见过一个特别典型的案例某内容平台做优质内容识别把编辑人工推荐过的内容当正样本其余当负样本。结果模型学出来的是编辑的偏好而不是内容的优质程度因为编辑推荐带有强烈的时效性和个人口味。上线后模型只会推编辑喜欢的那类内容多样性极差。后来他们改成用完播率互动率负反馈率综合定义正样本效果才正常。所以定义正负样本本质上是在回答一个业务问题你到底想让模型帮你优化什么指标。这个问题想不清楚后面所有工作都是白费。3. 采样策略正负样本比例失衡才是常态3.1 为什么真实场景里负样本总是多到离谱在绝大多数业务场景里正样本都是稀缺的。广告点击率通常在百分之几甚至千分之几欺诈交易占比可能只有万分之几推荐场景里用户真正感兴趣的内容也是少数。这就导致原始数据里正负比例可能是 1:100、1:1000 甚至更极端。直接把这种数据丢给模型会出问题。模型会学到一个偷懒的策略把所有样本都预测成负样本准确率依然能到 99% 以上但这样的模型毫无价值。这就是所谓的类别不平衡问题。解决思路主要有两条一是从数据层面做采样让正负比例更均衡二是从算法层面做调整比如给不同类别加权、用 focal loss 等。这里重点讲采样因为它是实操中最常用、也最容易出错的环节。3.2 负采样、正采样、分层采样怎么选负采样Negative Sampling是最常用的手段核心思路是从海量负样本中抽取一部分参与训练。但怎么抽很有讲究随机负采样最简单从负样本池里随机抽。适合负样本同质性高的场景比如纯随机曝光。难负样本挖掘Hard Negative Mining专门挑那些模型容易判错的负样本比如曝光了但用户犹豫很久才划走的。这类样本信息量大能显著提升模型判别力但用多了容易过拟合需要控制比例。按热度采样在推荐里热门物品的曝光多负样本也多按热度采样能缓解热门物品被过度惩罚的问题。正采样Positive Sampling相对少用因为正样本本来就少再采样会更少。但在某些场景下比如正样本内部差异很大有强正反馈和弱正反馈可以对强正样本做上采样让模型更关注高价值行为。分层采样Stratified Sampling是我个人最推荐的做法按照某个关键维度比如用户活跃度、物品类别、时间分段分层然后在每层内部按比例采样。这样能保证训练集和真实分布的偏差可控避免某一类用户或物品被过度代表。3.3 采样比例不是拍脑袋一个可落地的计算方法很多人问采样比例到底设多少合适。我的经验是不要追求 1:1那反而会让模型对真实分布的估计产生严重偏差。比较稳妥的做法是先统计原始正负比例记为 1:N。根据业务对召回率和准确率的偏好设定目标比例。一般推荐场景控制在 1:3 到 1:10 之间风控场景可以到 1:20。采样后要做概率校准因为采样改变了先验分布模型输出的概率不再等于真实概率。概率校准的公式很简单假设负样本采样率为 r即保留了 r 比例的负样本那么校准后的真实概率为p_true p_pred / (p_pred (1 - p_pred) / r)这个公式我在多个项目里验证过采样率在 0.01 到 0.5 之间时校准效果都很稳。如果你不做校准模型输出的概率直接拿去算期望收益会系统性偏高这是很多团队上线后才发现的问题。注意采样比例一旦确定训练集、验证集、测试集必须用同一套采样逻辑否则评估指标会失真。我见过有人训练用采样数据、测试用全量数据结果离线指标和线上表现完全对不上。4. 标注环节正负样本质量的生死线4.1 人工标注的三种模式与适用场景不是所有项目都有现成的行为日志可以当标签。很多场景需要人工标注这时候标注模式的选择就至关重要。第一种是单标注一个人标一条数据。成本最低但一致性差适合任务简单、容错率高的场景。第二种是交叉标注多人标同一条数据取多数投票。成本翻倍但能显著降低噪声适合医疗、金融这类对准确性要求极高的场景。第三种是专家标注众包预标先用众包做初筛再由专家复核争议样本。这是成本和质量的平衡点也是我在实际项目里用得最多的模式。4.2 标注一致性怎么量化Kappa 系数实操标注一致性不能靠感觉要用数据说话。最常用的指标是Cohens Kappa 系数它衡量的是扣除随机一致后的真实一致性。Kappa 的计算逻辑是先算观察一致率 Po再算随机一致率 Pe然后 Kappa (Po - Pe) / (1 - Pe)。一般来说Kappa 0.8一致性极好标注质量可靠0.6 Kappa 0.8一致性可接受但需要关注争议样本Kappa 0.6一致性差标注规范需要重新制定我在一个文本审核项目里遇到过 Kappa 只有 0.45 的情况排查后发现是标注规范里违规的定义太模糊不同标注员理解差异巨大。后来把规范拆成 12 条具体规则每条都配了正反例Kappa 直接升到 0.82。4.3 标注规范怎么写才不扯皮写标注规范是门手艺。我的经验是遵循三个原则可判定每条规则都要能明确判断是或否避免视情况而定这种表述。有边界明确写出容易混淆的边界情况怎么处理比如部分违规算不算违规。带示例每条规则至少配 2 个正例和 2 个反例最好是从真实数据里挑的争议样本。规范写完后一定要先做一轮小规模试标让标注员标 100 条然后开会讨论分歧。这一步能提前暴露 80% 的理解偏差比标完几万条再返工划算得多。提示标注规范不是写完就锁死的随着项目推进要持续迭代。建议每两周复盘一次争议样本把新出现的边界情况补充进规范。5. 不同领域的正负样本实战差异5.1 推荐与搜索曝光未点击才是真负样本推荐和搜索场景里正负样本的定义直接决定了模型能不能学到用户的真实偏好。核心原则是只有曝光过的物品才有资格谈正负。用户点击了是正样本曝光了但没点击是负样本从未曝光过的既不是正也不是负是未知样本不能参与训练。这个原则听起来简单但实操中经常被违反原因通常是数据埋点不完整拿不到完整的曝光日志。另一个坑是位置偏差。排在第一位的物品天然点击率高排在第十位的天然点击率低。如果直接把点击当正样本模型会学到位置靠前就是好而不是内容好。解决办法是在训练时引入位置特征或者用反事实推理的方法做纠偏。5.2 风控与反欺诈极端不平衡下的采样艺术风控场景的正负比例可能是 1:10000 甚至更极端。这时候负采样几乎是必须的但采样策略要特别小心。我的做法是保留全部正样本对负样本做分层采样。分层维度包括交易金额、时间、用户等级等。采样后正负比例控制在 1:10 到 1:50 之间。同时因为欺诈手法会不断演变还要定期用新数据做难负样本挖掘把那些看起来像欺诈但实际正常的样本加进训练集提升模型的边界判别能力。评估指标上风控场景不能只看准确率要看召回率、精确率和 KS 值。尤其是召回率漏掉一个欺诈交易的代价远大于误判一个正常交易。5.3 大模型偏好对齐正负样本的新战场大模型时代正负样本有了新形态。在 RLHF 或 DPO 这类偏好对齐方法里正样本是被人类选中的回答负样本是被拒绝的回答。这里最大的坑是平局样本——两个回答质量差不多人类标注员随便选了一个。这种样本如果当正负对用会引入大量噪声。处理办法是标注时明确设置平局选项训练时把平局样本单独处理或者直接丢弃。另外偏好数据的质量比数量重要得多几千条高质量偏好数据的效果往往好过几万条噪声数据。6. 常见问题与排查技巧实录6.1 模型离线指标好但线上拉胯怎么查这是最经典的问题排查顺序我总结成一张表排查项检查方法常见原因样本定义对比线上线下样本口径线上把未曝光当负样本采样偏差检查采样是否分层采样后分布偏移特征穿越检查特征时间戳用了未来信息概率校准对比预测概率与实际采样后未校准数据延迟检查特征更新时效线上特征滞后按这个顺序查90% 的问题能在半天内定位。6.2 正负样本比例突然变化怎么办如果监控发现正负比例突然变化先别急着调模型先查数据。常见原因有三个一是埋点出问题某些行为没上报二是业务策略调整比如改了曝光逻辑三是数据管道故障部分数据丢失。这三种情况的处理方式完全不同盲目调模型只会越调越乱。6.3 几个我踩过的坑第一个坑是用测试集的采样比例去评估模型。测试集应该尽量接近真实分布如果测试集也做了负采样评估出来的指标会虚高。正确做法是测试集用全量数据或者用固定的采样比例并做校准。第二个坑是忽略时间因素。用户兴趣会随时间变化如果用一个月前的数据训练、预测今天的用户行为效果会打折。建议训练数据用滑动窗口并且做时间上的负采样让模型学到时间衰减。第三个坑是难负样本用过头。难负样本能提升模型判别力但用太多会让模型过拟合到那些边界样本上对普通样本的判别反而下降。我的经验是难负样本占比控制在 20% 到 30% 之间。7. 写在最后一些个人体会正负样本这件事说到底是一个定义问题的问题。技术手段再花哨定义错了全白搭。我在实际项目里最大的体会是花在定义和验证样本上的时间永远不亏。一个项目如果样本定义清晰、采样合理、标注规范模型结构用最朴素的都能出效果反过来样本一团糟上再复杂的模型也是徒劳。最后分享一个小技巧每次开新项目先别急着写代码拿一张纸把什么是正样本、什么是负样本、怎么采样、怎么验证这四个问题写清楚然后找业务方和数据方各对一遍。这个动作花不了半小时但能帮你避开后面几周的返工。这个习惯我坚持了好几年屡试不爽。