上篇指标定义系列前篇业务判断数据证据建设取舍咖啡豆促销期间销售上涨但同期恰好遇到节假日。即使销售数字完全正确我们仍然不知道其中多少变化由促销造成。因果评估要为这个判断建立可信比较实际采取策略后的结果与没有采取该策略时可能出现的结果相比差多少。后者称为反事实不能由同一对象在同一时刻同时观察。本篇以发券为教学情形沿着“明确问题 → 建立比较 → 检查执行 → 估计效果 → 判断与复核”展开不代表已经开展真实实验。一、明确问题先确定准备评价哪项改变“促销有效”可能指订单增加也可能指净贡献改善。先确定人群、策略、对照、观察期、主要结果及约束再事先约定什么改善值得采用才能避免看到结果后挑选有利指标。例如将问题限定为对符合资格的老客户相比原策略发放本次优惠券是否改善未来30天的人均贡献同时保持退款和投诉在可接受范围内。要素需要约定对象与单位哪些客户有资格按客户还是门店安排策略动作与对照改变什么另一组维持什么结果与范围贡献的成本费用口径、计算对象与观察窗口判断标准最小有业务价值的改善、风险与成本限制观察期应覆盖重要后果。30天只是本例设定退款成熟较慢或购买被提前时需要延长观察或注明阶段结果。这一阶段完成后应当能写出一个可被证据支持或否定的问题若动作、结果或标准仍不明确先补齐约定不进入效果判断。二、建立比较为反事实选择有依据的来源能够随机安排时将符合资格的对象分配到活动组和对照组并让两组同期运行如果存在优惠券转赠、共享库存等相互影响则调整分组单位或实验设计避免一组策略改变另一组的结果。随机化减少系统性选择差异但有限样本仍有随机波动。身份稳定、分配比例、样本量和指标定义都需要在实施前检查。微软实验设计说明不能随机时先检查是否存在可信的替代比较再选择方法方法比较依据必须说明的边界双重差分活动组与对照组的前后变化差无活动时趋势可比、无差异性同期冲击等假设时间序列反事实历史关系及未受活动影响的序列对照未受影响预测关系足以支持活动后推断匹配与调整已记录的可比特征不能自动排除未记录的混杂例如CausalImpact依赖未受干预影响的对照序列及相关关系的稳定性模型拟合好并不能代替这些条件。方法说明本步产出是比较方案、假设和检查证据如果没有可信比较就保留描述性结论不把同比增长包装成因果效果。三、检查执行确认比较没有在实施中失效方案实施后先核对资格、分配、策略版本、触达及其他同期活动识别漏发、串组、身份变化和数据缺失再决定能否按原设计解释结果。随机实验的主分析通常按原分配比较全部入组对象包含未领券、未购买者估计的是“分配该策略”的效果只比较用券者和未用券者会重新引入主动选择差异。数仓因此需要以完整分组名单为基础关联执行和后续交易。只有确认交易数据完整、确实没有购买时才能将无交易记为零不能把关联失败或来源漏到直接当零。检查处理分组比例异常查分流和记录缺失不随意删样本凑平衡触达不完整报告执行偏差保留原分配分析对照受其他策略影响评估污染程度必要时限制或停止原结论结果来源不完整修复数据再开展正式分析本步完成的标志是分配、实际执行与结果覆盖可核对偏差已被解释剩余限制进入报告未通过时先修复或重建设计。四、估计效果同时计算差异、精度和实际价值在比较条件成立后计算目标效果及不确定性再检查约束指标和观察期是否完整避免把一个正数直接当作可推广结论。例如活动组入组客户人均贡献12元对照组10元观察差为2元。它是平均增量的估计不代表每个人都增加2元还需要区间估计判断证据能区分多大的改善或损害。技术实现应先在客户等约定分析单位上形成结果再按实验设计计算组间差异与标准误门店级分组时不能把所有订单当作独立随机对象来夸大精度。分析时间、主要指标和重复查看方式应事先安排。固定周期检验不能在第一次显著时任意停止多指标或序贯决策需要相应方法处理。本步产出是效果估计、区间、约束表现、执行偏差和适用范围证据不足时明确“不确定”不把不显著解释为已经证明无效。五、形成决定把证据交回最初的问题将效果范围与事先约定的业务价值、成本及风险标准比较再选择采用、调整、停止或继续验证并记录负责人、使用范围和下一次复核条件才完成从评价到决策的衔接。证据状态合理处理支持有价值改善且约束可接受在已验证范围内采用扩大时继续观察支持损害或不可接受风险停止或调整策略区间跨越重要改善与损害暂不下确定结论补充样本或改进设计比较条件失效限制结论重建比较结果若从老客户推广到新客户需重新判断人群、渠道和执行条件是否改变不能把局部证据无条件外推。本步完成后策略去向、证据边界和后续安排均有记录新证据或条件变化时回到相应设计环节复核。快速复习明确评价什么建立可信比较核实实际执行估计差异与不确定性再结合价值和约束作决定。数仓负责保存资格、分配、执行和结果证据统计方法负责在明确假设下解释比较。复习时用五问检查比较谁、改变什么、对照可靠吗、差异有多确定、证据支持什么决定