【老计带你懂概率统计】08抽样与大数定律为什么问几千人就能估计上亿人开头一个看似不可能的事大选前的民意调查只问了几千个人就敢预测上亿选民的投票倾向而且往往还挺准。你有没有觉得神奇甚至怀疑就问那么点人凭什么能代表全国这背后是统计学最核心的一件事用样本推断总体。从这一篇开始我们进入统计推断的部分这是统计学真正的用武之地也是数据分析、AB测试、机器学习评估的根基可以说前面几篇都是在为这一步做铺垫。先把两个词说清楚。总体是你真正关心的全部对象全国所有选民、所有用户、某产品的全部产量。样本是你实际能观测到的一小部分调查的几千人、抽检的几百件。绝大多数时候我们没法把总体全查一遍成本太高或根本不可能比如你不可能真的去问遍全国每一个人只能靠样本去推断总体。这一篇就讲清楚这件事为什么可行、靠什么可行、以及最容易栽的坑在哪。大数定律样本够大就趋近真相样本推断总体的第一块理论基石叫大数定律。它说的其实特别朴素当样本量足够大时样本的平均值会越来越接近总体的真实平均值。换句话说只要你观测得足够多看到的规律就会稳定地趋近真相。还记得第02篇抛硬币那个实验吗抛10次正面比例乱跳抛十万次就稳稳趋近0.5。那就是大数定律活生生的展示次数越多观测到的频率越接近真实概率。掷骰子掷很多次平均点数趋近3.5也是同一个道理。大数定律给了我们巨大的信心它保证了只要样本够大样本的统计结果就是可靠的、能代表总体的。这就是为什么民调问几千人而不是几十人能有代表性为什么工厂抽检足够多的样品能估计整批质量。样本量是可靠性的基础。这里要澄清一个特别容易混淆的点大数定律和第02篇的赌徒谬误说的不是一回事别搞反了。赌徒谬误错在以为连出5次正面下次该出反面来平衡了。可大数定律说的是长期趋近0.5很多人就误以为大数定律支持了该来反面平衡的想法这是天大的误解。大数定律靠的不是老天爷去纠正前面的偏差而是靠后面海量的新数据把前面那点偏差稀释、淹没掉。打个比方你往一杯浓盐水里不停加清水水会越来越淡不是因为前面的盐被消灭了而是因为后面加的水太多把盐的浓度稀释了。连出5次正面后面几万次抛掷里正面反面各占一半这5次的影响就被摊薄得微不足道了但这5次本身绝不会被反面来补偿。理解这个区别很关键大数定律是稀释不是补偿硬币永远没有记忆。想通这一点你对随机性的理解就上了一个台阶。但请注意大数定律的两个前提一是样本量要足够大二是样本要能代表总体。第一个前提好理解前面反复讲小样本不可靠。而第二个前提恰恰是最容易被忽视、也最致命的坑。随机抽样代表性的关键怎么让样本能代表总体核心手段是随机抽样也就是让总体里每个个体都有均等的机会被抽中。为什么必须随机因为只有随机样本才不会系统性地偏向某一类才能成为总体的一个缩影。一旦抽样不随机、偏向了某类人哪怕样本再大也是在放大这个偏向得出的结论就会系统性地错。举个例子你想调查全国人民的收入如果你只在高档写字楼门口发问卷就算发了十万份估出来的平均收入也会严重偏高因为你的样本系统性地漏掉了大量其他人群。样本大救不了抽样偏。这是新手最容易掉进去的坑以为样本量大就万事大吉其实抽样方式错了样本越大错得越离谱、还越自信。两个致命的坑抽样偏差与幸存者偏差把两个最经典、最坑人的偏差讲透它们能让你终身受用。第一个抽样偏差。就是上面说的样本的选取方式让它系统性地偏离了总体。经典案例是1936年美国一场民调机构给上百万人寄了问卷预测某候选人会大胜结果惨败。为什么因为他们的名单来自电话簿和车主登记而在那个年代有电话有车的都是较富裕人群穷人被系统性地漏掉了样本严重偏了。上百万的样本量照样错得离谱因为抽样有偏。第二个幸存者偏差更隐蔽、更常见。它指的是你只看到了幸存下来、留下来的那些样本而那些消失的、失败的样本压根没进入你的视野导致判断偏差。最著名的故事是二战。军方想给飞机加装甲统计了返航飞机的中弹分布发现机翼中弹最多、驾驶舱和引擎中弹少于是打算加固机翼。统计学家沃德却说恰恰要加固那些中弹少的地方引擎、驾驶舱。为什么因为你能统计到的都是活着飞回来的飞机。它们引擎驾驶舱中弹少不是那里不容易被打中而是被打中那里的飞机根本没能飞回来、你压根没统计到。那些沉默的、坠毁的飞机才藏着真相。幸存者偏差的杀伤力在于它太符合直觉、太难察觉了。你看到的样本本身没错错在你没意识到有一大批样本已经悄悄消失、根本没被你看见。生活里无处不在的幸存者偏差这个偏差在生活里坑人无数认出它你能清醒很多“成功人士都是大学辍学的看比尔盖茨、乔布斯”你只看到了辍学成功的那千千万万辍学后默默无闻的你根本看不到。“这只基金过去五年年年赚”那些没做好、已经清盘消失的基金早就不在榜单上了你看到的都是幸存者。“老式产品质量真好用几十年不坏”那些质量差的老产品早坏了扔了能留到现在的自然都是结实的是幸存者。“我认识的做自媒体的都赚钱了”那些没赚钱、已经放弃的你自然接触不到了。记住看到一个由幸存者构成的样本时一定要问那些没能幸存、已经消失的去哪了他们才是被忽略的真相。这一个思维习惯能帮你避开无数坑。现实中怎么做好抽样理解了随机抽样的重要实际操作中还有些讲究帮你把抽样做得更好。纯粹的简单随机抽样从总体里完全随机抽理论上最理想但现实中常常不够或做不到于是有一些更聪明的抽样方法。一是分层抽样。如果总体里有明显的不同群体比如不同年龄、地域、收入层就先按这些群体分层再从每层里按比例随机抽。这样能保证各类人群都被合理覆盖比一锅乱抽更有代表性。民调常这么干确保各年龄段、各地区都不漏。二是整群抽样。当总体太大、没法逐个抽时先把总体分成很多小群比如很多个社区随机抽几个群、再调查群里的全部或部分操作上更省力。关键原则始终是想方设法让样本成为总体的一个不失真的缩影别让某类对象被系统性地多抽或漏抽。还要特别当心一种现实里的隐性偏差自选择偏差。很多调查是让人自愿参与的可自愿来填问卷、来打分的人往往本身就不是随机的一群比如网上餐厅评分愿意专门去评价的常常是特别满意或特别不满意的极端用户中间大量觉得还行的人懒得评于是评分容易两极分化、不能代表真实体验。看到任何自愿参与、自主反馈得来的数据都要多留个心眼参与的人和没参与的人很可能有系统性的不同。认清这一点你对各种网络评分、投票、反馈数据就会多一份清醒。我们用代码演示两件事大数定律样本越大越准和抽样偏差抽样错了样本再大也错。输入模拟的总体。输出不同抽样方式的估计对比。# 依赖pip install numpyimportnumpyasnp np.random.seed(0)# 造一个总体:100万人的收入,大多数中低收入,少数高收入(右偏)populationnp.concatenate([np.random.normal(6000,1500,900000),# 90%普通收入np.random.normal(50000,20000,100000),# 10%高收入])true_meanpopulation.mean()print(f总体真实平均收入:{true_mean:.0f})# 大数定律:随机抽样,样本越大估计越准print(\n 大数定律:随机抽样,样本越大越准 )forsizein[10,100,1000,100000]:samplenp.random.choice(population,sizesize,replaceFalse)print(f随机抽{size:6}人,估计平均:{sample.mean():7.0f}(真实{true_mean:.0f}))# 抽样偏差:只抽高收入人群(比如只在写字楼调查),样本再大也偏print(\n 抽样偏差:只抽高收入者,10万样本照样错得离谱 )high_earnerspopulation[population30000]biased_samplenp.random.choice(high_earners,size100000)print(f只抽高收入者10万人,估计平均:{biased_sample.mean():.0f}(严重高估))运行输出示例随机模拟数值每次运行略有差异总体真实平均收入: 10387 大数定律:随机抽样,样本越大越准 随机抽 10人,估计平均: 12043 (真实10387) 随机抽 100人,估计平均: 9821 (真实10387) 随机抽 1000人,估计平均: 10256 (真实10387) 随机抽100000人,估计平均: 10391 (真实10387) 抽样偏差:只抽高收入者,10万样本照样错得离谱 只抽高收入者10万人,估计平均: 52140 (严重高估)运行你会看到随机抽样时样本越大估计越接近真实平均大数定律可一旦只抽高收入人群就算抽了十万人估出来的平均也严重偏离真相。这清楚地证明了那句话样本大救不了抽样偏抽样的代表性比样本量更根本。在AI和现实里怎么用在AI里训练数据就是模型见到的样本如果训练数据有偏比如人脸数据集里某类人群偏少模型就会学出偏见这是AI公平性问题的重要根源模型评估也依赖样本测试集必须能代表真实场景否则评估结果虚高、上线翻车。数据的代表性是机器学习的生命线。在现实里看任何调查、排行、经验之谈先问两件事样本量够不够大防小样本抽样有没有偏、是不是只看到了幸存者防抽样偏差和幸存者偏差。这两把尺子能帮你过滤掉大量似是而非的结论。小结与承上启下样本推断总体统计推断的核心用能观测的一小部分去推断真正关心的全部。大数定律样本够大样本均值趋近总体真实均值是样本可靠的理论基石。随机抽样让每个个体机会均等是样本有代表性的关键样本大救不了抽样偏。两个致命坑抽样偏差样本系统性偏离总体、幸存者偏差只看到幸存者、忽略了消失的认出它们能避开无数错误判断是终身受用的思维武器。大数定律告诉我们样本够大就能趋近真相可趋近到底有多近我用样本算出的平均值和总体真实值到底差多少、有多大把握光说趋近还不够我们需要更精确地量化这种估计。下一篇我们讲参数估计看怎么用样本科学地猜出总体的真实参数还能给出一个可信的范围。我们下一篇见一起看怎么用样本科学地猜出总体的真实参数。延伸阅读大数定律与抽样的可视化可按关键词Law of Large Numbers simulation检索幸存者偏差经典案例可按关键词Survivorship Bias二战飞机弹孔、Abraham Wald检索说明以上为公开资料如链接失效可用标题搜索。