简介这是一份围绕双色球历史开奖数据开展的机器学习实战包面向具备Python基础、希望练习数据预处理、特征工程与分类建模的读者也适合作为彩票数据探索的课程案例。压缩包共29个文件、约181KB以16个Python脚本为主体配合SQL建库脚本、依赖与配置文件、训练日志、示意图及说明文档覆盖数据抓取入库、清洗转换、模型训练评估和结果记录等环节。已有385人学习说明其在入门级数据项目中有一定参考价值。读者可据此梳理从原始开奖数据到特征构造、模型选择与调参的完整流程观察TensorFlow、PyTorch与NumPy等脚本的组织方式并借鉴日志与图表留存实验结果的思路同时需理性看待彩票结果的随机性将预测视为方法练习而非稳定中奖工具。1. 开奖数据上的机器学习先把「能预测」这个念头放下有人把几年的开奖历史丢进模型训练集准确率刷到 92%兴奋了半宿换成下一期真实数据红球一个没沾上。这个 zip 做的是同一件事——用机器学习分析双色球开奖数据但它真正的价值不在「算号码」这件玄学事上而在一条完整的时序分类工程链路原始 CSV 清洗、特征构造、多模型对比、逐期回测、结果可视化。适合两类人手里有真实表格数据、想把 scikit-learn 从 fit 到 backtest 走一遍的初学者以及想看看别人怎么把「预测」这种没有标准答案的问题拆成有基线、有口径、可复现实验的老手。跑通它十分钟够读懂它的评估口径要半小时这两步之间的差距就是这份资源最值得看的地方。2. 项目定位与技术栈解压后先认路再谈模型拿到一个陌生 zip我一般不急着python train.py。先看目录判断作者是把代码堆在一起还是分了层再看requirements.txt判断这套东西在谁的机器上跑过。这两眼下去项目大概什么水平就有数了。2.1 目录结构每个文件负责哪一段这类项目解压后通常长成下面这样命名可能不同但职责划分大同小异。真正决定你能不能二次开发的是features.py和backtest.py这两个文件的边界干不干净。路径角色你以后改它的频率data/raw/*.csv原始开奖表一期一行只追加不改写极低data/processed/features.parquet特征矩阵落盘避免每次重算跟着特征改动重建src/features.py特征构造全项目唯一入口高src/train.py训练、交叉验证、模型落盘中src/backtest.py逐期滚动回测出命中率报表中src/predict.py取最新一期特征输出下期候选号低configs/base.yaml窗口长度、模型类型、top-k 等参数高notebooks/eda.ipynb分布图、遗漏图纯探索不进生产随意models/*.pkljoblib 落盘的模型产物产物别手改一个判断标准如果train.py里出现了pd.read_csv和一堆df[红球1] df[红球2]这种计算说明特征逻辑散在训练脚本里了。这种结构你改一个特征要动三个文件早晚翻车。合格的写法是features.py只吐一个宽表train.py只认这个宽表谁也不越界。2.2 技术栈为什么是 pandas scikit-learn 这一套依赖基本固定在这么几个上版本号各家不同但组合很稳定pandas1.5 # 表格清洗和滚动窗口 numpy1.23 # 向量化算和值、跨度、奇偶 scikit-learn1.1 # 逻辑回归、随机森林、时序切分 matplotlib3.5 # 走势图、遗漏图、命中率曲线 joblib1.2 # 模型落盘 pyyaml6.0 # 配置文件不用深度学习框架不是作者不会是这个问题不值得。样本量摆在那里一周开三期一年一百五十多期攒十年也就一千五百多条。这个量级上 LSTM 的参数比样本还多训练集 loss 能压到很低测试集该多少还是多少典型的黑匣子自嗨。相比之下逻辑回归和浅层随机森林有两个好处训练三秒出结果可以反复试特征特征贡献能看哪个特征在捣乱一目了然。我一般会把模型层做成可替换的build_model(kind)里用字符串分发这样后面想接 XGBoost 或者 LightGBM加一个分支就行不用动上层调用。多输出这块红球的 33 个号码当成 33 个独立的二分类问题直接用MultiOutputClassifier包一层简单粗暴但够用。2.3 十分钟跑通环境、依赖与三条命令先把环境隔开别往系统 Python 里装# 1) 建虚拟环境 python -m venv .venv source .venv/bin/activate # Windows 用 .venv\Scripts\activate # 2) 装依赖 pip install -r requirements.txt # 3) 三步分开跑出问题好定位 python -m src.features --config configs/base.yaml python -m src.train --config configs/base.yaml python -m src.backtest --config configs/base.yaml --start 800三步拆开是有讲究的。features单独跑你能立刻打开data/processed/features.parquet看列名对不对、有没有整列 NaNtrain单独跑你能看到交叉验证的分数和耗时backtest单独跑你能改--start反复试不同的回测起点而不用重训模型。第一次跑建议就用默认配置先确认能出数再谈调参。--start 800这个参数的意思是前 800 期只当训练集滚进去不参与评估。原因是特征里有「近 30 期出现次数」「遗漏值」这类滚动统计期数太少的时候这些列全是噪声评估出来的分数没有参考价值。等你数据集短于 800 期就把它调成总期数的六成左右。跑完你会拿到两类东西models/下几个.pkl和reports/backtest_*.csv里逐期的命中明细。后者才是重点前者只是个中间产物。提示第一次跑之前先备份data/raw/。有些脚本会原地做去重和排序写回同一个文件出了问题原始数据就没了。3. 数据管线从一张开奖表到 30 多维特征矩阵这个项目八成的工程量在特征上模型只占两成。原因很直接开奖数据本身只有 7 个数字任何模型直接吃这 7 个原始列都学不到东西必须靠人工把「结构信息」摊开成几十维模型才有东西可抓。3.1 原始表的字段与清洗规则原始表通常是这个形态期号、开奖日期、红球1 到红球6、蓝球。看着干净实际脏的地方不少——编码是 GBK 的、列名里混了全角空格、某些期红球没排序、偶尔有重复期号。import pandas as pd RAW_COLS [期号, 开奖日期, 红球1, 红球2, 红球3, 红球4, 红球5, 红球6, 蓝球] def load_draws(path: str) - pd.DataFrame: # 历史数据多为 GBK按 utf-8 - gbk 顺序回退 for enc in (utf-8-sig, utf-8, gbk): try: df pd.read_csv(path, encodingenc) break except UnicodeDecodeError: continue else: raise RuntimeError(f三种编码都读不动: {path}) # 列名去空格含全角空格这一步不做后面 df[红球1] 直接 KeyError df.columns [c.replace(\u3000, ).strip() for c in df.columns] df df[RAW_COLS].copy() df[开奖日期] pd.to_datetime(df[开奖日期], errorscoerce) reds [f红球{i} for i in range(1, 7)] for c in reds [蓝球]: df[c] pd.to_numeric(df[c], errorscoerce).astype(Int64) # 丢掉缺号、重复期号 df df.dropna(subsetreds [蓝球, 开奖日期]) df df.drop_duplicates(subset期号).sort_values(开奖日期).reset_index(dropTrue) # 值域校验红球必须在 1..33蓝球在 1..16越界的行直接扔 ok df[reds].apply(lambda s: s.between(1, 33)).all(axis1) ok df[蓝球].between(1, 16) return df.loc[ok].reset_index(dropTrue)逻辑上就三件事统一编码、统一类型、统一排序。astype(Int64)用大写 I 是有原因的小写int64不允许有空值pd.to_numeric(errorscoerce)一产生 NaN 就会整列变 float后面做集合运算会得到{1.0, 2.0}这种奇怪的东西。errorscoerce的作用是把脏值转成 NaN 而不是直接抛异常配合后面的dropna一起用。清洗完记得做一次自检每期红球是否严格递增、有没有重复号。这两条任一不满足说明数据来源本身就有问题先别往下走。3.2 特征工程7 个球怎么摊成 30 多维特征分四组每组解决一类问题。基础统计描述「这期号码的整体形状」结构特征描述「号码的分布规律」时序特征描述「和上期、上上期的关系」频率特征描述「最近哪些号码热」。import numpy as np import pandas as pd def build_features(df: pd.DataFrame, window: int 30) - pd.DataFrame: reds [f红球{i} for i in range(1, 7)] mat df[reds].to_numpy(dtypeint16) # (n, 6) out pd.DataFrame(indexdf.index) # --- 基础统计 --- out[sum] mat.sum(axis1) # 和值理论范围 21..183 out[span] mat.max(axis1) - mat.min(axis1) # 跨度 out[mean] mat.mean(axis1) out[std] mat.std(axis1) # --- 结构特征 --- out[odd_cnt] (mat % 2 1).sum(axis1) # 奇数个数 0..6 out[big_cnt] (mat 17).sum(axis1) # 大号个数 out[zone1] (mat 11).sum(axis1) # 一区 1..11 out[zone2] ((mat 12) (mat 22)).sum(axis1) out[zone3] (mat 23).sum(axis1) primes [2, 3, 5, 7, 11, 13, 17, 19, 23, 29, 31] out[prime_cnt] np.isin(mat, primes).sum(axis1) out[consec] [int(np.sum(np.diff(np.sort(r)) 1)) for r in mat] out[repeat] [len(set(mat[i]) set(mat[i-1])) if i else 0 for i in range(len(mat))] # --- 时序特征33 维遗漏值 --- miss np.zeros((len(mat), 33), dtypeint16) last np.full(33, -1) for i, row in enumerate(mat): for n in range(33): miss[i, n] i - last[n] if last[n] 0 else i 1 for n in row: last[n - 1] i # 开奖后更新 # --- 频率特征近 window 期出现次数 --- hot np.zeros((len(mat), 33), dtypeint16) for i in range(len(mat)): hist mat[max(0, i - window):i] if len(hist): hot[i] np.bincount(hist.ravel(), minlength34)[1:34] out pd.concat([ out, pd.DataFrame(miss, indexdf.index, columns[fmiss_{n} for n in range(1, 34)]), pd.DataFrame(hot, indexdf.index, columns[fhot_{n} for n in range(1, 34)]), ], axis1) return outsum、span、mean、std这四列是最基础的形状描述odd_cnt、big_cnt、zone1..3、prime_cnt把号码的组成结构拆开consec数连号对数repeat算和上期的交集大小。这十来个列已经把一期号码的「长相」描述得差不多了。关键在于miss那一段。last[n]存的是第 n 号球最近一次出现的期索引miss[i, n]是它到第 i 期为止的遗漏期数取值范围会一直涨所以后面要么做对数变换要么截断到 100。注意更新last的循环放在算miss之后这样第 i 期的遗漏值反映的是「开奖前」的状态才是合法的输入特征。这个顺序写反了就是数据泄漏第 5 章会展开说。hot那段用np.bincount(mat.ravel(), minlength34)[1:34]统计次数取[1:34]是因为 bincount 的下标从 0 开始而球号从 1 开始切片正好把 0 号位丢掉。window参数我一般设 30也就是半年左右太短噪声大太长把早期规律也带进来了。3.3 样本构造与时间切分标签怎么定义标签构造决定了整个项目怎么评估这一步必须想清楚。常见的做法是把「预测下一期开什么」拆成 33 个独立的二分类第 t 期的特征去预测第 t1 期每个红球出不出标签矩阵是(n, 33)的 0/1蓝球单独做成 16 分类或者 16 个二分类。def onehot_reds(draws: np.ndarray) - np.ndarray: y np.zeros((len(draws), 33), dtypeint8) for i, row in enumerate(draws): y[i, row - 1] 1 # row 是 6 个红球号1..33 return y def make_dataset(feat: pd.DataFrame, draws: np.ndarray, horizon: int 1): 用第 t 期特征预测第 thorizon 期切片必须错开 horizon 位 X feat.to_numpy(dtypefloat32)[:-horizon] Y onehot_reds(draws)[horizon:] return X, Y def time_split(n: int, test_ratio: float 0.2): cut int(n * (1 - test_ratio)) return np.arange(cut), np.arange(cut, n) # 绝不 shufflehorizon默认 1就是想用今天推明天。X取[:-horizon]、Y取[horizon:]两个切片错开一位对齐关系才不会错。如果你写成X feat、Y onehot_reds(draws)模型就是在拿当期的特征预测当期的号码——当期特征里包含了当期的开奖结果分数能刷到接近 1.0实际用起来一个不中。time_split里那句「绝不 shuffle」是血泪经验。时序数据一旦随机打乱测试集里就会混进训练集之后的样本等于让模型偷看未来。正确做法是留最后 20% 做测试或者直接用TimeSeriesSplit做多折滚动。4. 模型与评估把「命中率」这个词先定义清楚模型本身没什么花活逻辑回归加随机森林两档加起来不到五十行。真正需要花时间的是评估口径——同一个模型用两种口径能算出完全相反的结论这是这个项目最容易自欺欺人的地方。4.1 三档基线没有对比就没有真相任何「预测」类项目第一件要做的事不是训模型是定基线。红球 33 选 6随机猜的期望命中个数是 6 × 6/33 ≈ 1.09 个换算成单号命中率就是 18.2%。这个数字听起来挺高很多人第一次看到会以为「随便猜都能中两成」其实它衡量的是「你猜的号里有多少个真出了」不是「你中了几个号」。六红全中的概率是 1/C(33,6) 1/1107568蓝球再乘 16那就是另一个量级了。基线构造方式红球单号命中率说明随机基线每期从 1..33 随机取 6 个≈18.2%期望 1.09 个方差大频率基线取近 30 期出现次数最多的 6 个通常 17%~20%常被误认为「有效规律」模型概率排序取 top-6看回测必须和上面两行放一起看我见过不少类似项目报告里只写「模型准确率 78%」不提基线。78% 在这种极度不平衡的二分类里毫无意义——把 33 个号全判成「不出」准确率就有 27/33 ≈ 81.8%。所以评估必须用命中率、召回率这类口径而且必须和随机基线同框对比。频率基线尤其值得跑因为它就是大多数人凭直觉会用的策略模型赢不了它说明模型没学到东西。4.2 训练与参数两档模型摆在一起比from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.multioutput import MultiOutputClassifier def build_model(kind: str lr, seed: int 42): if kind lr: base LogisticRegression( C0.1, # 强正则样本少的时候必须压 max_iter1000, class_weightbalanced, # 正例只占 6/33必须补偿 ) return Pipeline([(sc, StandardScaler()), (clf, MultiOutputClassifier(base))]) if kind rf: base RandomForestClassifier( n_estimators300, max_depth6, # 深度必须砍不然每棵树都能记住训练集 min_samples_leaf20, random_stateseed, n_jobs-1, ) return Pipeline([(clf, MultiOutputClassifier(base))]) raise ValueError(f未知模型类型: {kind})几个参数值得单独说。C0.1是正则强度的倒数越小正则越强。这个数据集特征维度三十多、样本一千多属于典型的「特征比样本相对多」正则不压紧一点逻辑回归的系数会飘到没边。class_weightbalanced是必须的33 个二分类里正例只占 6/33不加权模型会倾向于全判 0训练完概率全挤在 0.18 附近排序基本随机。随机森林那边max_depth6和min_samples_leaf20都是在压过拟合。树模型在这种小样本上特别容易把训练集记住不砍深度的话训练集准确率能到 0.9 以上回测惨不忍睹。seed一定要显式传不然换台机器结果对不上调参时你会怀疑人生。4.3 评估口径逐期滚动回测才是真话一次性切分只给你一个数字滚动回测给你一条曲线。我一般写一个 walk-forward 循环每次用 t 之前的全部数据训练预测第 t1 期取概率最高的 6 个和真实结果算交集大小。import numpy as np def proba_matrix(model, X) - np.ndarray: MultiOutputClassifier 返回 33 个 (n,2)取正类列拼成 (n,33) return np.column_stack([p[:, 1] for p in model.predict_proba(X)]) def backtest(model, feat, draws: np.ndarray, start: int, k: int 6): hit_hist, base_hist [], [] for t in range(start, len(draws) - 1): X_tr feat.iloc[:t].to_numpy(dtypefloat32) y_tr onehot_reds(draws[:t]) model.fit(X_tr, y_tr) p proba_matrix(model, feat.iloc[[t]].to_numpy(dtypefloat32))[0] top np.argsort(p)[-k:][::-1] 1 # 概率最高的 k 个红球 hit_hist.append(len(set(top) set(draws[t 1]))) rng np.random.default_rng(t) # 同期随机基线种子固定可复现 rnd rng.choice(np.arange(1, 34), sizek, replaceFalse) base_hist.append(len(set(rnd) set(draws[t 1]))) return np.array(hit_hist), np.array(base_hist)这个循环有点慢一千期跑下来按模型复杂度要几分钟到十几分钟。想加速就把start之后的模型改成每 50 期重训一次中间直接用旧模型预测实践中对结果影响不大。算完之后别只看均值要看分布。我一般输出三个数平均命中个数、命中 ≥3 个的期数占比、以及和随机基线的配对差值。前两个告诉你绝对水平第三个告诉你模型到底有没有超越瞎猜。绝大多数情况下第三个数字会在 0 附近晃这时候就该诚实地承认模型没学到可用的规律。注意回测结果不要用「准确率」这个词汇报。33 维二分类的 accuracy 有 81.8% 的天然地板写出来只会误导自己。5. 避坑与排查五个我真实踩过的现场这类项目最气人的地方是「跑得通但结果是假的」——不报错、不崩、分数还挺好看你却不知道它在骗你。下面五条是我在实际拆这类代码时反复遇到的按「现象 → 原因 → 解决」写遇到对得上的直接照方抓药。5.1 指标虚高随机打乱切分把未来漏进了训练集现象训练集准确率 0.85测试集 0.83看着很稳可回测一跑平均命中 1.1 个和随机猜没区别。原因用了train_test_split(X, Y, test_size0.2)但没传shuffleFalse。sklearn 这个函数默认打乱时序数据被打乱后测试集里混着大量「未来」样本而特征里的遗漏值、近 30 期频率都是随时间累积的模型实际上是在用未来的统计量预测过去。解决所有切分都按时间顺序走要么手写cut int(n * 0.8)要么用TimeSeriesSplit(n_splits5)。改完你会发现测试分数掉到 0.4 以下那才是真实水平。这个数字掉下来是好事说明你的评估终于开始说实话了。5.2 特征里混进答案和值、跨度当成预测输入现象模型对某些期给出极高的概率一看果然全中但下一期立刻打回原形。原因build_features和标签对齐的时候错位了。比如特征表里第 t 行存的是第 t 期的和值、跨度、奇偶比——这些量是开奖结果的函数用它去预测第 t 期本身就是标准的数据泄漏。写代码时如果不小心把feat.iloc[:t]写成feat.iloc[:t1]或者make_dataset里的horizon切片方向搞反都会踩这个坑。解决加一条自检断言——所有特征列在第 t 行必须只依赖第 t 期及之前的数据。具体落地方式是构造完特征后把某一期的未来数据全部抹掉重算看当期特征值有没有变化变了就说明渗透了未来。这个检查写起来十行能省掉几天的自我怀疑。5.3 编码和列名UnicodeDecodeError与看不见的全角空格现象pd.read_csv直接抛UnicodeDecodeError: utf-8 codec cant decode byte 0xd0或者读进来了但df[红球1]报KeyError。原因前者是历史数据表多用 GBK 编码尤其从网页复制下来的表后者是列名里混了全角空格或者前后有不可见字符打印出来肉眼看不出差别。解决读文件时按utf-8-sig → utf-8 → gbk顺序回退别硬写一个编码。列名统一做c.replace(\u3000, ).strip()做之前先print([repr(c) for c in df.columns])把真实字符打出来一眼就能看到红球1\u3000这种。这个坑特别隐蔽我第一次遇到时盯着屏幕看了二十分钟。5.4 阈值没定概率输出被当成投注清单现象模型每期都吐出 20 多个「高概率号码」用户不知道选哪几个评估也算不明白。原因33 个独立二分类的输出概率没有做后处理直接全打印了。每个号码的概率都在 0.1~0.3 之间没有一个明确的取舍规则导致「预测结果」和「评估口径」对不上——评估时取 top-6展示时给 20 个两个数字没法互相印证。解决把 top-k 的 k 固定进配置文件评估和展示用同一个 k。想更严谨一点可以按概率排序后做累计概率截断或者用历史命中率反推最优 k一般 k 就在 5~8 之间太多覆盖率上去但命中率下来。关键是这一个是配置项不是每期手动决定。5.5 版本与随机种子换台机器结果就对不上现象本地跑出来平均命中 1.4 个同事拉下来跑是 1.1 个代码明明一样。原因两个。一是random_state没传或者传在不同的位置随机森林的每一折采样都不同二是 scikit-learn 版本差异OneHotEncoder的sparse参数在 1.2 之后改名sparse_outputLogisticRegression的默认solver也变过同样的代码不同版本行为不一致。解决requirements.txt里把版本号钉死scikit-learn1.3.2这种写法随机种子统一从配置文件读一路传到train_test_split、模型构造、交叉验证的random_state。再狠一点在训练脚本开头调numpy.random.seed(seed)和random.seed(seed)把所有随机源都按住。提示跨版本复现是玄学别指望pip install -U之后结果还一样。要么锁版本要么接受每次升级重跑一遍基线。6. 二次开发把一次性脚本改成能反复试的实验框架这份代码跑通之后最大的问题不是模型不够好而是「想试个新特征要改三个文件、跑两遍全量数据」。我的做法是先做结构改造再做模型升级顺序反了会很痛苦。改造分三块。第一块是特征注册把build_features拆成若干个返回DataFrame的小函数用一个列表登记配置里写上启用哪些。这样试新特征只要加一个函数、改一行 yaml不用动主流程。第二块是基线固化把随机基线和频率基线写成baseline.py里的两个函数任何一次训练结束都自动打印「模型 vs 基线」的配对差值跑不出来就说明白忙。第三块是实验记录每次训练把配置、git 短哈希、关键指标写进reports/exp_log.csv追加一行一周后翻记录能省掉大量重复劳动。改造点现状改成什么特征入口函数里硬编码几十行注册表 配置开关按名字启用基线对比报告里没有每次训练强制输出配对差值参数管理argparse 散落各处单一 yaml训练和回测共用结果留存只打印到终端追加写exp_log.csv含配置快照还有一个我很推荐的技巧写一个「泄漏自检」单元测试。做法是把第 t 期之后的所有数据整体打乱重排再跑一遍build_features如果第 t 期及之前的特征值有任何一列发生变化测试就失败。这个测试跑起来不到一秒但能挡住第 5.2 节那类最隐蔽的错误。同样值得写的还有「基线不变性」测试随机基线在固定种子下的平均命中应该稳定在 1.09 左右偏离太多说明数据加载或切片出了问题。模型侧想升级的话优先级我建议是 LightGBM 优于 XGBoost 优于 LSTM。前两个在千级样本上还能站住LSTM 基本是给自己找麻烦。真要上序列模型至少先把样本量做到五千期以上否则训出来的东西连基线都打不过纯属浪费时间。最后说句掏心窝的这类项目的正确心态不是「训出一个能用的模型」而是「搭一套能快速否证假设的流程」。新增一个特征五分钟内能知道它有没有用换一个模型十分钟内能拿到和基线的对比——这套流程本身的价值比任何一次跑出来的命中率都高。从那以后我每次接这类时序预测的活都强制先把随机基线跑出来贴在报告第一行谁提「准确率 90%」我就让他先跟这行数字比一比。希望帮到你。本文还有配套的精品资源点击获取