人工智能深度学习【免费下载链接】torch-rechubA Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.项目地址https://gitcode.com/datawhalechina/torch-rechub点击查看免费下载Torch-RecHub 是一个轻量级的 PyTorch 推荐系统框架内置了覆盖排序、召回、多任务与生成式推荐 4 大场景的 10 经典数据集MovieLens、Criteo、Avazu、Amazon、Ali-CCP、YOOCHOOSE 等并附带开箱即用的预处理脚本与样例数据。本文将带你完整梳理 Torch-RecHub 支持的数据集清单并手把手演示各数据集的预处理实战流程让你零基础上手推荐模型训练。 Torch-RecHub 数据集总览Torch-RecHub 的数据集按任务场景组织在examples/目录下每个数据集都提供预处理脚本 样例 CSV 训练入口三件套。全部清单如下场景数据集规模/特点预处理脚本排序Criteo13 dense 26 sparseCTR 基准run_criteo.py排序Avazu约 4000W 样本11 天广告日志download_avazu.py排序Amazon-Electronics19W 用户、6W 商品preprocess_amazon_electronics.py排序Amazon-Books / Beauty书评/美妆类目交互数据preprocess_amazon_books.py排序Ali-CCP淘宝23 sparse 8 dense点击购买双标签preprocess_ali_ccp.py排序AliExpress16 sparse 63 dense曝光/点击/转化三标签run_aliexpress.py排序Census-Income41 列7 dense 33 sparsepreprocess_census.py召回MovieLens-1M9 个 sparse 特征 用户观看序列preprocess_ml.py召回一点资讯YiDian News22 列含设备/地域/文章特征preprocess.py召回Million Song Dataset百万级用户歌曲播放记录process_msd.py召回YOOCHOOSE / Diginetica电商点击流Session-based 基准preprocess_session_based.py生成式Amazon-Books / MovieLens-1MHSTU/HLLM/TIGER 序列格式preprocess_ml_hstu.py 每个数据目录中都内置了_sample.csv样例数据如 criteo_sample.csv下载全量数据前即可先跑通完整流程。 排序Ranking数据集实战排序任务是最常见的 CTR 预估场景examples/ranking/README.md 中给出了各数据集的详细说明与基准结果。CriteoCTR 预估的经典基准Criteo 是 Criteo Labs 发布的在线广告数据集包含数百万条广告点击反馈记录共 40 个特征13 个 dense 26 个 sparse第一列为点击标签。它的预处理逻辑内嵌在训练脚本中核心步骤按列名前缀区分特征类型I开头为 denseC开头为 sparsedense 特征先做MinMaxScaler归一化并额外离散化为新的 sparse 特征sparse 特征用LabelEncoder编码用SparseFeature/DenseFeature定义特征元信息交给DataGenerator切分数据训练一条命令即可启动python run_criteo.py --model_name widedeep python run_criteo.py --model_name deepfm完整实现见 run_criteo.py其中get_criteo_data_dict函数就是 Criteo 数据集预处理的标准范式。Avazu千万级样本的大数据量挑战Avazu 是 Kaggle 经典赛题数据集包含 11 天广告数据train 约 4000W 样本。由于 Kaggle 的 test 集缺少 label官方推荐按 7:1:2 划分训练/验证/测试集。仓库提供了带进度条的自动下载脚本cd examples/ranking/data/avazu python download_avazu.py # 自动下载并解压 625MB 的预处理数据Amazon 系列从 JSON 评论到训练数据Amazon 2014 评论数据集按商品类目拆分Torch-RecHub 覆盖了 Electronics19W 用户、Beauty120W 用户、Books800W 用户三个类目。原始数据是 json 行格式包含 reviews用户交互日志和 meta商品侧特征两个文件预处理脚本 preprocess_amazon_electronics.py 演示了完整处理链路逐行解析 json 为 DataFrame仅保留user_id、item_id、cate_id、time四列用build_map函数对商品 ID 和类目做 Label Encode按user_id 时间戳排序便于构造序列特征python run_amazon_electronics.py # 用样例数据跑 DIN 模型Ali-CCP 与 Census-Income多任务学习的标准配置Ali-CCP淘宝推荐日志包含 25W 用户、8000W 条数据含点击与购买两个标签是多任务模型AITM、ESMM、MMOE、PLE的标准评测集。其 preprocess_ali_ccp.py 处理了真实的工业级格式原始特征以\x01/\x02/\x03分隔符编码脚本负责解析、sparse 特征 Label Encode、dense 特征 MinMax 归一化并将测试集随机划分一半作为验证集最终 2:1:1。Census-Income美国人口普查收入数据则是最小化的多任务入门集预处理后 41 列7 dense 33 sparse。preprocess_census.py 的套路非常干净——类别列LabelEncoder、连续列MinMaxScaler、收入标签映射为 0/1python run_census.py --model_name MMOE python run_census.py --model_name PLE 召回Matching数据集实战MovieLens-1M召回模型的第一站MovieLens-1M 是召回任务的入门首选preprocess_ml.py 仅十几行代码就完成了核心工作读取users.dat、ratings.dat、movies.dat三个文件注意::分隔符和ISO-8859-1编码三表 merge 后输出统一宽表。之后在 run_ml_dssm.py 中框架工具函数generate_seq_feature_match会自动构造用户观看历史序列特征hist_movie_id、随机负采样生成训练样本、并把每个用户最后一条记录切为测试集——这正是召回数据集预处理的三大关键步骤。YOOCHOOSE 与 DigineticaSession-based 推荐基准这两个电商点击流数据集是 NARM、STAMP 等序列推荐论文的基准。preprocess_session_based.py 用一套可配置的流水线同时兼容两者按DATA_CONFIGS适配不同的分隔符与时间格式然后执行标准清洗——filter_by_session_len过滤长度小于 2 的 sessionfilter_by_min_item_freq过滤出现次数不足 5 的商品split_train_test按时间测试取最后 7 天切分训练/测试集Million Song Dataset音乐推荐的长尾处理MSD 包含百万用户对几十万首歌曲的播放记录。process_msd.py 展示了大文件 长尾过滤的典型做法只读取 50W 行做实验、对用户/歌曲 ID 做 Label Encode、剔除播放量低于阈值用户 100、歌曲 50的长尾对象最后关联 sqlite 中的歌曲元信息。 生成式推荐HSTU / HLLM / TIGER 的数据准备生成式推荐对数据的格式要求不同需要将交互记录整理成用户级时间序列。preprocess_ml_hstu.py 支持自动下载 MovieLens-1M然后按用户构建交互序列 → 按时间戳排序 → 用滑动窗口策略为每个用户生成多个训练样本大幅提升训练数据量→ 在用户级别切分 train/val/test最终输出seq_tokens、seq_time_diffs、targets等字段。preprocess_amazon_books.py 则演示了 HLLM 的 Amazon Books 数据准备支持raw原始数据与bytedance官方处理后数据两种来源过滤交互次数不足 5 的用户和物品python preprocess_amazon_books.py --data_source bytedance --output_dir ./processed 预处理通用技巧与数据流水线通读各数据集脚本后可以发现Torch-RecHub 的数据预处理收敛为 5 个标准动作统一宽表把多来源文件 merge 成一行一样本的 CSVLabel Encode所有 sparse/类别特征含 user_id、item_id离散化为整数并记录vocab_size归一化dense 特征用MinMaxScaler缩放到 [0,1]序列构造按用户分组 时间戳排序生成历史行为序列SequenceFeature见 features.py切分与加载交给 data.py 中的DataGenerator排序/多任务或MatchDataGenerator召回生成 DataLoadersplit_ratio[0.7, 0.1]即 7:1:2 切分更多数据流水线细节可参考官方文档 core/data.md。 快速上手三步跑通第一个实验# 1. 克隆仓库 git clone https://gitcode.com/datawhalechina/torch-rechub cd torch-rechub # 2. 用内置样例数据跑 Criteo DeepFM无需下载全量数据 cd examples/ranking python run_criteo.py --model_name deepfm # 3. 或用 MovieLens 样例数据跑召回模型 cd ../matching python run_ml_dssm.py小结Torch-RecHub 的数据集生态覆盖了从百万级到千万级、从单任务 CTR 到多任务、序列与生成式推荐的全部主流场景。新手建议从 Criteo / MovieLens-1M 的样例数据起步跑通流程后再替换为全量数据即可复用本文的预处理套路开展自己的推荐实验。赞分享人工智能深度学习【免费下载链接】torch-rechubA Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.项目地址https://gitcode.com/datawhalechina/torch-rechub点击查看免费下载相关推荐终极指南使用Fusion 360插件优化3D打印螺纹设计的完整教程终极指南使用Fusion 360插件优化3D打印螺纹设计的完整教程 在3D打印领域标准60度V型螺纹往往难以完美打印这是因为它们的设计基于机械加工的公差要人工智能机器学习深度学习分布式训练Recommenders数据准备完全手册处理MovieLens、MIND等流行数据集Recommenders数据准备完全手册处理MovieLens、MIND等流行数据集 推荐系统数据准备是构建高效推荐模型的关键第一步。Microsoft Re机器学习深度学习数据科学BasicSR数据集大全从DIV2K到Vimeo90K的完整预处理指南BasicSR数据集大全从DIV2K到Vimeo90K的完整预处理指南 BasicSR是一个强大的开源图像和视频恢复工具箱专门用于超分辨率、去噪、去模糊等任人工智能深度学习计算机视觉图像处理视频处理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考