joint-space-empowerment Reorient100 预训练机制揭秘replay buffer 回放与 sparse 奖励如何加速灵巧手学习本文带你拆解joint-space-empowerment仓库中最具代表性的Reorient100任务它用replay buffer 回放预训练 dense 奖励的组合把 MyoHand 肌腱驱动灵巧手的强化学习训练压缩到 200 万步内完成而对照实验Reorient8-sparse仅用 sparse 奖励就需要 500 万步。下面我们从任务设定、预训练机制、奖励函数设计到模型加载完整讲清这套「加速灵巧手学习」的方法。一、先认识 Reorient100100 个目标朝向的灵巧手任务 Reorient100环境 IDmyoHandReorient100-v0是一个**物体重定向reorientation**任务灵巧手需要抓住一个物体并在有限步数内把它转到 100 个不同的目标朝向之一。它属于 joint-space-empowerment 项目ICML 2026 Spotlight 论文《Joint-Space Empowerment for Dexterous Coordination in Tendon-Driven Hands》官方发布的全部训练好的策略之一。与仓库里的其他任务相比Reorient100 有两个鲜明特点特性Reorient100说明目标数量100 个目标朝向比 Reorient8 的 8 个目标更难泛化奖励类型dense密集奖励每一步都有连续反馈见下文对照训练步数200 万步全仓库步数最少的 MyoHand 任务之一预训练replay buffer 回放单独存放 100 万步回放经验环境配置详见 myoHandReorient100-v0.yaml其中几个关键参数值得注意max_episode_steps: 50每回合只有 50 步考验手的「快准狠」weighted_reward_keys奖励由pos_align、rot_align位置/姿态对齐、act_reg动作正则、drop掉物惩罚、bonus成功奖励加权构成task_variables_keysobj_des_rot、obj_err_pos、obj_err_rot即目标旋转与位置/姿态误差会进入任务状态。二、预训练核心replay buffer 回放如何为强化学习「暖机」 打开 MyoHand/Reorient100/ 目录你会看到 Reorient100 比其他任务多了一层Pretraining_PlayReorient100/ ├── Pretraining_Play/ # 预训练阶段100 万步 │ ├── seed_0/ │ │ ├── rl_model_replay_buffer_1000000_steps.pkl # 回放缓冲区约 2GB │ │ └── rl_model_vecnormalize_1000000_steps.pkl # 观测归一化统计 │ └── seed_1 … seed_4 └── Training/ # 正式训练阶段200 万步 └── seed_0/ ├── rl_model_2000000_steps.zip # 最终 PPO 策略模型 └── rl_model_vecnormalize_2000000_steps.pkl这套两阶段设计对新手来说可以这样理解第一阶段Play 回放让智能体在环境中自由探索 100 万步把所有「状态-动作-奖励」轨迹存入 replay buffer回放缓冲区。这个单文件经 Git LFS 存储解压后约1.95GB是一个相当可观的离线经验池。第二阶段Training基于这份「暖机」经验继续做在线强化学习只用了 200 万步就收敛出最终策略 rl_model_2000000_steps.zip。为什么有效灵巧手这类高自由度任务MyoHand 有 16 个肌腱驱动自由度初期探索效率极低绝大多数轨迹都是「乱抓、掉落」。预训练阶段相当于让智能体把「怎么抓稳」这类基础技能先跑一遍replay buffer 把这些宝贵样本攒下来正式训练再从中回放采样等于把最难的「从随机乱动到稳定抓握」这段冷启动期前置了。这正是离线/在线混合offline online强化学习的典型用法。另外每个阶段都保留了vecnormalize观测归一化统计文件这是 stable-baselines3 训练 PPO 的标准产物推理时必须与模型配套加载保证观测分布一致。三、dense 与 sparse 奖励对照为什么 Reorient8-sparse 要多练一半 ⚡仓库中的 Reorient8-sparse 是理解奖励设计的关键对照组。对比两份环境配置配置项Reorient100 配置Reorient8-sparse 配置total_timesteps2,000,0005,000,000reward_typedensesparsemax_episode_steps5050eval_freq20,00050,000save_freq250,000625,000两组weighted_reward_keys完全相同pos_align、rot_align、act_reg、drop、bonus差别全在reward_typedense密集奖励每一步都会根据物体当前与目标的对齐程度给出连续分数智能体「离成功有多近」始终有梯度可循学习信号稠密、收敛快——所以 Reorient100 只需 200 万步。sparse稀疏奖励只有任务达成时才有奖励其余全为零。它更贴近真实目标、不易被「奖励黑客」钻空子但探索困难需要约 2.5 倍的步数500 万才能训好——这就是稀疏奖励的经典代价。换句话说论文团队用同一套奖励权重、同一只 MyoHand 手分别验证了**「密集奖励 回放预训练」的加速上限和「纯稀疏奖励」的稳健性基线**两种路线最终都发布在仓库里供复现。四、快速上手加载 Reorient100 模型并可视化 ️本仓库是模型权重仓库基于 stable-baselines3 格式。可视化需要在配套的 JoSE 代码仓库中执行play.py它会按参数自动下载对应模型并在物理仿真中运行。先克隆本仓库git clone https://gitcode.com/hf_mirrors/jamesheald/joint-space-empowerment然后在 JoSE 仓库根目录uv run python play.py --hand MyoHand --task Reorient100/Training --seed 0常用参数组合速查更多说明见 README.md参数可选值--handAdroit、MyoHand--taskBaodingBalls、DieReorient、KeyTurn、PenTwirl、Reorient8-sparse、Reorient100/Training--seed05不同任务-手的可用种子不同 小提示Reorient100 每个 seed0~4都独立发布了完整模型与归一化文件方便你做多种子统计评估验证策略的稳定性。五、关键文件速查 文件作用myoHandReorient100-v0.yamlReorient100 环境超参200 万步、dense 奖励、奖励权重myoHandReorient8-v0.yamlReorient8 对照组500 万步、sparse 奖励rl_model_replay_buffer_1000000_steps.pkl预训练回放缓冲区约 2GBLFS 存储rl_model_2000000_steps.zipReorient100 最终 PPO 策略seed_0rl_model_vecnormalize_2000000_steps.pkl配套观测归一化统计推理时必需六、小结Reorient100 是 joint-space-empowerment 仓库里最值得研究的样本它清晰展示了三条加速灵巧手强化学习的工程经验回放预训练先用 100 万步 Play 阶段攒下 replay buffer把冷启动探索前置密集奖励连续对齐反馈让 200 万步即可完成 100 目标朝向任务而 sparse 奖励对照组需要 500 万步多种子发布5 个独立 seed 的模型与归一化统计齐全方便复现与统计评估。理解了这套「回放 奖励设计 多种子」的组合拳你再去仓库里看 BaodingBalls、PenTwirl、KeyTurn 等其他任务的 yaml 配置时基本都能一眼读懂它们的设计取舍。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考