什么是 Joint-Space Empowerment深入理解 joint-space-empowerment 论文核心思想与代码实现原理Joint-Space Empowerment关节空间赋能是论文《Joint-Space Empowerment for Dexterous Coordination in Tendon-Driven Hands》ICML 2026 Spotlight提出的核心概念。joint-space-empowerment 仓库 收录了该论文面向Adroit 手和MyoHand 肌腱驱动手的官方训练好的强化学习策略PPO 模型覆盖舞龙球BaodingBalls、骰子重定向DieReorient、转钥匙KeyTurn、转笔PenTwirl等高难度灵巧操作任务帮助读者快速理解并复现这一让欠驱动肌腱手达到直驱手操控水平的研究。 一句话理解这篇论文在解决什么问题在机器人领域灵巧手大体分两类类型代表特点直驱手Adroit每个关节有独立电机想怎么动就怎么动肌腱驱动手MyoHand由少量肌肉/肌腱拉动多个关节结构仿生灵长但欠驱动actuator 数量 关节数量肌腱驱动手虽然更像人手但控制难度远高于直驱手你只能控制肌肉的收缩而不能直接控制每个关节转多少度肌肉与关节之间存在一个复杂的非线性映射。论文提出的joint-space empowerment关节空间赋能正是为此而来以手部关节空间中的可达/可控能力作为中间表征把肌腱驱动的肌肉控制问题桥接到关节空间中让强化学习策略能更高效地学会高维度的灵巧协调Dexterous Coordination。简单说直驱手在 Adroit 上能学会的花活转笔、舞球、转钥匙欠驱动的 MyoHand 也能学会——这正是仓库中两套模型都能完成同一批任务的依据。 仓库里有什么模型清单这个仓库本质是一个HuggingFace 模型库所有文件按手部/任务/随机种子三级目录组织详见 README.mdAdroit/直驱手的 4 个任务模型MyoHand/肌腱驱动手的 6 个任务模型额外包含Reorient100100 个目标朝向的重定向任务与Reorient8-sparse仅 8 个目标朝向的稀疏奖励变体每个seed_x目录中通常包含两类文件文件作用rl_model_xxxxx_steps.zip训练好的 PPO 策略模型本体rl_model_vecnormalize_xxxxx_steps.pkl观测归一化统计量VecNormalize 参数推理时必须与模型配套加载例如 Adroit/BaodingBalls/seed_0/ 中的rl_model_10000000_steps.zip表示该策略经过了1000 万步训练。值得注意的是MyoHand/Reorient100/Pretraining_Play/ 目录下的rl_model_replay_buffer_1000000_steps.pkl是经验回放缓冲区Replay Buffer对应训练中的预训练/行为数据生成阶段说明该任务采用了先预训练收集数据、再正式训练的两阶段流程Pretraining_Play与Training目录分离。⚙️ 从 YAML 配置看训练实现原理每个任务目录下都有一个 YAML 训练配置文件是理解实现细节的最佳入口。以 Adroit/BaodingBalls/CustomAdroitBaodingP1-v1.yaml 为例关键字段含义如下total_timesteps: 10_000_000 # 总训练步数1000万 eval_freq: 100_000 # 每 10万步评估一次 save_freq: 1_250_000 # 每 125万步保存一次模型 reward_type: dense # dense稠密奖励 / sparse稀疏奖励 norm_obs: True # 启用观测归一化对应 vecnormalize 文件 clip_obs: 10.0 # 观测值裁剪范围防止离群值 env_kwargs: max_episode_steps: 200 # 每集最多 200 步 weighted_reward_keys: # 各奖励项的权重 pos_dist_1: 1 # 球1与目标的距离奖励 pos_dist_2: 1 # 球2与目标的距离奖励 alive: 1 # 存活奖励球未掉落 solved: 5 # 成功完成奖励对比 MyoHand/Reorient8-sparse/myoHandReorient8-v0.yaml它的reward_type是sparse稀疏奖励只有当骰子朝向完全匹配目标时才给奖励是典型的更难学、更真实的设定——而 MyoHand 依然能学会从侧面验证了 joint-space empowerment 表征对肌腱驱动手的有效性。各任务的训练规模total_timesteps大致为任务AdroitMyoHand说明BaodingBalls 舞球1000万1000万双球持续抖动最难任务之一DieReorient 骰子重定向1000万1000万把骰子转到指定朝向KeyTurn 转钥匙750万750万钥匙孔中旋转钥匙PenTwirl 转笔500万500万连续转笔不掉落Reorient100 重定向—200万100 个随机目标朝向Reorient8-sparse 稀疏重定向—500万仅稀疏奖励 3 步跑起训练好的模型想直观感受这些策略的能力只需 3 步克隆 JoSE 官方代码库本仓库是模型库代码在其配套的 JoSE 仓库中安装依赖环境基于uv管理从代码库根目录运行uv run python play.py --hand hand --task task --seed seed参数取值--handAdroit或MyoHand--taskBaodingBalls、DieReorient、KeyTurn、PenTwirl、Reorient8-sparse、Reorient100/Training--seed不同手与任务支持的种子不同0~5对照本仓库目录结构即可确认哪些组合可用play.py会自动下载对应的预训练模型在仿真环境中执行并可视化手的动作——你会看到 MyoHand 这只只有肌肉、没有直驱电机的手完成转笔和舞球。❓ 新手常见疑问Qzip 模型和 pkl 文件是什么关系A.zip是策略网络权重.pklvecnormalize是训练时观测统计量均值/方差推理时先对观测做同样的归一化再输入网络二者必须配套使用否则策略会失效。Q为什么多个 seedA每个任务用 5 个以上随机种子seed_0~seed_5独立训练用于统计实验的稳定性与方差这是深度学习论文的惯例。Qadd_wrist_pronation_supination: true是什么意思A见 Adroit/KeyTurn/CustomAdroitKeyTurnRandom-v0.yaml表示在仿真中额外开放手腕的旋前/旋后自由度让动作更自然、更接近人类的腕部配合。Qtask_variables_keys是干嘛的A定义环境中需要随机化/跟踪的任务变量如舞球任务中的target1_pos、target2_err两球的目标位置与误差用于课程化采样目标。 总结joint-space-empowerment 仓库虽小只有模型与配置但它浓缩了一项完整研究的产物概念层面joint-space empowerment 用关节空间的可控性表征弥合了肌腱驱动手肌肉空间与任务空间之间的鸿沟验证层面同一批高难度任务上欠驱动 MyoHand 与直驱 Adroit 都学会了相同水平的灵巧操作工程层面PPO 策略 观测归一化 稠密/稀疏奖励配置构成一套可复现的灵巧操作训练范式。对刚入门强化学习 机器人仿真的读者建议按DieReorient → KeyTurn → PenTwirl → BaodingBalls的难度顺序依次运行play.py观察效果再对照各任务的 YAML 配置 理解奖励设计这是最快吃透joint-space empowerment全貌的路径。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考