你保持现在的坐姿或站姿时身体正在以每秒上百次的频率做着一件事防止自己摔倒。人类做这件事毫不费力机器人却要为此建立整套理论——从支撑多边形、零力矩点ZMP到捕获点人形机器人平衡的科学已经发展了五十多年。本文通俗讲清这套科学静态平衡靠什么判据、人类恢复平衡的三板斧、机器人学界的对应方案并用一次真实的训练实验PPO 算法 150 万次尝试展示把理论变成会站立的机器人到底难在哪。全部数据与代码开源可复现。实验与开源仓库https://atomgit.com/capybarala/q1-balance-lab启元 Q1 官方模型 MuJoCo PPO全部脚本与 150 万步模型开源 理论出处支撑多边形与 ZMPVukobratović 等、平衡恢复三策略Horak Nashner, 1986、捕获点Pratt 等2006前言人形机器人正在从发布会走进客厅2026 年多款消费级人形机器人开始量产交付启元 Q1 就是其中之一——88 厘米的身高、22 个可动关节能招手、能碰拳、能跳舞。但大多数人不知道的是让这样一台机器站稳背后站着一套发展了五十多年的科学从二十世纪七十年代的零力矩点理论到生物力学的平衡策略研究再到今天用强化学习让机器人在虚拟世界里反复摔倒的训练方法。这篇是这套科学的一次通俗导览写它的起因很简单我在没有真机的情况下用启元公开发布的官方模型做了一个让 Q1 学会不被推倒的训练实验过程里把平衡这件事的科学脉络重新学了一遍——读到的理论、踩到的坑、得到的出人意料的结局都记录在文中。一、平衡是被低估的超能力先做个小实验双脚并拢站立闭上眼睛感受一下脚底。你正在做的是以每秒上百次的频率微调全身几十块肌肉把约 60 公斤的重量稳定在一个比脚掌大不了多少的区域里。前庭系统、视觉、本体感觉三路信号汇合小脑实时解算——这套系统让人类可以在摇晃的公交车上刷手机。机器人没有这套系统。对一台双足机器人来说站着不倒是需要从零建立的能力而被推之后不倒则是一个让学界研究了五十多年、至今没有完全解决的问题。本文先讲清这门科学的三个核心概念都很好懂再带你亲眼看一次训练实验让启元 Q1 的数字分身在虚拟世界里尝试 150 万次看看它能学到哪一步。平衡中的 Q1双臂展开、重心回落——对人类是本能对机器人是一门五十年历史的科学。二、静态平衡的判据重心必须落在支撑多边形里第一块基石是支撑多边形support polygon双脚掌与地面接触点围成的凸区域。静态平衡的判据一句话可以说完——重心在地面上的垂直投影必须落在这个多边形之内。支撑多边形示意双脚接触点围成的区域就是安全区。重心投影在区内则稳定一旦越界没有任何地面反力能把你拉回来——只能摔倒或跨步。这个判据解释了很多日常直觉为什么单脚站比双脚难支撑多边形缩小近一半、为什么踮脚尖更难多边形再缩小到前脚掌、为什么背 heavy 包的人会不自觉前倾把重心投影挪回多边形内。对机器人同样成立。我们在启元 Q1 的官方模型上做过一组实测让 Q1 以位置控制方式站立22 个关节全部锁在站立角度然后从侧面施加 0.5 秒的推力力度从 10N 加到 80N——30N 以内稳如泰山30N 时重心偏移不到 2 厘米还在支撑多边形内40N 一推直接摔倒。边界精确得像用尺子画的——因为支撑多边形判据本来就是硬几何重心出了多边形物理定律不允许任何关节力矩把它救回来。三、人类的三板斧动态平衡的三种策略静态判据只回答了什么时候会倒。真正有趣的是倒之前人做了什么。生物力学的经典研究Horak Nashner, 1986发现人类恢复平衡用的是三种策略按扰动大小切换人类的三种平衡恢复策略Horak Nashner, 1986小扰动用踝、中扰动加髋、大扰动直接跨步切换是全自动的。踝策略小扰动身体像一根绕脚踝转动的倒立摆靠脚踝发力把重心兜回来——你在公交车上急刹时身体前倾又回来用的就是它髋策略中扰动扰动再大些脚踝力矩不够了人会用髋部快速屈伸带动上半身反向摆动用躯干的动量把重心拉回来跨步策略大扰动重心实在兜不回来了那就迈一步——把支撑多边形直接搬到重心要去的地方。第三条最反直觉也最深刻摔倒不是没站稳而是没来得及换一个能站的地方。人在被人猛推时会本能地跨出一大步不是狼狈而是最优解。三种策略的原始出处Horak 与 Nashner 1986 年发表在 Journal of Neurophysiology 的经典论文。四、机器人的对应方案ZMP 与捕获点机器人力学界为同样的思想建了一套严谨的语言。零力矩点ZMP——由南斯拉夫学者 Vukobratović 等在二十世纪七十年代提出——是支撑多边形理论在动态场景的推广行走或被推时地面反力的等效作用点就是 ZMP只要 ZMP 始终留在支撑多边形内机器人就不会翻倒。ZMP 是双足机器人步态规划几十年的基石。捕获点Capture Point——Pratt 等人在 2006 年前后提出——更进一步回答了被推之后该往哪跨步把当前运动状态考虑进去计算出一个位置只要下一步迈到那里就能恰好把所有动能消耗掉、彻底站稳。这个点因此得名捕获点capture point。用生活语言总结这三代理论支撑多边形告诉你哪里能站ZMP 告诉你动态中会不会倒捕获点告诉你下一步迈到哪就能救回来。捕获点的原始定义Pratt 等人 2006 年提出——下一步迈到这个点动能恰好耗尽、彻底站稳。而本文的实验恰恰是这些理论的一个反面注脚我们训练的策略只会第一代方案——像一根会小幅抖动的棍子那样调整关节既不会计算捕获点也不会跨步。这就是它扛不住 40N 的理论解释。五、150 万次尝试机器人如何训练理论说该跨步但让神经网络自己悟出跨步是另一回事。我们用强化学习做了一次实验在 MuJoCo 物理仿真里让 Q1 的数字分身从零学被推后不倒。5.1 四个分身同时训练训练最怕低效一个分身摔倒后要重置重来。我们让4 个数字分身同时训练各自的经历汇总给同一位算法消化——相当于把训练效率翻了四倍。5.2 训练算法PPO负责训练的是一种叫PPO的算法Proximal Policy Optimization近端策略优化。它的工作方式每隔一小段时间把 4 个分身最近的尝试全部回看一遍——哪些动作得了高分、哪些纯属乱动——然后小幅调整策略的行为倾向。近端策略优化Proximal Policy Optimization来自 Proximal Policy Optimization AlgorithmsSchulman et. al., 2017这篇论文是当前最先进的强化学习 (RL) 算法。这种优雅的算法可以用于各种任务并且已经在很多项目中得到了应用最近火爆的ChatGPT就采用了该算法。关键词是小幅。PPO 的核心主张是不做激进改革每次调整都限制在离上一版策略不远的范围内宁可慢一点也不让策略大幅震荡。这种稳健风格让它成了目前训练机器人最常用的强化学习算法之一。5.3 核心训练代码二十行启动一次训练整个训练的主循环核心配置压缩后不到二十行env DummyVecEnv([build_env for _ in range(4)]) # 4 个分身并行 model PPO( MlpPolicy, env, # 策略网络多层感知机 n_steps512, # 每次收集 512 步经验 batch_size2048, # 小批量更新 n_epochs10, # 每批经验回看 10 遍 learning_rate3e-4, # 学习率小步慢走 ent_coef0.0, # 不额外鼓励随机探索 gamma0.99, # 未来奖励的折扣率 devicecpu, # 纯 CPU 训练 ) model.learn(total_timesteps1_500_000, callbackProgressCallback(total))每个参数都值得一句人话解释n_steps512是每 512 步做一次小结gamma0.99表示眼前的 1 分比 100 步后的 1 分值钱——正是这个折扣让机器人优先保证现在别摔ent_coef0.0表示不鼓励它故意乱试我们希望它稳健。这些超参数没有标准答案本文的取值是数次试错的结果。5.4 循序渐进从浅水区到深水区推力难度是精心编排的。想象教游泳没人会第一天就把孩子扔进深水区。训练中的推力安排同理——训练初期几乎没有推力先专心学会站这件最基本的事中期随机方向的推力开始出现力度从约 12N 起步后期推力越来越强、越来越刁钻方向随机直到超过 60N——远超它作为锁死木棍时代能扛住的极限。这种设计有个学名叫课程学习curriculum learning先在小扰动里建立基本功再逐级加码。和游泳教练把学员从浅水区慢慢带到深水区是同一个道理。5.4 45 分钟后的评估4 个分身并行、约 45 分钟的 CPU 时间、150 万步决策之后用与基线实验完全相同的协议0.5 秒侧推、力度梯度重新评估。结果一句话概括它扛住了 30N——和锁死法打平但在 40N 面前两个都倒了。强化学习没有输给位置控制也没有赢它它用 150 万次尝试把自己练到了与天生锁死相同的静态水平但动态恢复还没学会。训练后策略被 40N 推力击中的实录物理仿真回放它在推力下大幅调整姿态最终仍未恢复。六、为什么这么难理论五十年前就有做到是另一回事诊断发现策略并非摆烂被推时它在大幅、积极地调整动作变化幅度覆盖全程但调整没有有效的方向感——学到了挣扎没学到捕获。结合理论看这次实验恰好演示了从理论到工程的鸿沟捕获点理论要求策略看见自己的运动状态并计算落足位置——而我们的实验只给了它原始终感信号让它自己从摔倒里悟人类的踝-髋-跨三策略是分层自动切换的——我们的实验用单一策略硬扛所有扰动理论假设可以迈步——Q1 的实验环境里跨步意味着单脚支撑的瞬间稳定这又回到 ZMP 约束的严格解算。理论是地图工程是走路。地图五十年前就画好了走过去每一步都是算力、奖励设计与训练时间的账。实验的完整数据、脚本与 150 万步模型已开源https://atomgit.com/capybarala/q1-balance-lab三个改进方向更大的动作权限、恢复过程的奖励梯度、更干净的状态观测也写在实验笔记里——接手的人可以少走我们已经走过的弯路。七、最后一句话双足行走的机器人曾经只存在于实验室与科幻片里如今它们开始走进客厅、门店与展厅。让它们站稳的不是某一次灵光乍现而是从支撑多边形到捕获点、从生物力学到强化学习一代代研究者把不摔倒这件事拆成了一块块可计算的科学。下一次看到机器人稳稳地走过起伏的地面不妨想一想在那段平稳的画面背后是它以及它的训练者们在你看不见的地方摔过的成千上万次。参考资料启元机器人开发者社区官方 q1_v3 模型包启元机器人开发者社区 · 一站式具身智能研发平台Vukobratović M., Stepanenko J. On the stability of anthropomorphic systems. Mathematical Biosciences, 1972.ZMP 概念的奠基工作Horak F. B., Nashner L. M. Central programming of postural movements: adaptation to altered support-surface configurations. Journal of Neurophysiology, 1986.踝/髋/跨三策略Pratt J., et al. Capture Point: Per Step Prediction and Control of Balance. International Journal of Robotics Research, 2006.捕获点本文实验开源仓库 q1-balance-labhttps://atomgit.com/capybarala/q1-balance-lab