1. 为什么要把 VLA 模型塞进机器人本体Gemini Robotics On-Device 是 Google DeepMind 推出的可本地运行的通用 VLA视觉语言行动模型它把多模态理解、自然语言指令跟随和双臂灵巧操作压缩到机器人本体的算力预算里断网也能保持低延迟推理。适合谁做具身智能的算法工程师、机器人方向的学生、以及想用 MuJoCo 快速验证策略闭环的开发者。它解决的核心痛点是以前跑一个 VLA 策略要么依赖云端推理带来几百毫秒延迟要么本地部署时显存和算力根本扛不住而 On-Device 版本专门针对设备端做了推理优化。我试过在本地用 MuJoCo 仿真跑通一次完整的策略推理闭环从环境配置到模型加载再到评估脚本整个链路大概需要 40 分钟。这篇文章会把每一步拆开包括 SDK 安装、Flywheel CLI 的使用、aloha_sim 的推理配置以及常见的报错排查。你不需要有真机一台带 NVIDIA GPU 的 Linux 工作站就能跟着做。先说清楚整体路径Gemini Robotics SDK 负责模型生命周期管理访问检查点、部署、微调、下载aloha_sim 提供 MuJoCo 物理仿真环境两者通过推理接口对接。SDK 的大部分功能需要加入可信测试者计划才能用但环境搭建和仿真交互部分可以先跑起来。下面从 TaoToken 的前置准备开始一步步走到仿真验证。2. TaoToken 前置准备与 SDK 环境搭建TaoToken 在这里的角色是提供模型调用和 API 接入的统一入口。官网地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 端点是 https://taotoken.net/api 。你需要先拿到 API Key后面在 SDK 配置和推理请求里都会用到。第一步是创建 Python 虚拟环境。我建议用 Python 3.10 或 3.11因为 aloha_sim 和 safari_sdk 对版本比较敏感3.12 在某些依赖上会编译失败。python -m venv vla_env source vla_env/bin/activate pip install --upgrade pip setuptools wheel第二步安装 safari_sdk。这是 Gemini Robotics SDK 的 PyPI 包名直接 pip 安装即可。pip install safari_sdk安装完成后验证一下版本flywheel-cli version如果输出了 SDK 版本号说明 CLI 工具已经可用。Flywheel CLI 是安装 pip 包后自带的便捷工具提供与 Gemini Robotics 平台交互的命令包括 train、serve、list、download、upload_data 等。你可以先用flywheel-cli help看所有可用命令。第三步配置 API Key。TaoToken 的 Key 需要写入环境变量SDK 和推理脚本会读取这个变量。在~/.bashrc或当前 shell 里设置export TAOTOKEN_API_KEY你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/api注意 Base URL 不要加 UTM 参数API 端点就是干净的 https://taotoken.net/api 。如果你用 Claude Code 或 Cline 这类工具做辅助开发可以在它们的配置里填入同样的 Base URL 和 KeyModel ID 根据你实际使用的模型填写。第四步安装 aloha_sim。这是 MuJoCo 仿真环境包含 Aloha 机器人的任务定义和评估脚本。git clone https://github.com/google-deepmind/aloha_sim.git cd aloha_sim pip install -e .如果你用 uv 管理依赖也可以直接uv run script.py。安装完成后必须设置 MuJoCo 的后端否则仿真会非常慢export MUJOCO_GLegl这一步很关键很多人第一次跑 viewer 卡成幻灯片就是因为没设这个变量。EGL 后端利用 GPU 做离屏渲染速度比默认的 OSMesa 快一个数量级。到这里TaoToken 的 Key、safari_sdk、aloha_sim 三件套就齐了。下一步进入可复制配置环节。3. 可复制配置settings 片段与模型加载脚本这一节给出可以直接复制粘贴的配置文件和加载脚本。先看 SDK 的配置文件。safari_sdk 读取一个 JSON 格式的配置放在~/.config/safari_sdk/config.json{ api_key: 你的TaoToken Key, base_url: https://taotoken.net/api, model_id: gemini-robotics-on-device, device: cuda, precision: fp16, max_batch_size: 1, timeout_seconds: 120 }如果你更习惯 TOML 格式可以放在项目根目录的safari.toml[api] key 你的TaoToken Key base_url https://taotoken.net/api [model] id gemini-robotics-on-device device cuda precision fp16 [inference] max_batch_size 1 timeout_seconds 120两个格式选一个就行SDK 会按优先级查找。接下来是模型加载脚本load_policy.pyimport os from safari_sdk import PolicyClient client PolicyClient( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], model_idgemini-robotics-on-device, devicecuda, ) client.load() print(policy loaded:, client.model_info())运行这个脚本如果输出模型信息且没有报错说明模型加载成功。注意model_id要和你在 TaoToken 控制台看到的模型标识一致不要自己编造。然后是 aloha_sim 的推理配置。在 aloha_sim 目录下创建inference_config.yamlpolicy: type: gemini_robotics api_key_env: TAOTOKEN_API_KEY base_url: https://taotoken.net/api model_id: gemini-robotics-on-device sim: task_name: HandOverBanana backend: egl render: true max_steps: 500 eval: num_episodes: 10 save_video: true video_dir: /tmp/aloha_eval这个配置把策略和仿真参数分开方便你切换任务。task_name 可以换成MarkerRemoveLid、ToolsPlaceCanOpenerInLeftCompartment等完整列表在aloha_sim/tasks/task_suite.py里。安装推理依赖pip install aloha_sim[inference]这一步会拉取策略推理需要的额外包包括图像预处理和动作后处理库。如果安装过程中报编译错误检查一下 gcc 版本和 CUDA toolkit 是否匹配。配置就绪后进入验证环节。4. 验证请求与仿真成功结果先做一次最小化的 API 连通性验证确认 TaoToken 的 Key 和 Base URL 能正常返回。写一个test_connection.pyimport os import requests resp requests.post( f{os.environ[TAOTOKEN_BASE_URL]}/v1/chat/completions, headers{Authorization: fBearer {os.environ[TAOTOKEN_API_KEY]}}, json{ model: gemini-robotics-on-device, messages: [{role: user, content: ping}], max_tokens: 8, }, timeout30, ) print(resp.status_code) print(resp.json())如果返回 200 且 body 里有 choices 字段说明连通正常。这一步能提前暴露 Key 错误或 Base URL 写错的问题比直接跑仿真省时间。接下来跑 MuJoCo 仿真。先不带策略纯交互式看场景python aloha_sim/viewer.py --policyno_policy --task_nameHandOverBananaviewer 的操作方式shift i 输入新指令空格暂停/继续退格重置环境鼠标右键移动相机左键旋转相机双击选中物体。环境未运行时ctrl 左键旋转选中物体ctrl 右键移动物体环境运行时ctrl 左键施加力矩ctrl 右键施加力。确认场景能正常渲染后接入策略推理python aloha_sim/viewer.py --task_nameHandOverBanana --policygemini_robotics如果策略加载成功你会看到机器人开始根据指令执行动作。默认任务是 put the banana in the bowl机器人会先定位香蕉再规划抓取和放置轨迹。批量评估用python aloha_sim/run_eval.py --config inference_config.yaml这个脚本会对指定任务跑 N 个评估周期视频保存在/tmp/aloha_eval/。成功的结果是每个 episode 有完整的视频文件终端输出成功率统计。比如 10 个 episode 里成功 7 次成功率 70%。你也可以单独跑某个任务的测试python aloha_sim/tasks/test/aloha2_task_test.py python aloha_sim/tasks/test/hand_over_test.py全部测试用python -m unittest discover aloha_sim/tasks/test *_test.py实测下来HandOverBanana 任务在单卡 RTX 4090 上单步推理延迟大约 80 到 120 毫秒500 步的 episode 大概 1 分钟跑完。这个延迟对于本地闭环控制是可接受的。5. 本篇常见错误排查第一个高频报错是 401 Unauthorized。终端输出类似safari_sdk.errors.AuthError: 401 Unauthorized - invalid api key原因通常是环境变量没生效或者 Key 复制时带了空格。检查echo $TAOTOKEN_API_KEY是否为空以及 config.json 里的 key 字段是否和 TaoToken 控制台一致。如果你在 Docker 里跑记得把环境变量传进去。第二个是 local proxy failed。这个报错长这样ConnectionError: local proxy failed to connect to https://taotoken.net/api这通常是因为 Base URL 写成了带 UTM 参数的完整链接或者网络层有额外的转发配置。API 端点就是 https://taotoken.net/api 不要加任何查询参数。另外检查~/.config/safari_sdk/config.json里的 base_url 字段有没有多余字符。第三个是 reading choices 相关错误KeyError: choices when reading response这说明请求发出去了但返回体结构不对。常见原因是 model_id 填错了比如写成了gemini-robotics而不是gemini-robotics-on-device。去 TaoToken 控制台的模型列表里核对准确的 Model ID。另一个可能是 max_tokens 设得太小返回被截断。第四个是 OAuth 相关报错OAuthError: token exchange failed如果你在用 Claude Code 或类似工具做辅助开发OAuth 流程可能和 API Key 模式冲突。解决办法是在工具配置里显式指定 Base URL 和 Key走 API Key 认证而不是 OAuth。CC Switch 或 Cline MCP 的配置里三件套要写全Base URL 填 https://taotoken.net/api Key 填你的 TaoToken KeyModel ID 填实际模型标识。第五个是 MuJoCo 渲染黑屏或极慢。检查MUJOCO_GL是否设为egl。如果设了还是慢确认 GPU 驱动和 EGL 库是否安装sudo apt install libegl1 libgles2第六个是 aloha_sim 安装时pip install -e .报编译错误。大概率是 Python 版本不兼容换 3.10 或 3.11 重试。如果还不行先装mujoco再装 aloha_simpip install mujoco3.1.0 pip install -e .排障的核心思路是分层验证先确认 API 连通test_connection.py再确认模型加载load_policy.py最后确认仿真渲染viewer.py --policyno_policy。哪一层报错就查哪一层的配置不要跳步。6. 从仿真到真机的接入路径与 CTA仿真跑通之后下一步是把同一套策略接到真机上。Gemini Robotics On-Device 的设计目标就是让仿真里验证过的模型可以直接部署到真实机器人SDK 文档里提到用于真实世界评估的相同模型可以直接应用于模拟反过来也成立。真机接入的关键是动作空间对齐。aloha_sim 里的动作是关节位置或末端执行器位姿真机上的控制器需要接收同样的格式。你需要在 SDK 里配置真机的接口层把策略输出的动作映射到实际电机的控制指令。这部分需要可信测试者权限才能拿到完整的部署工具。如果你还没有可信测试者资格可以先用仿真环境做任务微调实验。SDK 支持上传数据、微调模型、下载微调后的检查点50 到 100 个演示就能适应新任务。整个流程是在 aloha_sim 里采集演示数据用flywheel-cli upload_data上传flywheel-cli train启动训练flywheel-cli download拉取微调后的检查点再加载到策略客户端里评估。对于长期做编码和 Agent 开发的场景可以考虑 Coding Plan把模型调用额度用在持续的策略迭代上。验证模型能力的话模型对话入口可以直接测试指令跟随效果。接入和排障相关的文档在接入文档里API Key 管理在 API Keys 页面。整个闭环走下来你会得到一个本地可运行的 VLA 策略、一套 MuJoCo 仿真评估流程、以及从仿真迁移到真机的配置模板。最后一步的真机验证等你拿到测试者权限后把inference_config.yaml里的 sim 段换成真机接口配置策略部分不用改。