【免费下载链接】leisaacLeIsaac provides teleoperation functionality in IsaacLab using the SO101Leader (LeRobot), including data collection, data conversion, and subsequent policy training.项目地址https://gitcode.com/gh_mirrors/le/leisaac点击查看免费下载LeIsaac 是一个在 IsaacLab 中实现 SO101LeaderLeRobot遥操作的开源项目支持数据采集、数据转换与策略训练。本文讲解如何通过 ZMQ 跨机器通信把本地连接的机械臂遥操作信号传到云端 GPU 实例实现真正的LeIsaac 远程遥操作让 Isaac Sim 仿真跑在云上、机械臂握在手里。1. 为什么需要跨机器遥操作Isaac Sim 对 GPU 要求很高本地电脑往往带不动大家通常会把它部署到云端 GPU 实例上。但问题来了SO101 Leader 机械臂通过 USB 插在你的笔记本上云端的仿真环境根本摸不到这条串口。LeIsaac 内置了一套ZMQZeroMQPUB/SUB 发布订阅机制解决这个矛盾本地机器运行一个轻量发布服务读取机械臂电机位置并通过网络发送云端机器订阅这些关节状态用它们驱动仿真中的机械臂。无需 USB 转发、无需在本地安装 Isaac Sim只需要一台能跑 Python 的普通电脑即可。2. ZMQ 跨机器控制的工作原理整个链路非常简单两条命令就完成部署本地机器接机械臂 云端 GPUIsaac Sim ┌───────────────────────────┐ ZMQ PUB/SUB ┌─────────────────────────┐ │ so101_joint_state_server │─────────────────►│ SO101LeaderRemote │ │ 以 50 Hz 读取电机并发布 │ tcp:5556 │ teleop_se3_agent.py │ └───────────────────────────┘ │ --remote_endpoint │ └─────────────────────────┘关键实现位于 so101_joint_state_server.py它在本地机器上以zmq.PUB模式绑定tcp://0.0.0.0:5556每 20 毫秒50 Hz打包 6 个关节的浮点位置并发出。云端则由 SO101LeaderRemote 设备类以zmq.SUB模式订阅接收它是本地SO101Leader设备的即插即用替代品环境配置和动作处理完全不用改。 官方文档中这一节的说明见 Remote Teleoperation可配合阅读。3. 环境准备三步装好依赖先获取项目代码git clone https://gitcode.com/gh_mirrors/le/leisaac云端 GPU 机器跑 Isaac Sim安装完整仿真栈PyTorch、Isaac Sim、IsaacLab并安装 LeIsaac 的remote依赖即pyzmqpip install source/leisaac[remote]本地机器接机械臂只需一条轻量安装不需要PyTorch / Isaac Sim / IsaacLab 这些重型依赖pip install source/leisaac[remote]remote依赖在 pyproject.toml 中定义为pyzmq27.0.0非常轻量。4. 本地端启动关节状态发布服务在插着 Leader 机械臂的机器上打开终端 1 运行python scripts/environments/teleoperation/so101_joint_state_server.py \ --port /dev/ttyACM0 --id leader_arm --rate 50几个要点自动标定如果找不到标定文件脚本会自动进入交互式标定流程移动机械臂到行程中间、按回车、再走过全行程。标定结果缓存在scripts/environments/teleoperation/.cache/{id}.json之后无需重复标定强制重新标定加--recalibrate参数即可--rate电机读取频率Hz遥操作场景下 30–50 Hz 足够流畅。如果提示串口权限错误ConnectionError可临时执行sudo chmod 666 /dev/ttyACM0或把当前用户加入dialout组后重启。5. 云端一条参数接入远程机械臂在云端 GPU 实例上打开终端 2运行 LeIsaac 的遥操作入口 teleop_se3_agent.py只需多加一个--remote_endpoint参数python scripts/environments/teleoperation/teleop_se3_agent.py \ --taskLeIsaac-SO101-PickOrange-v0 \ --teleop_deviceso101leader \ --remote_endpointtcp://本地机器IP:5556 \ --num_envs1 --devicecuda --enable_cameras--remote_endpoint的设置逻辑见 teleop_se3_agent.py一旦指定该参数程序会自动改用SO101LeaderRemote替代本地串口设备其余参数任务名、环境数、相机开关与本地遥操作完全一致可以顺手加上--record直接录制 HDF5 数据集。进入 IsaacLab 窗口后按b键开始遥操作用本地 Leader 臂控制仿真中的机械臂完成后按r重置并标记失败或n重置并标记成功即可切换场景。6. 网络不通怎么办SSH 反向端口转发云实例通常处于 NAT / 防火墙之后本地 IP 直连不通。此时用SSH 反向端口转发把本地 5556 端口映射到云端的 localhost# 在本地笔记本上执行把本地 5556 端口转发到云实例的 localhost:5556 ssh -R 5556:localhost:5556 ubuntu云实例IP然后把云端命令中的 endpoint 改为tcp://localhost:5556python scripts/environments/teleoperation/teleop_se3_agent.py \ --taskLeIsaac-SO101-PickOrange-v0 \ --teleop_deviceso101leader \ --remote_endpointtcp://localhost:5556 \ --num_envs1 --devicecuda --enable_cameras这条隧道同时解决了云访问本地和内网穿透两个难题是最稳妥的方案。7. 关键参数速查表参数运行端作用--remote_endpoint云端ZMQ 订阅地址如tcp://192.168.1.10:5556或tcp://localhost:5556SSH 隧道时--port本地机械臂串口默认/dev/ttyACM0--id本地标定文件 ID默认leader_arm--rate本地电机读取频率Hz默认 50--recalibrate本地忽略已有标定强制重新标定--bind本地ZMQ 绑定地址默认tcp://0.0.0.0:55568. 常见问题排查订阅端收不到数据确认本地发布服务已先启动日志出现Publishing on tcp://0.0.0.0:5556再启动云端遥操作用--rate 30可进一步降频观察连接被拒绝 / 超时检查两端防火墙放行 5556 端口或改用第 6 节的 SSH 隧道机械臂动作不同步确认本地发布频率未低于 30 Hz且两端网络延迟较低建议 50 Hz 默认值想换任务或场景直接修改--task参数即可LeIsaac 还内置了厨房、卧室等仿真场景云端部署方式可参考 NVIDIA Brev 云上快速部署。9. 小结LeIsaac 的远程遥操作方案把重活留云端、轻活留本地云端 GPU 专注跑 Isaac Sim 仿真与数据录制本地笔记本只负责采集机械臂关节状态中间一根 ZMQ 管道打通。整套流程只需两条命令加一个--remote_endpoint参数就能让云端 GPU 与手边机械臂无缝联动是采集遥操作数据集、训练机器人策略时非常实用的架构。赞分享【免费下载链接】leisaacLeIsaac provides teleoperation functionality in IsaacLab using the SO101Leader (LeRobot), including data collection, data conversion, and subsequent policy training.项目地址https://gitcode.com/gh_mirrors/le/leisaac点击查看免费下载相关推荐如何在iOS设备上远程控制Android手机Scrcpy-iOS完整指南如何在iOS设备上远程控制Android手机Scrcpy iOS完整指南 想要在iPhone或iPad上轻松控制Android设备吗Scrcpy iOS正是移动开发音视频LeIsaac 入门SO101 Leader 遥操作仿真机械臂的 5 步快速上手指南LeIsaac 入门SO101 Leader 遥操作仿真机械臂的 5 步快速上手指南 LeIsaac 是基于 IsaacLab 构建的开源遥操作框架使用 S如何用Scrcpy-iOS实现iOS远程控制Android完整操作指南如何用Scrcpy iOS实现iOS远程控制Android完整操作指南 Scrcpy iOS是一款基于Genymobile/scrcpy开发的iOS远程控制A移动开发音视频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考