FluxVLA快速上手指南:从LIBERO数据集下载到多卡评测,手把手跑通你的第一个VLA模型
【免费下载链接】FluxVLAAn all-in-one VLA engineering platform for embodied AI — from data to real-robot deployment.项目地址https://gitcode.com/gh_mirrors/fl/FluxVLA点击查看免费下载FluxVLA 是一个面向具身智能的一站式 VLAVision-Language-Action视觉-语言-动作模型训练与评测平台覆盖从数据集准备、多卡分布式训练到 LIBERO 仿真评测的完整工程闭环。本文带你以最小的配置成本在 2 张 GPU 上完成「下载 LIBERO 数据集 → 微调你的第一个 VLA 模型 → 多卡跑通评测」的全流程新手友好、命令即抄即用。官方在 LIBERO 上已公开大量模型的平均成功率节选自 README.md 的性能表模型LIBERO-SpatialLIBERO-ObjectLIBERO-GoalLIBERO-Long平均SmolVLA450M推荐入门86.292.491.468.884.7Pi0.598.699.698.095.697.95DiT4DiT99.699.299.696.298.65为什么新手推荐从 SmolVLA 配置开始FluxVLA 的核心设计理念是一份配置文件管理全流程数据、模型、训练、评测、部署的关键参数都集中在一个 Python 配置里便于复现与部署。平台同时支持 OpenVLA、LlavaVLA、GR00T、Pi0、Pi0.5、FastWAM、DiT4DiT 等多种 VLA 模型以及 Llama、Gemma、Qwen 系列语言骨干与 DINOv2、SigLIP 视觉骨干。对于第一篇文章我们选择SmolVLA约 450M 参数作为入门模型理由很直接显存需求小消费级 2 卡即可微调、配置完整、数据集与检查点都有官方准备能让你最快跑通训练 → 评测的完整回路。一键安装 FluxVLA 训练评测环境只需一个脚本即可完成环境安装它会自动选择匹配的 CUDA 版 PyTorch 与 FlashAttention wheel并安装 LIBERO / RoboCasa 仿真运行依赖conda create -n fluxvla python3.10 -y conda activate fluxvla # 只做仿真训练与评测选 sim-only 即可 bash scripts/install_env.sh sim-only安装脚本由 scripts/install_env.sh 提供full模式会额外安装真机推理依赖已有环境可用 scripts/update_env.sh 增量更新。国内网络访问 Hugging Face 慢时建议先设置镜像export HF_ENDPOINThttps://hf-mirror.com下载 LIBERO 数据集一条命令到位FluxVLA 已把 LIBERO 系列数据整理为 LeRobot v2.1 格式存放在 Hugging Face 仓库limxdynamics/FluxVLAData中。以下对应关系可直接对照数据集仓库内目录名libero-spatiallibero_spatial_no_noops_lerobotv2.1libero-objectlibero_object_no_noops_lerobotv2.1libero-10LIBERO-Longlibero_10_no_noops_lerobotv2.1libero-goallibero_goal_no_noops_lerobotv2.1以 libero-10 为例下载到./datasets目录注意LeRobot v2.1 数据集本身可能很大请预留磁盘空间huggingface-cli download limxdynamics/FluxVLAData \ --repo-type dataset \ --include libero_10_no_noops_lerobotv2.1/* \ --local-dir ./datasets下载后的目录结构遵循 LeRobot 规范data/chunk-xxx/下是逐集的 parquet 轨迹文件meta/下是info.json、tasks.jsonl等元数据videos/下是按相机分目录的 mp4 视频——这也是你后续准备自有数据集时应遵循的结构见 README.md 的 Data Assets Preparation 一节。准备模型检查点下载 SmolVLA 基础模型与分词器SmolVLA 配置需要两个检查点都放在./checkpoints下# 1) SmolVLA 基础模型约450M配置期望路径 ./checkpoints/smolvla_base/ huggingface-cli download lerobot/smolvla_base --local-dir ./checkpoints/smolvla_base # 2) 文本分词器 SmolVLM2-500M-Video-Instruct huggingface-cli download HuggingFaceTB/SmolVLM2-500M-Video-Instruct \ --local-dir ./checkpoints/SmolVLM2-500M-Video-Instruct更大型的模型检查点GR00T N1.5、Pi0、Pi0.5、Cosmos 等清单见 README.md 的 Checkpoint Preparation 章节用法完全一致下载 → 放进./checkpoints→ 对应配置即可使用。多卡微调你的第一个 VLA 模型训练启动命令配置文件 configs/smolvla/smolvla_libero_10_finetune.py 已经把数据集路径、图像/动作变换、FSDP 训练器与 LIBERO 评测参数全部配好通常无需改动。本地多卡训练的最小命令如下export WANDB_MODEdisabled torchrun --standalone --nnodes 1 --nproc-per-node 2 scripts/train.py \ --config configs/smolvla/smolvla_libero_10_finetune.py \ --work-dir ./work_dirs/smolvla_libero_10 \ --cfg-options train_dataloader.per_device_batch_size2--nproc-per-node控制使用的 GPU 数改成 4、8 即自动变 4 卡 / 8 卡per_device_batch_size是每张卡的批大小显存吃紧时往下调训练日志与检查点统一落在--work-dir指定的work_dirs/目录下的checkpoints/中。训练入口 scripts/train.py 还支持两个非常实用的参数--eval-after-train训练结束后自动用最新检查点跑评测一条命令走完闭环--resume-from ckpt从某个检查点断点续训。在集群或想少敲命令时可以用统一启动脚本 scripts/train.sh它会自动识别分布式环境变量并回退到单机默认值export WANDB_MODEdisabled bash scripts/train.sh configs/smolvla/smolvla_libero_10_finetune.py ./work_dirs/smolvla_libero_10 \ --cfg-options train_dataloader.per_device_batch_size2 runner.max_steps2000多卡评测从单卡验证到 8 卡并行跑全套任务单卡快速验证训练得到检查点后先单卡冒烟验证最稳妥export WANDB_MODEdisabled torchrun --standalone --nnodes 1 --nproc-per-node 1 scripts/eval.py \ --config configs/smolvla/smolvla_libero_10_finetune.py \ --ckpt-path work_dirs/smolvla_libero_10/checkpoints/你的检查点.safetensors配置里task_suite_namelibero_10、num_trials_per_task50已预设评测器会按每任务 50 次试验在 MuJoCo 环境中跑 rollout 并统计成功率。入口逻辑见 fluxvla/runners/libero_eval_runner.py。8 卡并行评测eval_libero_manager 管理器完整评测 4 个 LIBERO 子集100 任务 × 每任务 50 次耗时很长FluxVLA 提供了专门的多卡评测管理器 scripts/eval_libero_manager.sh它会把任务队列拆成单任务 worker自动把任务调度到负载最低的 GPU上并行执行并实时打印每套子集的成功率进度。export WANDB_MODEdisabled CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7 \ bash scripts/eval_libero_manager.sh \ configs/smolvla/smolvla_libero_10_finetune.py \ work_dirs/smolvla_libero_10/checkpoints/你的检查点.safetensors常用环境变量覆盖均可省略走配置默认值变量说明默认值SUITES要评测的子集空格分隔4 个子集全跑NUM_GPUS并行 GPU 数被CUDA_VISIBLE_DEVICES优先覆盖8MAX_TASKS_PER_GPU单卡最多并行任务数2NUM_TRIALS_PER_TASK每任务试验次数50TASK_IDS只评指定任务 id冒烟验证时很好用全部OUTPUT_DIR结果输出目录work_dirs/libero_eval_manager/时间戳评测结束后管理器自动调用 tools/summarize_libero_eval_results.py 汇总OUTPUT_DIR下会得到summary.csv、suite_success_rates.csv、task_success_rates.csv、各任务日志task_logs/以及 rollout 回放视频。想只验证流程通不通可以先用TASK_IDS0 NUM_TRIALS_PER_TASK1快速试水。新手常见问题 FAQHugging Face 下载慢/超时运行任何下载命令前先export HF_ENDPOINThttps://hf-mirror.com。NumPy 版本报错安装过程中个别依赖可能覆盖了锁定版本执行pip install numpy1.26.4修复。egl_probe构建报 CMake 错误用 conda 装cmake后再装依赖不要用pip install cmake若报 CMake 版本兼容错误加CMAKE_POLICY_VERSION_MINIMUM3.5前缀重试。不支持光线追踪的 GPU如 A100评测 LIBERO需要配置 MuJoCo EGL 渲染scripts/install_env.sh 会自动探测并尝试配置细节见 README.md 的 LIBERO / MuJoCo EGL setup。GR00T 在 LIBERO 上结果波动大属预期现象对随机种子和训练轮数敏感建议多换种子训练并按评测成绩选检查点。全流程回顾与关键路径速查步骤命令/文件说明1. 装环境bash scripts/install_env.sh sim-only见 scripts/install_env.sh2. 下数据集huggingface-cli download ... --include libero_10_no_noops_lerobotv2.1/*放入./datasets3. 下检查点huggingface-cli download lerobot/smolvla_base ...放入./checkpoints4. 多卡训练scripts/train.py configs/smolvla/smolvla_libero_10_finetune.py集群用 scripts/train.sh5. 多卡评测scripts/eval_libero_manager.sh汇总 tools/summarize_libero_eval_results.py跑通 SmolVLA 之后换配置就是换模型把--config指向 configs/pi05/、configs/gr00tn15/ 等目录下的对应配置并下载相应基础检查点即可复现 Pi0.5、GR00T 等更强的 VLA 模型——这正是 FluxVLA统一配置、模块解耦设计的威力所在。祝你的第一个 VLA 模型训练顺利赞分享【免费下载链接】FluxVLAAn all-in-one VLA engineering platform for embodied AI — from data to real-robot deployment.项目地址https://gitcode.com/gh_mirrors/fl/FluxVLA点击查看免费下载相关推荐QuantMind新手快速上手指南从数据同步到跑通第一个回测QuantMind新手快速上手指南从数据同步到跑通第一个回测 QuantMind量化大脑是一款 AI 原生多市场量化交易平台深度集成微软 Qlib 回测金融科技人工智能AI Agent大模型后端前端EasyWAM-Unified-Cosmos25快速上手指南5步从下载检查点到跑通首个LIBERO评测EasyWAM Unified Cosmos25快速上手指南5步从下载检查点到跑通首个LIBERO评测 EasyWAM Unified Cosmos25如何快速上手InternVideo-1.0从下载模型到跑通第一个视频识别的完整指南如何快速上手InternVideo 1.0从下载模型到跑通第一个视频识别的完整指南 InternVideo 1.0 是 OpenGVLab 开源的 视频理解与创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考