ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

FluxVLA快速上手指南:从LIBERO数据集下载到多卡评测,手把手跑通你的第一个VLA模型

FluxVLA快速上手指南:从LIBERO数据集下载到多卡评测,手把手跑通你的第一个VLA模型

【免费下载链接】FluxVLA

An all-in-one VLA engineering platform for embodied AI — from data to real-robot deployment.

项目地址:https://gitcode.com/gh_mirrors/fl/FluxVLA
点击查看免费下载

FluxVLA 是一个面向具身智能的一站式 VLA(Vision-Language-Action,视觉-语言-动作)模型训练与评测平台,覆盖从数据集准备、多卡分布式训练,到 LIBERO 仿真评测的完整工程闭环。本文带你以最小的配置成本,在 2 张 GPU 上完成「下载 LIBERO 数据集 → 微调你的第一个 VLA 模型 → 多卡跑通评测」的全流程,新手友好、命令即抄即用。

官方在 LIBERO 上已公开大量模型的平均成功率(节选自 README.md 的性能表):

模型LIBERO-SpatialLIBERO-ObjectLIBERO-GoalLIBERO-Long平均
SmolVLA(450M,推荐入门)86.292.491.468.884.7
Pi0.598.699.698.095.697.95
DiT4DiT99.699.299.696.298.65

为什么新手推荐从 SmolVLA 配置开始

FluxVLA 的核心设计理念是"一份配置文件管理全流程":数据、模型、训练、评测、部署的关键参数都集中在一个 Python 配置里,便于复现与部署。平台同时支持 OpenVLA、LlavaVLA、GR00T、Pi0、Pi0.5、FastWAM、DiT4DiT 等多种 VLA 模型,以及 Llama、Gemma、Qwen 系列语言骨干与 DINOv2、SigLIP 视觉骨干。

对于第一篇文章,我们选择SmolVLA(约 450M 参数)作为入门模型,理由很直接:显存需求小(消费级 2 卡即可微调)、配置完整、数据集与检查点都有官方准备,能让你最快跑通"训练 → 评测"的完整回路。

一键安装 FluxVLA 训练评测环境

只需一个脚本即可完成环境安装,它会自动选择匹配的 CUDA 版 PyTorch 与 FlashAttention wheel,并安装 LIBERO / RoboCasa 仿真运行依赖:

conda create -n fluxvla python=3.10 -y conda activate fluxvla # 只做仿真训练与评测,选 sim-only 即可 bash scripts/install_env.sh sim-only

安装脚本由 scripts/install_env.sh 提供,full模式会额外安装真机推理依赖;已有环境可用 scripts/update_env.sh 增量更新。国内网络访问 Hugging Face 慢时,建议先设置镜像:

export HF_ENDPOINT="https://hf-mirror.com"

下载 LIBERO 数据集:一条命令到位

FluxVLA 已把 LIBERO 系列数据整理为 LeRobot v2.1 格式,存放在 Hugging Face 仓库limxdynamics/FluxVLAData中。以下对应关系可直接对照:

数据集仓库内目录名
libero-spatiallibero_spatial_no_noops_lerobotv2.1
libero-objectlibero_object_no_noops_lerobotv2.1
libero-10(LIBERO-Long)libero_10_no_noops_lerobotv2.1
libero-goallibero_goal_no_noops_lerobotv2.1

以 libero-10 为例,下载到./datasets目录(注意:LeRobot v2.1 数据集本身可能很大,请预留磁盘空间):

huggingface-cli download limxdynamics/FluxVLAData \ --repo-type dataset \ --include "libero_10_no_noops_lerobotv2.1/*" \ --local-dir ./datasets

下载后的目录结构遵循 LeRobot 规范:data/chunk-xxx/下是逐集的 parquet 轨迹文件,meta/下是info.json、tasks.jsonl等元数据,videos/下是按相机分目录的 mp4 视频——这也是你后续准备自有数据集时应遵循的结构(见 README.md 的 "Data & Assets Preparation" 一节)。

准备模型检查点:下载 SmolVLA 基础模型与分词器

SmolVLA 配置需要两个检查点,都放在./checkpoints下:

# 1) SmolVLA 基础模型(约450M,配置期望路径 ./checkpoints/smolvla_base/) huggingface-cli download lerobot/smolvla_base --local-dir ./checkpoints/smolvla_base # 2) 文本分词器 SmolVLM2-500M-Video-Instruct huggingface-cli download HuggingFaceTB/SmolVLM2-500M-Video-Instruct \ --local-dir ./checkpoints/SmolVLM2-500M-Video-Instruct

更大型的模型检查点(GR00T N1.5、Pi0、Pi0.5、Cosmos 等)清单见 README.md 的 "Checkpoint Preparation" 章节,用法完全一致:下载 → 放进./checkpoints→ 对应配置即可使用。

多卡微调你的第一个 VLA 模型:训练启动命令

配置文件 configs/smolvla/smolvla_libero_10_finetune.py 已经把数据集路径、图像/动作变换、FSDP 训练器与 LIBERO 评测参数全部配好,通常无需改动。本地多卡训练的最小命令如下:

export WANDB_MODE=disabled torchrun --standalone --nnodes 1 --nproc-per-node 2 scripts/train.py \ --config configs/smolvla/smolvla_libero_10_finetune.py \ --work-dir ./work_dirs/smolvla_libero_10 \ --cfg-options train_dataloader.per_device_batch_size=2
  • --nproc-per-node控制使用的 GPU 数,改成 4、8 即自动变 4 卡 / 8 卡;
  • per_device_batch_size是"每张卡"的批大小,显存吃紧时往下调;
  • 训练日志与检查点统一落在--work-dir指定的work_dirs/目录下的checkpoints/中。

训练入口 scripts/train.py 还支持两个非常实用的参数:

  • --eval-after-train:训练结束后自动用最新检查点跑评测,一条命令走完闭环;
  • --resume-from <ckpt>:从某个检查点断点续训。

在集群或想少敲命令时,可以用统一启动脚本 scripts/train.sh,它会自动识别分布式环境变量并回退到单机默认值:

export WANDB_MODE=disabled bash scripts/train.sh configs/smolvla/smolvla_libero_10_finetune.py ./work_dirs/smolvla_libero_10 \ --cfg-options train_dataloader.per_device_batch_size=2 runner.max_steps=2000

多卡评测:从单卡验证到 8 卡并行跑全套任务

单卡快速验证

训练得到检查点后,先单卡冒烟验证最稳妥:

export WANDB_MODE=disabled torchrun --standalone --nnodes 1 --nproc-per-node 1 scripts/eval.py \ --config configs/smolvla/smolvla_libero_10_finetune.py \ --ckpt-path work_dirs/smolvla_libero_10/checkpoints/<你的检查点>.safetensors

配置里task_suite_name='libero_10'、num_trials_per_task=50已预设,评测器会按每任务 50 次试验在 MuJoCo 环境中跑 rollout 并统计成功率。入口逻辑见 fluxvla/runners/libero_eval_runner.py。

8 卡并行评测:eval_libero_manager 管理器

完整评测 4 个 LIBERO 子集(100+ 任务 × 每任务 50 次)耗时很长,FluxVLA 提供了专门的多卡评测管理器 scripts/eval_libero_manager.sh:它会把任务队列拆成单任务 worker,自动把任务调度到负载最低的 GPU上并行执行,并实时打印每套子集的成功率进度。

export WANDB_MODE=disabled CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ bash scripts/eval_libero_manager.sh \ configs/smolvla/smolvla_libero_10_finetune.py \ work_dirs/smolvla_libero_10/checkpoints/<你的检查点>.safetensors

常用环境变量覆盖(均可省略,走配置默认值):

变量说明默认值
SUITES要评测的子集,空格分隔4 个子集全跑
NUM_GPUS并行 GPU 数(被CUDA_VISIBLE_DEVICES优先覆盖)8
MAX_TASKS_PER_GPU单卡最多并行任务数2
NUM_TRIALS_PER_TASK每任务试验次数50
TASK_IDS只评指定任务 id,冒烟验证时很好用全部
OUTPUT_DIR结果输出目录work_dirs/libero_eval_manager/<时间戳>

评测结束后,管理器自动调用 tools/summarize_libero_eval_results.py 汇总,OUTPUT_DIR下会得到summary.csv、suite_success_rates.csv、task_success_rates.csv、各任务日志task_logs/以及 rollout 回放视频。想只验证流程通不通,可以先用TASK_IDS=0 NUM_TRIALS_PER_TASK=1快速试水。

新手常见问题 FAQ

  • Hugging Face 下载慢/超时:运行任何下载命令前先export HF_ENDPOINT="https://hf-mirror.com"。
  • NumPy 版本报错:安装过程中个别依赖可能覆盖了锁定版本,执行pip install numpy==1.26.4修复。
  • egl_probe构建报 CMake 错误:用 conda 装cmake后再装依赖(不要用pip install cmake);若报 CMake 版本兼容错误,加CMAKE_POLICY_VERSION_MINIMUM=3.5前缀重试。
  • 不支持光线追踪的 GPU(如 A100)评测 LIBERO:需要配置 MuJoCo EGL 渲染,scripts/install_env.sh 会自动探测并尝试配置,细节见 README.md 的 "LIBERO / MuJoCo EGL setup"。
  • GR00T 在 LIBERO 上结果波动大:属预期现象,对随机种子和训练轮数敏感,建议多换种子训练并按评测成绩选检查点。

全流程回顾与关键路径速查

步骤命令/文件说明
1. 装环境bash scripts/install_env.sh sim-only见 scripts/install_env.sh
2. 下数据集huggingface-cli download ... --include "libero_10_no_noops_lerobotv2.1/*"放入./datasets
3. 下检查点huggingface-cli download lerobot/smolvla_base ...放入./checkpoints
4. 多卡训练scripts/train.py+ configs/smolvla/smolvla_libero_10_finetune.py集群用 scripts/train.sh
5. 多卡评测scripts/eval_libero_manager.sh汇总 tools/summarize_libero_eval_results.py

跑通 SmolVLA 之后,换配置就是换模型:把--config指向 configs/pi05/、configs/gr00tn15/ 等目录下的对应配置,并下载相应基础检查点,即可复现 Pi0.5、GR00T 等更强的 VLA 模型——这正是 FluxVLA"统一配置、模块解耦"设计的威力所在。祝你的第一个 VLA 模型训练顺利!

【免费下载链接】FluxVLA

An all-in-one VLA engineering platform for embodied AI — from data to real-robot deployment.

项目地址:https://gitcode.com/gh_mirrors/fl/FluxVLA
点击查看免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

返回列表