Isaac Lab 仿真录制与回放教程5 条命令跑通「遥操作 → HDF5 → 回放 → MP4」全流程【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLabIsaac Lab 是 NVIDIA 推出的统一机器人学习框架其仿真录制与回放能力覆盖从遥操作演示录制、HDF5 数据集保存、演示回放校验到 MP4 转码和训练视频保存的完整链路。本文按一条最短可跑通的主链路组织带你逐步把每一步跑起来。从一个真实需求说起你在模拟器里用键盘遥控机械臂完成了一次抓取放置现在想把这次演示存成可回放、可分享、能直接喂给模仿学习的数据集。所有工具都在仓库的 scripts/tools/ 目录里下面先给最短路径再逐段拆解。先拿到项目把仓库克隆下来并初始化环境git clone https://gitcode.com/GitHub_Trending/is/IsaacLab cd IsaacLab ./isaaclab.sh --conda create--conda create会建好isaaclab环境已装过的话直接跳过。最短链路录制 → 保存 → 回放 → 转码# 1. 键盘遥操作录制 5 条演示写入 HDF5 ./isaaclab.sh -p scripts/tools/record_demos.py --taskIsaac-Lift-Cube-v0 --teleop_devicekeyboard --dataset_file./datasets/my_demos.hdf5 --num_demos5 # 2. 回放其中第 1、2 条演示并校验状态一致性 ./isaaclab.sh -p scripts/tools/replay_demos.py --dataset_file./datasets/my_demos.hdf5 --select_episodes 0 1 --validate_states # 3. 把 HDF5 里的相机画面转成 MP4 uv run python scripts/tools/hdf5_to_mp4.py --input_file./datasets/my_demos.hdf5 --output_dir./videos三个要点--num_demos控制录制条数上限填 0 表示不限条数。--select_episodes接演示序号留空则回放整个数据集。回放默认--num_envs 1--validate_states也要求单环境。从遥操作到 HDF5演示录制链路能做什么用键盘、空间鼠标或 XR 设备操控机器人每个成功回合自动写成一个 episode 存入 HDF5。./isaaclab.sh -p scripts/tools/record_demos.py --taskIsaac-Lift-Cube-v0 --teleop_devicekeyboard --dataset_file./datasets/my_demos.hdf5 --num_demos10 --num_success_steps10--num_success_steps是判定「成功演示」所需的连续成功步数默认 10调大可以过滤侥幸成功的片段。--dataset_file不写时默认落到./datasets/dataset.hdf5--step_hz控制仿真步进频率。换设备录制接入 IsaacTeleop 管线能做什么不指定--teleop_device时record_demos.py 会自动检测环境里配置的 IsaacTeleop 管线未配置才回落到键盘方便接 Quest、空间鼠标等设备。./isaaclab.sh -p scripts/tools/record_demos.py --taskIsaac-Lift-Cube-v0 --cloudxr_envstandalone--cloudxr_env接 XR 运行环境standalone为无头模式配合--teleop_device可强制走传统遥操作路径。演示回放与校验确认数据集真的能用能做什么把 HDF5 里记录的初始状态和动作逐帧载入仿真器回放并核对状态是否漂移、演示是否仍然算成功。./isaaclab.sh -p scripts/tools/replay_demos.py --dataset_file./datasets/my_demos.hdf5 --select_episodes 0 1 --validate_states --validate_success_rate --taskIsaac-Lift-Cube-v0--validate_states逐步对比回放状态与录制值并打印偏差仅--num_envs 1时有效。--validate_success_rate用任务自身的终止/成功判据统计回放的真实成功率适合批量体检数据集。训练视频保存RL 训练顺手留痕能做什么跑强化学习训练时按固定间隔自动截取固定长度的片段随日志一起归档不用人工盯着看进度。uv run python scripts/reinforcement_learning/train.py --taskIsaac-Cartpole-v0 --headless --video --video_length 100 --video_interval 500--video_length是每段视频的环境步长--video_interval是两次录制之间的间隔。片段写入本次运行的日志目录下的videos/文件夹训练完直接翻目录即可。想同时录多个视角视口、平铺相机、场景传感器可以看 run_video_recording.py 教程它演示了--example 1~3三种逐步增强的录制配置输出到videos/recording_tutorial/。一键把演示变成 MP4含反向合并HDF5 → MP4相机流直接出片能做什么提取 HDF5 里存的相机画面RGB、分割、法线、深度等编码成 MP4方便分享或人工检查。uv run python scripts/tools/hdf5_to_mp4.py --input_file./datasets/my_demos.hdf5 --output_dir./videos --demo_id 0--input_keys指定处理哪些相机流默认覆盖table_cam、wrist_cam等常见键。--demo_id只导出单条演示--framerate默认 30建议和录制时的步频一致。MP4 → HDF5视觉增强视频回灌数据集能做什么mp4_to_hdf5.py 把视觉增强后的 MP4换光照、换色调等逐帧替换回原数据集对应演示动作与状态字段原样保留。uv run python scripts/tools/mp4_to_hdf5.py --input_file./datasets/my_demos.hdf5 --videos_dir./augmented_clips --output_file./datasets/my_demos_aug.hdf5--videos_dir里视频按演示序号一一对应脚本只替换画面、不改动其余数据是做数据增强前的标准入口。相机输出保存仿真中实时抓帧能做什么仿真运行时从指定相机实时保存 RGB / 深度数据并把深度重投影成点云叠加显示。./isaaclab.sh -p scripts/tutorials/04_sensors/run_usd_camera.py --save --draw --camera_id 1--save落盘相机数据--draw打开点云可视化两者可独立开关。--camera_id选 0 或 1 号相机视口始终从 0 号相机的视角打开。关键参数速查参数使用场景作用建议值--num_demos录制演示条数上限0 为无限10 起步按需加量--num_success_steps录制判定成功演示的连续成功步数默认 10严选时调大--dataset_file录制 / 回放HDF5 输入输出路径./datasets/名字.hdf5--select_episodes回放指定回放的演示序号留空回放全部--validate_states回放逐步校验状态一致性需--num_envs 1--video_length/--video_interval训练视频片段长度 / 录制间隔环境步100 / 500--framerateHDF5 转 MP4输出视频帧率30--input_keysHDF5 转 MP4要处理的相机流按数据集实际键名避坑与性能--video与--save都走渲染管线帧率会明显下降无头训练时确认相机渲染已开启别全程高负载录。HDF5 体积随「演示数 × 步数」膨胀定期清理旧数据集别让磁盘先爆。--validate_states报状态不一致时优先核对回放与录制是否同一任务版本、同一随机种子。遥操作录制把--num_success_steps设得略高于「刚好成功」的余量可以过滤手抖造成的侥幸演示。下一步试一试用键盘录 5 条演示回放校验通过后再转出一条 MP4随后把--teleop_device换成你手上的设备、把--num_success_steps调大重录一轮。仿真录制与回放这条链路就完整跑通了 【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Isaac Lab 仿真录制与回放教程：5 条命令跑通「遥操作 → HDF5 → 回放 → MP4」全流程
Isaac Lab 仿真录制与回放教程5 条命令跑通「遥操作 → HDF5 → 回放 → MP4」全流程【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLabIsaac Lab 是 NVIDIA 推出的统一机器人学习框架其仿真录制与回放能力覆盖从遥操作演示录制、HDF5 数据集保存、演示回放校验到 MP4 转码和训练视频保存的完整链路。本文按一条最短可跑通的主链路组织带你逐步把每一步跑起来。从一个真实需求说起你在模拟器里用键盘遥控机械臂完成了一次抓取放置现在想把这次演示存成可回放、可分享、能直接喂给模仿学习的数据集。所有工具都在仓库的 scripts/tools/ 目录里下面先给最短路径再逐段拆解。先拿到项目把仓库克隆下来并初始化环境git clone https://gitcode.com/GitHub_Trending/is/IsaacLab cd IsaacLab ./isaaclab.sh --conda create--conda create会建好isaaclab环境已装过的话直接跳过。最短链路录制 → 保存 → 回放 → 转码# 1. 键盘遥操作录制 5 条演示写入 HDF5 ./isaaclab.sh -p scripts/tools/record_demos.py --taskIsaac-Lift-Cube-v0 --teleop_devicekeyboard --dataset_file./datasets/my_demos.hdf5 --num_demos5 # 2. 回放其中第 1、2 条演示并校验状态一致性 ./isaaclab.sh -p scripts/tools/replay_demos.py --dataset_file./datasets/my_demos.hdf5 --select_episodes 0 1 --validate_states # 3. 把 HDF5 里的相机画面转成 MP4 uv run python scripts/tools/hdf5_to_mp4.py --input_file./datasets/my_demos.hdf5 --output_dir./videos三个要点--num_demos控制录制条数上限填 0 表示不限条数。--select_episodes接演示序号留空则回放整个数据集。回放默认--num_envs 1--validate_states也要求单环境。从遥操作到 HDF5演示录制链路能做什么用键盘、空间鼠标或 XR 设备操控机器人每个成功回合自动写成一个 episode 存入 HDF5。./isaaclab.sh -p scripts/tools/record_demos.py --taskIsaac-Lift-Cube-v0 --teleop_devicekeyboard --dataset_file./datasets/my_demos.hdf5 --num_demos10 --num_success_steps10--num_success_steps是判定「成功演示」所需的连续成功步数默认 10调大可以过滤侥幸成功的片段。--dataset_file不写时默认落到./datasets/dataset.hdf5--step_hz控制仿真步进频率。换设备录制接入 IsaacTeleop 管线能做什么不指定--teleop_device时record_demos.py 会自动检测环境里配置的 IsaacTeleop 管线未配置才回落到键盘方便接 Quest、空间鼠标等设备。./isaaclab.sh -p scripts/tools/record_demos.py --taskIsaac-Lift-Cube-v0 --cloudxr_envstandalone--cloudxr_env接 XR 运行环境standalone为无头模式配合--teleop_device可强制走传统遥操作路径。演示回放与校验确认数据集真的能用能做什么把 HDF5 里记录的初始状态和动作逐帧载入仿真器回放并核对状态是否漂移、演示是否仍然算成功。./isaaclab.sh -p scripts/tools/replay_demos.py --dataset_file./datasets/my_demos.hdf5 --select_episodes 0 1 --validate_states --validate_success_rate --taskIsaac-Lift-Cube-v0--validate_states逐步对比回放状态与录制值并打印偏差仅--num_envs 1时有效。--validate_success_rate用任务自身的终止/成功判据统计回放的真实成功率适合批量体检数据集。训练视频保存RL 训练顺手留痕能做什么跑强化学习训练时按固定间隔自动截取固定长度的片段随日志一起归档不用人工盯着看进度。uv run python scripts/reinforcement_learning/train.py --taskIsaac-Cartpole-v0 --headless --video --video_length 100 --video_interval 500--video_length是每段视频的环境步长--video_interval是两次录制之间的间隔。片段写入本次运行的日志目录下的videos/文件夹训练完直接翻目录即可。想同时录多个视角视口、平铺相机、场景传感器可以看 run_video_recording.py 教程它演示了--example 1~3三种逐步增强的录制配置输出到videos/recording_tutorial/。一键把演示变成 MP4含反向合并HDF5 → MP4相机流直接出片能做什么提取 HDF5 里存的相机画面RGB、分割、法线、深度等编码成 MP4方便分享或人工检查。uv run python scripts/tools/hdf5_to_mp4.py --input_file./datasets/my_demos.hdf5 --output_dir./videos --demo_id 0--input_keys指定处理哪些相机流默认覆盖table_cam、wrist_cam等常见键。--demo_id只导出单条演示--framerate默认 30建议和录制时的步频一致。MP4 → HDF5视觉增强视频回灌数据集能做什么mp4_to_hdf5.py 把视觉增强后的 MP4换光照、换色调等逐帧替换回原数据集对应演示动作与状态字段原样保留。uv run python scripts/tools/mp4_to_hdf5.py --input_file./datasets/my_demos.hdf5 --videos_dir./augmented_clips --output_file./datasets/my_demos_aug.hdf5--videos_dir里视频按演示序号一一对应脚本只替换画面、不改动其余数据是做数据增强前的标准入口。相机输出保存仿真中实时抓帧能做什么仿真运行时从指定相机实时保存 RGB / 深度数据并把深度重投影成点云叠加显示。./isaaclab.sh -p scripts/tutorials/04_sensors/run_usd_camera.py --save --draw --camera_id 1--save落盘相机数据--draw打开点云可视化两者可独立开关。--camera_id选 0 或 1 号相机视口始终从 0 号相机的视角打开。关键参数速查参数使用场景作用建议值--num_demos录制演示条数上限0 为无限10 起步按需加量--num_success_steps录制判定成功演示的连续成功步数默认 10严选时调大--dataset_file录制 / 回放HDF5 输入输出路径./datasets/名字.hdf5--select_episodes回放指定回放的演示序号留空回放全部--validate_states回放逐步校验状态一致性需--num_envs 1--video_length/--video_interval训练视频片段长度 / 录制间隔环境步100 / 500--framerateHDF5 转 MP4输出视频帧率30--input_keysHDF5 转 MP4要处理的相机流按数据集实际键名避坑与性能--video与--save都走渲染管线帧率会明显下降无头训练时确认相机渲染已开启别全程高负载录。HDF5 体积随「演示数 × 步数」膨胀定期清理旧数据集别让磁盘先爆。--validate_states报状态不一致时优先核对回放与录制是否同一任务版本、同一随机种子。遥操作录制把--num_success_steps设得略高于「刚好成功」的余量可以过滤手抖造成的侥幸演示。下一步试一试用键盘录 5 条演示回放校验通过后再转出一条 MP4随后把--teleop_device换成你手上的设备、把--num_success_steps调大重录一轮。仿真录制与回放这条链路就完整跑通了 【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考