VSS 边缘部署指南如何在 DGX Spark、IGX Thor、AGX Thor 上快速跑通视频AI【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarizationVSSVideo Search and Summarization是 NVIDIA 的 GPU 加速视频搜索与摘要蓝图内置实时验证告警、视觉问答Visual QA和自动报告生成三大视频AI能力基于 Cosmos 视觉语言模型、Nemotron LLM 与 NIM 推理服务构建。本指南将带你把这套完整视频AI Agent 快速部署到DGX Spark、IGX Thor、AGX Thor三款边缘设备上——从系统准备、显存预算配置到一键启动全程不需要改动任何源码。为什么选择在边缘设备上跑 VSS优势说明 数据不出现场摄像头视频在本地完成检测、问答与摘要无需上传云端⚡ 低延迟LLM/VLM 与视频流在同一台设备上避免网络往返 单设备闭环三款设备均为统一内存128 GB 级架构LLM VLM 可共存三款平台均已通过 VSS 官方验证部署方式完全一致只改一个硬件档案HARDWARE_PROFILE其余配置自动匹配。三步准备系统、驱动与环境变量1️⃣ 平台软件要求三款边缘设备对系统版本有严格要求部署前请先对照检查平台操作系统NVIDIA 驱动DGX SparkDGX OS 7.5.0580.173.02IGX Thor (T5000/T7000)IGX-SW 2.0 LTS含 IGX OS 2.0 / Ubuntu 24.04580.00随 IGX-SW 捆绑AGX ThorJetPack 7.2Jetson Linux/L4T r39.2595.78其他通用要求Docker 28.3.3且 29.5.0、Docker Compose v2.39.1、NVIDIA Container Toolkit 1.17.8、NGC CLI 4.10.0。详细安装步骤见官方 docs/prerequisites.mdx。⚠️部署前务必重启系统并完全释放 GPU 显存统一内存架构下任何残留进程都会挤占 LLM/VLM 预算。2️⃣ 统一内存预算让 LLM 和 VLM 和平共处这是边缘部署最核心的差异点Spark 和 Thor 的 128 GB 是统一内存CPU 与 GPU 共享因此 NIM 服务必须手动限制占用上限。仓库为每款设备内置了尺寸档案sizing file自动完成这项配置LLMnemotron-3.5-lightning-30b-a3b固定 INT4 引擎档案占用上限为统一内存的30%上下文长度收敛到 64KVLMCosmos3Spark 使用共享上限Thor 上rtvi-vlm占35%两者合计低于 80% 的边缘上限保证系统服务仍有充足余量。相关配置档案LLM 尺寸档案deploy/docker/services/nim/nemotron-3.5-lightning-30b-a3b/hw-DGX-SPARK.env、hw-AGX-THOR.env、hw-IGX-THOR.envVLM 尺寸档案deploy/docker/services/nim/cosmos3-reasoner/hw-DGX-SPARK.env3️⃣ 准备数据目录与密钥# 导出 NGC / NVIDIA API KeyDocker Compose 通过 containers.env 读取 export NGC_CLI_API_KEYyour-ngc-api-key export NVIDIA_API_KEYyour-nvidia-api-key # 复制覆盖模板匹配 *-overrides.env 的文件会被 Git 忽略可放心修改 cp deploy/docker/developer-profiles/dev-profile-base/overrides.env \ deploy/docker/developer-profiles/dev-profile-base/user-overrides.env # 创建宿主机数据目录Kafka/Elastic/Redis 日志与数据 VSS_DATA_DIR/absolute/path/to/vss-apps-data mkdir -p $VSS_DATA_DIR/data_log/analytics_cache $VSS_DATA_DIR/data_log/kafka \ $VSS_DATA_DIR/data_log/elastic/data $VSS_DATA_DIR/data_log/redis/data chmod -R 777 $VSS_DATA_DIR/data_log同时在user-overrides.env中更新VSS_APPS_DIR、VSS_DATA_DIR、HOST_IP、EXTERNAL_IP。一键部署DGX Spark 与 Thor 各自只需改 5 行DGX Spark 配置在user-overrides.env中追加HARDWARE_PROFILEDGX-SPARK VSS_RT_VLM_TAGdevelop-latest-sbsa # 关键Spark 必须使用 sbsa 镜像 LLM_DEVICE_ID0 VLM_DEVICE_ID0 RT_VLM_DEVICE_ID0 LLM_MODElocal最容易踩的坑VSS_RT_VLM_TAGdevelop-latest-sbsa是 Spark 的必选项。默认 tag 拉取的是 Tegra 构建镜像缺少 GB10 所需库文件VLM 容器会陷入 crash-loop 反复重启。AGX Thor / IGX Thor 配置HARDWARE_PROFILEAGX-THOR # IGX 硬件改为 IGX-THOR LLM_DEVICE_ID0 # 按 nvidia-smi 报告的 Thor GPU ID 调整 VLM_DEVICE_ID0 RT_VLM_DEVICE_ID0 RTVI_VLLM_GPU_MEMORY_UTILIZATION0.35 LLM_MODElocalThor 上 LLM 与rtvi-vlm实时 VLM共享同一块 GPU30% 35% 的预算由内置档案自动分配无需手动计算。启动服务cd deploy/docker docker compose -f compose.yml \ --env-file containers.env \ --env-file developer-profiles/dev-profile-base/.env \ --env-file developer-profiles/dev-profile-base/user-overrides.env \ config --quiet # 先校验配置无误 # 校验通过后启动 docker compose -f compose.yml \ --env-file containers.env \ --env-file developer-profiles/dev-profile-base/.env \ --env-file developer-profiles/dev-profile-base/user-overrides.env \ up -d部署后优化与排错清单Thor 功耗拉满重启后需重新设置sudo nvpmodel -m 0 sudo reboot # 最高功耗模式需重启生效 sudo jetson_clocks # 重启后锁定最高频率缓存清理Spark / Thor 建议运行仓库提供的sys-cache-cleaner.sh脚本周期性释放主机缓存防止统一内存被系统缓存吃满。显存实在放不下两个备选方案方案配置适用场景换更小 LLMLLM_NAMEnvidia/NVIDIA-Nemotron-Nano-9B-v2-FP811.7 GB 对应LLM_NAME_SLUG默认 30B 模型无法容纳的设备远程 LLMLLM_MODEremoteLLM_BASE_URL指向 OpenAI 兼容端点追求最低延迟边缘只留 VLM部署完成验证浏览器访问http://设备IP:7777即可看到 VSS UI 的 Video Management 页面——上传 mp4/mkv 视频后就能直接向 Agent 提问视频内容、生成摘要与报告。注意事项与参考资料当前边缘平台支持 base、alerts验证/实时告警档案完全本地化部署所有工作流含 search 档案将在未来版本提供详见 docs/edge-deployment.mdx。VLM 需要Personal API Key旧版 NGC key 不适用。各性能基准DGX Spark / AGX Thor 实测见 docs/performance.mdx可用于容量规划。更多模型组合与远程端点配置docs/vss-agent/configure-llm.mdx按照以上步骤你在 10 分钟内就能让一台 DGX Spark 或 Thor 化身独立的视频AI工作站——视频进来答案、摘要和报告出来。【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 VSS 边缘部署指南：如何在 DGX Spark、IGX Thor、AGX Thor 上快速跑通视频AI
VSS 边缘部署指南如何在 DGX Spark、IGX Thor、AGX Thor 上快速跑通视频AI【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarizationVSSVideo Search and Summarization是 NVIDIA 的 GPU 加速视频搜索与摘要蓝图内置实时验证告警、视觉问答Visual QA和自动报告生成三大视频AI能力基于 Cosmos 视觉语言模型、Nemotron LLM 与 NIM 推理服务构建。本指南将带你把这套完整视频AI Agent 快速部署到DGX Spark、IGX Thor、AGX Thor三款边缘设备上——从系统准备、显存预算配置到一键启动全程不需要改动任何源码。为什么选择在边缘设备上跑 VSS优势说明 数据不出现场摄像头视频在本地完成检测、问答与摘要无需上传云端⚡ 低延迟LLM/VLM 与视频流在同一台设备上避免网络往返 单设备闭环三款设备均为统一内存128 GB 级架构LLM VLM 可共存三款平台均已通过 VSS 官方验证部署方式完全一致只改一个硬件档案HARDWARE_PROFILE其余配置自动匹配。三步准备系统、驱动与环境变量1️⃣ 平台软件要求三款边缘设备对系统版本有严格要求部署前请先对照检查平台操作系统NVIDIA 驱动DGX SparkDGX OS 7.5.0580.173.02IGX Thor (T5000/T7000)IGX-SW 2.0 LTS含 IGX OS 2.0 / Ubuntu 24.04580.00随 IGX-SW 捆绑AGX ThorJetPack 7.2Jetson Linux/L4T r39.2595.78其他通用要求Docker 28.3.3且 29.5.0、Docker Compose v2.39.1、NVIDIA Container Toolkit 1.17.8、NGC CLI 4.10.0。详细安装步骤见官方 docs/prerequisites.mdx。⚠️部署前务必重启系统并完全释放 GPU 显存统一内存架构下任何残留进程都会挤占 LLM/VLM 预算。2️⃣ 统一内存预算让 LLM 和 VLM 和平共处这是边缘部署最核心的差异点Spark 和 Thor 的 128 GB 是统一内存CPU 与 GPU 共享因此 NIM 服务必须手动限制占用上限。仓库为每款设备内置了尺寸档案sizing file自动完成这项配置LLMnemotron-3.5-lightning-30b-a3b固定 INT4 引擎档案占用上限为统一内存的30%上下文长度收敛到 64KVLMCosmos3Spark 使用共享上限Thor 上rtvi-vlm占35%两者合计低于 80% 的边缘上限保证系统服务仍有充足余量。相关配置档案LLM 尺寸档案deploy/docker/services/nim/nemotron-3.5-lightning-30b-a3b/hw-DGX-SPARK.env、hw-AGX-THOR.env、hw-IGX-THOR.envVLM 尺寸档案deploy/docker/services/nim/cosmos3-reasoner/hw-DGX-SPARK.env3️⃣ 准备数据目录与密钥# 导出 NGC / NVIDIA API KeyDocker Compose 通过 containers.env 读取 export NGC_CLI_API_KEYyour-ngc-api-key export NVIDIA_API_KEYyour-nvidia-api-key # 复制覆盖模板匹配 *-overrides.env 的文件会被 Git 忽略可放心修改 cp deploy/docker/developer-profiles/dev-profile-base/overrides.env \ deploy/docker/developer-profiles/dev-profile-base/user-overrides.env # 创建宿主机数据目录Kafka/Elastic/Redis 日志与数据 VSS_DATA_DIR/absolute/path/to/vss-apps-data mkdir -p $VSS_DATA_DIR/data_log/analytics_cache $VSS_DATA_DIR/data_log/kafka \ $VSS_DATA_DIR/data_log/elastic/data $VSS_DATA_DIR/data_log/redis/data chmod -R 777 $VSS_DATA_DIR/data_log同时在user-overrides.env中更新VSS_APPS_DIR、VSS_DATA_DIR、HOST_IP、EXTERNAL_IP。一键部署DGX Spark 与 Thor 各自只需改 5 行DGX Spark 配置在user-overrides.env中追加HARDWARE_PROFILEDGX-SPARK VSS_RT_VLM_TAGdevelop-latest-sbsa # 关键Spark 必须使用 sbsa 镜像 LLM_DEVICE_ID0 VLM_DEVICE_ID0 RT_VLM_DEVICE_ID0 LLM_MODElocal最容易踩的坑VSS_RT_VLM_TAGdevelop-latest-sbsa是 Spark 的必选项。默认 tag 拉取的是 Tegra 构建镜像缺少 GB10 所需库文件VLM 容器会陷入 crash-loop 反复重启。AGX Thor / IGX Thor 配置HARDWARE_PROFILEAGX-THOR # IGX 硬件改为 IGX-THOR LLM_DEVICE_ID0 # 按 nvidia-smi 报告的 Thor GPU ID 调整 VLM_DEVICE_ID0 RT_VLM_DEVICE_ID0 RTVI_VLLM_GPU_MEMORY_UTILIZATION0.35 LLM_MODElocalThor 上 LLM 与rtvi-vlm实时 VLM共享同一块 GPU30% 35% 的预算由内置档案自动分配无需手动计算。启动服务cd deploy/docker docker compose -f compose.yml \ --env-file containers.env \ --env-file developer-profiles/dev-profile-base/.env \ --env-file developer-profiles/dev-profile-base/user-overrides.env \ config --quiet # 先校验配置无误 # 校验通过后启动 docker compose -f compose.yml \ --env-file containers.env \ --env-file developer-profiles/dev-profile-base/.env \ --env-file developer-profiles/dev-profile-base/user-overrides.env \ up -d部署后优化与排错清单Thor 功耗拉满重启后需重新设置sudo nvpmodel -m 0 sudo reboot # 最高功耗模式需重启生效 sudo jetson_clocks # 重启后锁定最高频率缓存清理Spark / Thor 建议运行仓库提供的sys-cache-cleaner.sh脚本周期性释放主机缓存防止统一内存被系统缓存吃满。显存实在放不下两个备选方案方案配置适用场景换更小 LLMLLM_NAMEnvidia/NVIDIA-Nemotron-Nano-9B-v2-FP811.7 GB 对应LLM_NAME_SLUG默认 30B 模型无法容纳的设备远程 LLMLLM_MODEremoteLLM_BASE_URL指向 OpenAI 兼容端点追求最低延迟边缘只留 VLM部署完成验证浏览器访问http://设备IP:7777即可看到 VSS UI 的 Video Management 页面——上传 mp4/mkv 视频后就能直接向 Agent 提问视频内容、生成摘要与报告。注意事项与参考资料当前边缘平台支持 base、alerts验证/实时告警档案完全本地化部署所有工作流含 search 档案将在未来版本提供详见 docs/edge-deployment.mdx。VLM 需要Personal API Key旧版 NGC key 不适用。各性能基准DGX Spark / AGX Thor 实测见 docs/performance.mdx可用于容量规划。更多模型组合与远程端点配置docs/vss-agent/configure-llm.mdx按照以上步骤你在 10 分钟内就能让一台 DGX Spark 或 Thor 化身独立的视频AI工作站——视频进来答案、摘要和报告出来。【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考