VSS硬件拓扑选型终极指南:不同GPU下各Profile需要几张卡?
VSS硬件拓扑选型终极指南不同GPU下各Profile需要几张卡【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarizationVSSVideo Search and Summarization视频搜索与摘要是 NVIDIA 推出的 AI 视频分析蓝图提供实时告警、视频问答和自动报告能力。很多新手部署前最大的困惑就是我的显卡够不够跑该用哪个 Profile到底要几张 GPU 卡这篇指南把官方硬件需求一次讲透帮你快速完成硬件选型。VSS 是什么先看整体架构VSS 由四大类组件构成视频输入输出与存储VIOS、实时视觉微服务RTVI、AI 模型推理NIMNemotron LLM Cosmos VLM、以及智能体与中间件。理解分层架构你就明白为什么不同 Profile 吃卡的胃口不一样——模型推理LLM/VLM是 GPU 消耗的大头。架构总览可参考 assets/vss-architecture.png 与官方文档 docs/performance.mdx。4 个开发 Profile你打算用哪种工作流VSS 通过开发 Profile来决定部署哪些组件每个 Profile 的 GPU 需求各不相同Profile核心能力官方文档dev-profile-base视频问答VQA、报告生成、视频管理docs/quickstart.mdxdev-profile-lvs长视频摘要Long Video Summarizationdocs/long-video-summarization.mdxdev-profile-alerts实时告警 / VLM 告警核验docs/agent-workflow-rt-alert.mdxdev-profile-search视频语义搜索Embedding VLMdocs/agent-workflow-search.mdx对应的 Profile 定义文件位于 deploy/docker/developer-profiles/ 目录每个子目录含.env、Dockerfile等部署配置。长视频摘要LVS的流水线如下可以看到它依赖 VLM 对视频分段理解再汇总搜索 Profile 是功能最重的一个实时 Embedding、VLM 打标、LLM 问答三条链路并行因此最吃卡告警 Profile 则通过 RT-VLM 持续采样视频帧做异常检测官方支持的 GPU 硬件清单 ️VSS 在以下 NVIDIA GPU 上完成验证测试详见 docs/prerequisites.mdx数据中心级H100、GB300、L40S工作站/边缘级RTX PRO 6000 Blackwell、RTX PRO 4500 Blackwell仅限 alerts profile、DGX Spark、IGX Thor、AGX Thor⚠️ 如果你的卡不在清单里可设置HARDWARE_PROFILEOTHER走实验性配置NIM 使用默认参数。GPU 卡数速查表核心内容以下数据全部来自官方 docs/prerequisites.mdx 的 Development Profile GPU Requirements 章节。H100 / RTX PRO 6000 Blackwell两者相同Profile共享 GPU独占 GPU远程 LLM远程 VLM远程 LLMVLMbase问答/报告12110lvs长视频摘要12110alerts告警核验23221alerts实时告警232——search视频搜索34322L40S显存较小多要 1 张卡Profile独占 GPU远程 LLM远程 VLM远程 LLMVLMbase2110lvs2110alerts两种模式322 / —1 / —search4332GB300单卡通吃 所有 Profile 都只需 1 张 GB300 GPU无论本地模型还是远程模式——单卡就能跑满全套工作流这是最省心的硬件方案。入门与边缘平台平台支持的 Profile卡数RTX PRO 4500 Blackwell仅 alerts需远程 LLM2DGX Sparkbase / alerts远程 LLM1IGX Thor / AGX Thorbase / alerts远程 LLM1 两个硬性约束alerts 必须占用 GPU 设备 0search 需要 GPU 设备 0 和 1 两张卡。多卡机器部署时请在 overrides.env 中确认 GPU 分配。省钱技巧善用远程模型模式表格里的远程 LLM/VLM列是关键把大模型放到其他推理服务如 vLLM 远程端点上本机卡数可以大幅降低——H100 上跑 base 和 lvs如果 LLM 和 VLM 都远程本机只需要 0 张 GPU 卡VIOS、Agent 等仍走 CPU/轻量服务。对于 search也能从 4 张独占卡降到 2 张。除 GPU 外的最低配置别只看显卡官方最低系统要求同样来自 docs/prerequisites.mdxCPU18 核x86内存128 GB存储1 TB SSD网络1 Gbps 网卡 ×1GPU按 Profile 需要 1~4 张软件侧要求 Ubuntu 24.04x86、Docker 28.3.3~29.5.0、Docker Compose v2.39.1、NGC CLI 4.10.0完整清单见 docs/prerequisites.mdx。选型建议总结 你的场景推荐硬件体验 base 问答1× H100 / RTX PRO 6000或远程模型 0 卡长视频摘要 lvs2× H100 独占或 1× GB300实时告警 alerts3× H100 独占 / 2× 远程 LLM / 1× GB300视频搜索 search最重4× H100 独占 / 2× 远程 LLMVLM / 1× GB300预算有限入门DGX Spark / IGX Thor 单卡 远程 LLM跑 base/alerts更多性能基准每卡可支撑的并发 1080p 流数、E2E 延迟请参考 docs/performance.mdx 系列附录以及仓库内 docs/warehouse-docs/System-Sizing-Guide.mdx 中的规模化建议。【免费下载链接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.项目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考