1. [主页 ](/) Metropolis # NVIDIA Metropolis NVIDIA Metropolis 是一套由模型、库和蓝图组成的解决方案，提供从边缘到云端构建、部署和扩展[视频分析 AI agents](https://www.nvidia.cn/use-cases/video-analytics-ai-agents/) 和应用所需的一切组件。借助它，你可以轻松将真实环境中的原始视频和传感器数据转化为实时且可付诸行动的洞察。这样一来，组织不仅能够更好地理解物理空间中正在发生的情况并进行智能响应，还能在规模、吞吐量、成本效率以及产品落地速度方面获得出色表现。 [开始使用 ](https://build.nvidia.com/explore/vision "开始使用")[加入论坛](https://forums.developer.nvidia.com/c/accelerated-computing/intelligent-video-analytics/13 "加入论坛") * * * ## Metropolis 的工作原理 Metropolis 提供了一个连贯的端到端软件构建块堆栈，可处理从视频摄取到见解生成，再到高级代理式 AI 驱动的分析等各种任务。这些组件可以在整个计算范围内 (边缘、本地服务器或云端) 持续部署，因此相同的应用程序可以在靠近数据生成位置或大规模集中运行。 ![图像替代文本](https://developer.download.nvidia.com/images/metropolis/gtc26-metropolis-stack-update-r2.png) ### 借助 NVIDIA VSS Blueprint 和技能进行大规模代理式视频搜索 深入了解代理式搜索、模块化设计、参考工作流等方面的全新 VSS 3.0 技能。 [试用 VSS 技能](https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization/tree/main/skills)[阅读博客](/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/) ### 借助 NVIDIA DeepStream 技能创建视觉 AI 应用 了解如何使用简单的自然语言提示生成完整的、GPU 加速的 NVIDIA DeepStream 视频分析流程。 [试用 DeepStream 技能](https://github.com/NVIDIA-AI-IOT/DeepStream_Coding_Agent) [阅读博客](/blog/how-to-build-vision-ai-pipelines-using-deepstream-coding-agents/) ### 借助 NVIDIA TAO 技能微调视觉 AI 模型 试用一套智能体技能和工具，借助自然语言提示微调视觉 AI 模型。 [试用 TAO 技能](https://github.com/NVIDIA-TAO/tao-skills-bank) ### 借助智能体技能解决训练数据挑战 使用智能体技能快速生成用于视觉检查的合成数据，或增强边缘案例的视频。 [试用有缺陷的图像生成技能](https://brev.nvidia.com/launchable/deploy/now?launchableID=env-3DMiyRSFam5te8UXrCniX9QCu3x)[试用视频增强技能](https://brev.nvidia.com/launchable/deploy/now?launchableID=env-3DH5QPdLRWBABdW9Lxn4vQBK5mW) * * * ## Metropolis 入门 ### 开始使用最新的 Metropolis 视觉语言和视觉基础模型。 ![使用 NVIDIA Rivermax SDK 构建和探索](https://developer.download.nvidia.com/icons/m48-cosmos.svg) ### NVIDIA Cosmos 了解首个 OmniModel，它可以查看、推理、生成多种结果，并教会物理智能体如何在现实世界中行动。 [立即试用](https://build.nvidia.com/nvidia/cosmos-reason2-8b) ![使用 NVIDIA Rivermax SDK 构建和探索](https://developer.download.nvidia.com/icons/nim.svg) ### 视觉 AI NIM 探索经 GPU 优化的微服务，这些微服务通过简单的 API 提供即用型视觉和多模态模型。 [试用 NVIDIA NIM™ API](https://build.nvidia.com/explore/vision) ![表示神经网络的图标](https://developer.download.nvidia.com/icons/m48-neural-network-3.svg) ### 嵌入 使用 Cosmos Embed、C-RADIO 和 NV-CLIP 等 NVIDIA 模型，将图像、视频和文本转换为向量表示，以实现物理 AI 和多模态理解。 [探索 Cosmos 嵌入](https://docs.nvidia.com/nim/cosmos-embed1/latest/introduction.html) [探索 C-RADIO](https://huggingface.co/nvidia/C-RADIOv4-H) [探索 NV-CLIP](https://catalog.ngc.nvidia.com/orgs/nim/teams/nvidia/containers/nvclip?version=2.0.0) ### 使用特定领域的数据对您的视觉 AI 模型进行后期训练，以提高准确性。 ![使用 NVIDIA Rivermax SDK 构建和探索](https://developer.download.nvidia.com/icons/m48-cosmos.svg) ### Cosmos Cookbook 通过监督式微调和强化学习，获取训练后 Cosmos WFM 的方法。 [了解详情](https://github.com/nvidia-cosmos/cosmos-cookbook) ![表示 TAO 工具包的图标](https://developer.download.nvidia.com/icons/m48-custom-data-256px-blk.svg) ### TAO 探索一套智能体技能和工具，借助编码智能体和自然语言提示微调视觉 AI 模型。 [了解详情](https://developer.nvidia.cn/tao-toolkit) ### 开始使用基础 Metropolis 框架开发视觉 AI 应用。 ![https：// developer.downicon，表示使用大语言模型构建代理式 AI 应用](https://developer.download.nvidia.com/icons/building-agentic-ai-application-with-large-language-model.svg) ### 用于视频搜索和摘要 (VSS) 的 NVIDIA Metropolis Blueprint 借助 VSS Blueprint，您可以构建可定制的视频分析 AI 智能体，通过无缝的边缘到云集成提供强大的见解。VSS 还提供了使用编码智能体根据简单的自然语言提示构建这些智能体的技能。 [立即试用](https://build.nvidia.com/nvidia/video-search-and-summarization) ![表示视频处理串流的图标](https://developer.download.nvidia.com/icons/video-processing-streaming.svg) ### NVIDIA DeepStream 这是一个完整的流分析工具包，用于基于 AI 的多传感器处理以及视频、音频和图像理解。 [了解详情](https://developer.nvidia.cn/deepstream-sdk) ### 生成高质量的合成数据，安全高效地训练 AI 模型。 ![表示数据文件的图标](https://developer.download.nvidia.com/icons/data-files.svg) ### 物理 AI 数据集 借助经过验证的开源数据集，在行业、城市、机器人和自主系统中训练视觉 AI，解锁数据瓶颈，该数据集现已在 Hugging Face 上免费提供。 [探索 NVIDIA 物理 AI 数据集](https://huggingface.co/collections/nvidia/physicalai-67c643edbb024053dcbcd6d8) ![表示神经网络的图标](https://developer.download.nvidia.com/icons/m48-neural-network-3.svg) ### 用于合成数据生成的智能体技能 使用您自己的视频或图像数据构建合成数据生成工作流。然后，使用 Cosmos 开放 WFM 对其进行筛选、增强和评估，以加速视觉 AI 模型开发。 [试用有缺陷的图像生成技能](https://brev.nvidia.com/launchable/deploy/now?launchableID=env-3DMiyRSFam5te8UXrCniX9QCu3x) [试用视频增强技能](https://brev.nvidia.com/launchable/deploy/now?launchableID=env-3DH5QPdLRWBABdW9Lxn4vQBK5mW) ![表示视觉数据仿真的图标](https://developer.download.nvidia.com/icons/simulation-2.svg) ### Isaac Sim 使开发者能够从复杂的 3D 环境中创建逼真的合成数据，以训练视觉 AI 模型。 [在 Isaac SIM 上开始使用活动和演员生成 ›](https://docs.isaacsim.omniverse.nvidia.com/latest/action_and_event_data_generation/index.html) * * * ## 入门套件 ### 开发视频分析 AI 智能体 通过计算机视觉和实时视觉推理，构建能够看到、理解世界并与之交互的智能系统。 - [VSS Blueprint Github](https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization) - [VSS 文档](https://docs.nvidia.com/vss/latest/) - [VSS 代理搜索视频教程](https://www.youtube.com/watch?v=SzvKhAs0XJ8) - [VSS 代理搜索演示视频](https://www.youtube.com/watch?v=SzvKhAs0XJ8) - [VSS 3 技术博客 (新增)](/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/) - [VSS 技能直播录制](https://www.youtube.com/watch?v=U1D4ZhSHHd0) - [VSS Event Reviewer 演示视频](https://www.youtube.com/watch?v=0FWZwMum7bw) - [在云端部署 VSS](https://brev.nvidia.com/launchable/deploy?launchableID=env-2tYIjRXL4eMCbH9Az8mJC5WPAI4) ### 构建视觉推理工作流 使用 DeepStream 开发流式传输工作流，以提取视频、预处理帧并运行优化的视觉 AI 模型。 - [DeepStream 开发者指南](https://docs.nvidia.com/metropolis/deepstream/dev-guide/) - [DeepStream 推理构建器 Github](https://github.com/NVIDIA-AI-IOT/inference_builder?ncid=so-yout-238844) - [DeepStream 推理构建器视频教程](https://www.youtube.com/watch?v=yj11L8rFC30) - [DeepStream Coding Agent 技术博客](/blog/how-to-build-vision-ai-pipelines-using-deepstream-coding-agents/) - [编码代理直播录制](https://www.youtube.com/watch?v=3NyCYgP4_AY) ### 为智慧城市和仓库运营构建智能体 通过样本数据、定制提示和报告模板，探索优化的 VSS 蓝图配置示例。 - [VSS 智慧城市示例](https://docs.nvidia.com/vss/3.1.0/smartcity-docs/smartcity-toc.html) - [VSS 仓库操作示例](https://docs.nvidia.com/vss/3.1.0/warehouse-docs/warehouse-toc.html) ### 后训练视觉语言模型 在特定任务的多模态数据上优化视觉语言模型，使其更好地将视觉理解与特定领域的概念和指令保持一致。 - 示例：[智能运输后训练 Cosmos 智能运输的原因](https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/post_training/reason2/intelligent-transportation/post_training.html) - 示例：[对 Cosmos Reason 进行后训练，了解仓库中的空间 AI](https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/post_training/reason1/spatial-ai-warehouse/post_training.html) - 示例：[使用 Cosmos Reason 对晶圆贴图异常进行分类](https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/post_training/reason1/wafermap_classification/post_training.html) ### 微调视觉基础模型 使用目标领域数据调整强大的预训练视觉主干，以便他们专注于您的任务，同时保持广泛的视觉理解。 - [开始使用 NVIDIA TAO 微调微服务](https://docs.nvidia.com/tao/tao-toolkit/latest/text/tao_toolkit_api/index.html) - 技术博客：[构建实时视觉检测工作流](https://developer.nvidia.cn/blog/build-a-real-time-visual-inspection-pipeline-with-nvidia-tao-6-and-nvidia-deepstream-8/) - 技术博客：[利用生成式 AI 和视觉基础模型优化半导体缺陷分类](https://developer.nvidia.cn/blog/optimizing-semiconductor-defect-classification-with-generative-ai-and-vision-foundation-models/) ### 生成合成数据 创建合成图像和视频，以扩展训练数据集、降低采集成本，并提高各种场景中视觉模型的稳健性。 - [在 GitHub 上生成缺陷图像的智能体技能](https://github.com/NVIDIA/skills/tree/main/skills/physical-ai-defect-image-generation) - [Github 上视频增强的智能体技能](https://github.com/NVIDIA/skills/tree/main/skills/physical-ai-video-data-augmentation) - 示例：[使用 Cosmos Transfer 生成用于多视图仓库检测和追踪的合成数据](https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/inference/transfer1/inference-its-weather-augmentation/inference.html) - 示例：[利用 Cosmos Transfer 实现 CARLA 从模拟器到现实的交通异常场景增强](https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/inference/transfer2_5/inference-carla-sdg-augmentation/inference.html) - 示例：[借助 Cosmos Transfer 2.5 生成风格引导型视频](https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/inference/transfer2_5/inference-image-prompt/inference.html) - 示例：[用于生成体育视频的 LoRA 后训练](https://nvidia-cosmos.github.io/cosmos-cookbook/recipes/post_training/predict2_5/sports/post_training.html) * * * ## 更多资源 ![代表开发者社区的装饰性图像](https://developer.download.nvidia.com/icons/m48-people-group.svg) ### 探索开发者论坛 ![代表开发者时事通讯的装饰性图像](https://developer.download.nvidia.com/icons/m48-email-settings.svg) ### 注册接收开发者时事新闻 ![代表开发者社区的装饰性图像](https://developer.download.nvidia.com/icons/m48-developer-1.svg) ### 加入 NVIDIA 开发者计划 * * * ## 伦理 AI NVIDIA 认为值得信赖的 AI 是一项共同的责任，我们制定了相关政策和实践来支持各种 AI 应用的开发。根据我们的服务条款下载或使用时，开发者应与其支持的模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。 有关此模型道德因素的更多详细信息，请参阅模型卡 可解释性、偏差、安全性和隐私子卡。请报告安全漏洞或 NVIDIA AI 问题[单击此处](https://www.nvidia.cn/support/submit-security-vulnerability/)。 开发、部署和扩展支持 AI 的视频分析应用 NVIDIA Metropolis。 [开始使用](https://build.nvidia.com/explore/vision)