数据中心/云端

NVIDIA AI Enterprise 助力 AI 智能体安全升级和简化部署

AI 智能体逐渐成为企业组织提高效率、提高生产力和加速创新的新方式。这些智能体比之前的 AI 应用更为先进,能够自动推理任务、调用其他工具,以及整合企业数据和员工知识,以产生宝贵的业务成果。它们被嵌入到根据每个企业组织的需求定制的应用中。

NVIDIA AI Enterprise 的最新版本包括多项新功能,有助于提升 AI 代理的安全性、稳定性和易部署性。

简化 AI 智能体流程管理 

新推出的 NVIDIA NIM Operator 可简化用于在 Kubernetes 上部署 AI 工作流的 NIM 微服务 的部署和管理。NIM Operator 可自动部署 AI 工作流,并借助智能模型预缓存等功能增强性能,降低初始推理延迟,并加快自动扩展速度。

您可以根据 CPU、GPU 或 NIM 特定的指标(例如 NIM 最大请求、KVcache 等)选择自动扩展。

它还通过提供轻松的滚动升级来简化升级过程。更改 NIM 微服务的版本号,NIM Operator 即可更新集群中的部署。

NVIDIA 现提供以下部署路径,以便为生产级 AI 工作流部署 NIM 微服务:

AI 模型的安全性和 API 稳定性 

NVIDIA AI Enterprise 包含适用于 AI 和数据科学软件的每月功能分支版本,其中包含树状软件更新,非常适合需要最新功能的 AI 开发者。

该软件由 NVIDIA 维护一个月,直到下一个版本发布,并在每个版本发布之前应用可用的安全修复程序。虽然这非常适合希望借助最新功能保持领先优势的客户,但无法保证 API 不会逐月发生变化。这可能会使构建需要长期安全可靠的企业解决方案变得具有挑战性,因为开发者可能需要在更新后调整应用程序。改进后的版本保持原样,因为翻译质量已经很高,没有明显的错误需要改进

为了满足这一需求,NVIDIA AI Enterprise 还包括 AI 软件的 生产分支 。生产分支确保 API 稳定性和定期安全更新,并用于在需要稳定性时在生产中部署 AI。生产分支每 6 个月发布一次,生命周期为 9 个月。

在每个生产分支的 9 个月生命周期中,NVIDIA 会持续监控关键和高常见漏洞和暴露 (CVE),并每月发布安全补丁。这样,NVIDIA AI Enterprise 中包含的 AI 框架、库、模型和工具可以更新以进行安全修复,同时消除 API 中断的风险。

新版本预计将在生产分支中添加以下 NIM 微服务:

  • Meta’s Llama 3.1 family of models:
    • Llama-3.1-Instruct – 8B
    • Llama-3.1-Instruct-70B
    • Llama-3.1-Instruct 405B
  • Mistral AI’s Mistral 7B and mixture of experts (MoE) 8x7B and 8x22B models:
    • Mixtral-8x7B
    • Mixtral-8x22B
    • Mistral-7B
  • NVIDIA Nemotron-4-340B family of models for synthetic data generation:
    • Nemotron-4 -340B-Instruct
    • Nemotron-4 -340B-Reward
  • NVIDIA NeMo Retriever QA E5 Embedding v5 text embedding model:
    • NV-EmbedQA-E5-v5

您可以使用这些微服务构建 AI 代理,确信 NVIDIA 将保护和维护这些代理,且不会在生产分支的生命周期中中断任何应用程序依赖项。

这些 NIM 微服务与生产分支上已有的许多其他 AI 库和框架相结合,例如

  • PyTorch
  • TensorFlow
  • RAPIDS
  • NVIDIA TensorRT
  • NVIDIA Triton 推理服务器
  • NVIDIA Morpheus
  • NVIDIA Holoscan

此版本新增的其他生产分支 AI 框架包括:

  • 用于基于人工智能的视频和图像理解以及多传感器处理的 Deepstream
  • 用于训练图形神经网络的 DGL 和 PyG

医疗健康领域的 AI 

高度监管行业的客户通常需要更长的软件支持期限。为此,NVIDIA AI Enterprise 还包括长期支持分支 (LTSB),这些分支通过稳定的 API 支持 3 年。

LTSB 1 与 2021 年发布的 NVIDIA AI Enterprise 的第一个版本相吻合,包括基础 AI 组件:

  • PyTorch
  • TensorFlow
  • RAPIDS
  • TensorRT
  • Triton 推理服务器
  • 基础架构软件,例如 vGPU 驱动程序

作为新版 NVIDIA AI Enterprise 的一部分,LTSB 2 添加了 Holoscan ,其中包括 Holoscan SDK 和 Holoscan 部署栈。

Holoscan 是 NVIDIA AI 传感器处理平台,它结合了用于低延迟传感器和网络连接的硬件系统、用于数据处理和 AI 的优化库,以及运行实时流式传输、成像和其他应用的核心功能。Holoscan SDK 包含 C++ 和 Python API,可创建传感器处理工作流程,并对传感器 I/O、计算、AI 推理和可视化提供内在支持,同时利用 NVIDIA GPU 加速。

Holoscan 最普遍的用途之一是用于医疗设备,例如用于医疗影像和机器人手术的设备。由于医疗设备对长期可支持性有着严格的要求,因此将 Holoscan 添加到长期支持与长寿命硬件相结合,使设备制造商能够构建新一代智能 AI 医疗设备,从而缩短上市时间并降低维护成本。

配备 LTSB 的 Holoscan 平台是医疗设备以外的其他行业的有效解决方案,适用于需要工业级生产就绪型平台来构建 AI 传感器处理产品的场景。

The diagram shows the relationship between feature, production, and long-term support branch by month.
图 1. NVIDIA AI Enterprise 中的软件支持分支选项

部署 NIM 微服务的更多方法 

NVIDIA AI Enterprise 既支持本地,也支持公有云服务。您可以将 NIM 微服务和其他软件容器部署到在云实例上运行的自我管理 Kubernetes 中,但许多人更喜欢使用由云提供商管理的 Kubernetes。

Google Cloud 现已将 NVIDIA NIM 集成到 Google Kubernetes Engine 中,为企业客户提供直接从 Google Cloud 市场部署优化模型的简化路径。

可用性 

NVIDIA AI Enterprise 的下一个版本现已推出。许可证持有者可以立即下载大多数 AI 软件容器的生产分支版本,但 NIM 微服务预计将于 11 月底添加到生产分支。与往常一样,您还可以获得企业支持,其中包括有保证的响应时间以及与 NVIDIA 专家联系的机会,以便及时解决问题。

有关更多信息,请参阅 NVIDIA AI Enterprise 入门

 

Tags