1. 主题

NVIDIA DGX Cloud 基准测试

NVIDIA DGX™ Cloud 基准测试用于衡量各种 AI 工作负载和平台的训练和推理性能，包括芯片、云平台和应用配置。

立即试用文档

NVIDIA DGX Cloud 基准测试的工作原理

NVIDIA DGX Cloud 基准测试可分析跨 GPU 配置和环境的实时指标，并针对自定义工作负载提供即用型基准测试模板和按需基准测试。通过交互式仪表板提供基准性能比较结果。

规格：

- 将分析从 8 个 GPU 扩展到 2048 个 GPU
- 精度比较：FP8 与 BF16
- 支持热门 AI 框架和模型
– 跨 NVIDIA NeMo™ 框架版本的性能数据

A chart showing DGX Cloud Benchmarking results

根据 NVIDIA DGX Cloud 基准测试结果得出的随时间推移而获得的改进指标示例。

介绍性博客

NVIDIA DGX Cloud 引入了即用型模板和方案来对 AI 平台性能进行基准测试。

阅读博客

基准测试方案

基准测试集合提供了一条简单的路径，可重现深度学习工作负载的最新性能结果。

查看菜谱

解释性博客

了解 NVIDIA DGX Cloud 基准测试如何准确衡量真实环境中的性能，并确定 AI 训练和推理工作负载中的优化机会。

阅读博客

开始使用 NVIDIA DGX Cloud 基准测试

对 AI 工作负载进行基准测试

借助 NVIDIA DGX Cloud 基准测试，了解端到端平台性能，并了解集群规模调整和工作负载优化的最佳实践。

基准测试方案

在任意云平台上部署即用型基准测试模板。利用 NVIDIA 的性能基准，比较不同精度和规模的预期性能。

NVIDIA DGX Cloud 基准测试入门套件

了解您自己的环境的表现：登录 NGC；选择模型；下载容器、基准测试方案和数据集脚本；启动以获取吞吐量结果。

Meta Llama 3.1 70B 的基准测试方案

借助 DGX Cloud 基准测试，了解端到端平台性能，并了解集群规模调整和工作负载优化的最佳实践。

适用于 NVIDIA NeMo Megatron 的基准测试方案

此方案包含用于生成 NVIDIA NeMo Megatron 工作负载训练性能结果的信息和脚本。

xAI Grok-1 314B 的基准测试方案

此 recipe 包含为 Grok1 114B 训练工作负载生成性能结果的信息和脚本。

NVIDIA DGX Cloud 基准测试学习资源库

Techblog

适用于热门 LLM 的 NVIDIA 优化代码

NVIDIA AI Foundation 模型和端点

学习使用 NVIDIA AI Foundation 模型在 Llama、Kosmos-2 和无缝 M4T 上生成代码、回答查询和翻译文本的技巧。

Tutorial

如何在 5 分钟内部署 NIM

NVIDIA NIM

NVIDIA NIM™ 是一套易于使用的推理微服务，可在任何云或数据中心上加速部署基础模型。

Model

试用 NVIDIA NIM API

NVIDIA 构建

探索由社区构建并由 NVIDIA 企业就绪型推理运行时进行优化和加速的领先开放模型。

Video

NVIDIA DGX Cloud Create

NVIDIA DGX Cloud

NVIDIA DGX Cloud Create 是一个完全托管的高性能 AI 训练平台，可在任何领先的云上提供经过优化的加速计算集群，并提供与 NVIDIA 专家交流的机会。

Techblog

NVIDIA DGX Cloud 无服务器推理

NVIDIA DGX Cloud

NVIDIA DGX Cloud Serverless Inference 通过无缝自动扩展、负载平衡和事件驱动执行，简化了跨多个区域部署 AI 工作负载的过程。

更多资源

Decorative image representing forums

NVIDIA DGX Cloud 基准测试常见问题解答

获取培训和认证

加入 NVIDIA 开发者计划

道德 AI

NVIDIA 认为可信 AI 是一项共同责任，我们已制定相关政策和实践，以支持开发各种 AI 应用。根据我们的服务条款下载或使用时，开发者应与其支持的模型团队合作，确保此模型满足相关行业和用例的要求，并解决不可预见的产品滥用问题。

有关此模型道德因素的更多详细信息，请参阅模型卡 可解释性、偏差、安全性和隐私子卡。请在这里报告安全漏洞或 NVIDIA AI 问题。

立即开始使用 DGX Cloud 基准测试

立即试用