NVIDIA TAO 工具套件

创建高度准确、自定义生产就绪型 AI 模型,助力您的语音 AI 应用和计算机视觉 AI 应用。

下载 TAO     入门

什么是 NVIDIA TAO 工具套件?

从零开始创建 AI/机器学习模型需要海量的数据和一大批数据科学家。现在,您可以通过迁移学习加快模型开发过程,迁移学习是一种热门技术,可以将现有神经网络模型中已经学到的特征提取到新的自定义模型中。

NVIDIA TAO 工具套件基于 TensorFlow 和 PyTorch 构建,是 NVIDIA TAO 框架的低代码版本,通过抽象出 AI/深度学习框架的复杂性来加速模型训练过程。TAO 工具套件让您利用迁移学习的强大功能和自己的数据对预训练 NVIDIA 模型进行微调,并针对推理进行优化,无需具备 AI 专业知识或大型训练数据集。

什么是 TAO 工具套件?它如何融入 AI 模型开发工作流程?

主要优势

 TAO 工具套件可以让您轻松使用 Jupyter Notebook 训练模型。

轻松训练模型

TAO 工具套件是一种低代码解决方案,可让您使用 Jupyter Notebook 训练模型,而无需掌握 AI 框架专业知识。

TAO 工具套件可帮助您为用例构建高度准确的 AI 模型。

构建高度准确的 AI

使用NVIDIA 预训练模型以及模型架构为用例创建高度准确的自定义 AI 模型。

TAO 工具套件可让您优化推理模型。

优化推理

通过优化推理模型,超越定制并实现高达 4 倍的性能。

TAO 工具套件可帮助您轻松部署经过优化的模型。

轻松部署

通过用于视觉 AI 的 NVIDIA DeepStream、用于语音 AI 的 Riva 以及 Triton 推理服务器™,部署经过优化的模型。

什么是预训练AI 模型?

经过预训练的 AI/深度学习模型已使用具有代表性的数据集进行训练,并根据权重和偏差进行了调优。与从零开始训练相比,您只需使用一小部分实际数据或合成数据,即可轻松快速地自定义这些模型。

视觉 AI 预训练模型

使用超过 100 个NVIDIA 优化的模型架构,为诸如图像处理和分类、物体检测和语义分割的计算机视觉任务创建自定义深度学习模型。

您还可以利用基于任务的模型来识别人员动作和姿态、在拥挤的空间中进行人员检测、检测及分类车辆和车牌等。

从 NGC 下载 JUPYTER NOTEBOOK 查看性能图表

对话式 AI 预训练模型

通过微调自动语音识别 (ASR)、自然语言处理 (NLP) 和文本转语音 (TTS) 模式,设计个性化的实时呼叫中心体验、智能操作台和其他对话式 AI 服务。

从 NGC 下载 JUPYTER NOTEBOOK

主要性能

使用 Rest API 将 TAO Toolkit 集成到您的应用程序中

在 Kubernetes 上的现代云原生基础架构中部署 TAO 工具套件并使用 Rest API 将其集成到您的应用程序中。构建新的 AI 服务或将 TAO 工具套件集成到您的现有服务中,并在不同工具之间实现自动化。

了解详情

导入 ONNX 模型权重

您只需将自己的分类和分割模型权重从 ONNX 模型导入到 TAO 工具套件中,即可进行微调和优化。

观看演示

增强您的数据

利用数据增强功能(例如空间和颜色转换)提高模型性能,使现有图像数据集更加多样化。

了解详情

通过 TensorBoard 实现可视化

通过标量可视化(例如,训练和验证损失、准确性、模型权重和预测的图像),了解模型收敛情况。

了解详情

优化推理

通过剪枝和 INT8 量化使推理速度提升高达 4 倍而不会降低准确性。

阅读博客

助力 DeepStream 和 Riva

通过 TAO 工具套件创建的优化模型可以轻松与用于视觉 AI 的 NVIDIA DeepStream SDK 和用于语音 AI 的 Riva 相集成,释放更出色的性能并加速应用开发。

与 DEEPSTREAM 集成 与 RIVA 集成

利用 NVIDIA AI Enterprise 在任何地方创建AI,

NVIDIA AI Enterprise 是一款端到端、云原生的 AI 和数据分析软件套件,TAO 工具套件现已成为其不可或缺的一部分。它经过优化和认证,由 NVIDIA 提供支持,因此企业可以创建和部署 AI(经过认证后可在任何地方部署)。享受企业级支持能够使 AI 项目顺利开展。

了解详情

推理性能

从使用 NVIDIA Jetsons 的边缘到使用 NVIDIA Ampere 架构 GPU 的云,跨平台使用 NVIDIA 预训练模型释放峰值推理性能。有关批量大小和其他模型的更多详细信息,请查看详细性能数据表

Xavier NX
AGX Xavier
AGX Orin
T4
A2
A30
A100
模型架构
推理归结
精度
模型准确率
GPU + 2*DLA(FPS)
GPU + 2*DLA(FPS)
GPU + 2*DLA(FPS)
GPU(FPS)
GPU (FPS)
GPU (FPS)
GPU (FPS)
行人检测
960x544x3
INT8
80% mAP
263
418
1294
1064
581
3160
6245
3D 姿态估计
256x192x3
FP16
8 像素误差
147
235
711
713
471
2242
4179
姿态动作分类
3x300x34x1
FP16
90%
87
150
262
376
211
1122
2145
DashCamNet
960x544x3
INT8
84% mAP
423
670
1895
1676
865
4900
9500
车牌识别
96x48x3
FP16
98% mAP
706
1190
4118
3959
2180
12400
27200
动作识别 2D
224x224x96
FP16
83%
245
471
1577
1897
1044
6000
12600
人员语义分割
960x544x3
FP16
87% mIoU
199
356
673
1027
631
2862
5745

客户案例

OneCup AI 客户案例

OneCup AI

OneCup AI 的计算机视觉系统使用 NVIDIA 预训练模型和 TAO 工具套件对动物活动进行跟踪和分类,从而将开发时间从几个月显着缩短到几周。

了解详情
RocketBoots 客户案例

RocketBoots

RocketBoots 利用 NVIDIA TAO 工具套件和预训练模型,提高其自动化员工管理解决方案的推理性能。

了解详情
Floatbot 客户案例

Floatbot

Floatbot 利用 NVIDIA Riva 和 NVIDIA TAO 开发自定义的新加坡英语语音 AI 应用,帮助全球的保险公司和金融客户实现呼叫中心自动化。

了解详情

领先使用者

booz allen
Kion group
Inex tech
Lexmark ventures
One cup AI
RocketBoots
SmartCow
appen
cvedia
hasty
lexset
lightly
Rendered AI
Sky Engine
Innotescus
Yuva AI

一般常见问题解答

NVIDIA TAO 是一个框架,可使用自定义数据训练、调整和优化计算机视觉 AI 模型和对话式 AI 模型,而且所需时间非常少,也无需拥有大型训练数据集或 AI 专业知识。

TAO 有两个版本。

  1. TAO 工具套件,是 TAO 的低代码版本
  2. 基于 GUI 的无代码解决方案,目前处于开发阶段。单击此处申请抢先体验。
迁移学习是将已经学到的特征从一个应用迁移至另一个应用的过程。这是一种常用的训练技术,在一个任务上训练的模型被重新训练以用于不同的任务。您可以在视觉、语音和语言理解模型上应用迁移学习。
可以。有关具体许可条款,请参阅模型 EULA
TAO 工具套件支持 100 多种 NVIDIA 优化模型架构和主干排列,例如 EfficientNet、YOLOv3/v4、RetinaNet、FasterRCNN、UNET 等等。

单击此处可找到所支持的模型架构的完整矩阵。
TAO 工具套件从用户便利化角度出发,使用 TensorFlow 和 PyTorch 框架。用户通过记录的规格文件操作 TAO 工具套件,而无需了解深度学习框架。
  • 视觉模型可以通过 DeepStream 进行部署
  • 语音模型可以通过 Riva 进行部署
  • 您还可以通过 Triton 推理服务器部署模型。

有关部署详情,请参阅文档部分。

借助 TAO 工具套件,您可以使用人员检测模型,并为此类模型添加新的“头盔分类”。利用同时包含人员分类和头盔分类的数据集对其进行微调。有关详细信息,请参阅白皮书。
可以,您可以在云端部署 TAO 工具套件。请参阅 TAO 工具套件文档,详细了解如何在 AWS、Azure 或 GCP 上运行 TAO 工具套件。
您只能在 x86 系统上使用 TAO 工具套件进行训练。不过,您可以在 Jetson 解决方案中部署经过优化的模型。
NVIDIA Metropolis 是一个应用框架、一组开发者工具,同时也是一个合作伙伴生态系统,可将可视化数据和 AI 整合在一起来提高众多行业的运营效率和安全性。单击此处了解详情。

资源

新开发者博客

使用 NVIDIA Isaac Sim 与 NVIDIA TAO 开发和部署 AI 机器人。

阅读博客

白皮书

了解利用迁移学习调整和增强 AI 工作流的各种方法。

阅读白皮书

GTC 网络会议

了解 TAO 工具套件如何帮助开发者克服数据挑战、用最少的编码对模型进行微调等。

点播观看在线研讨会

利用 TAO 工具套件简化和加速 AI 训练

入门