NVIDIA TAO 工具套件

现在,您可以将 AI 开发速度提升 10 倍,而无需在 AI 专业知识方面投入巨额资金。借助 NVIDIA 训练、调整和优化 (TAO) 工具套件,您可以更快、更轻松地加速训练,并快速创建高度准确、性能出众的域特定 AI 模型。


入门指南

NVIDIA TAO 工具套件之前称为 NVIDIA 迁移学习工具套件。


从头开始创建 AI/ML 模型来解决业务问题会耗费您大量时间和资金。迁移学习是一项热门技术,用于将从现有神经网络模型中学到的功能提取到新模型。NVIDIA TAO 工具套件会抽象化 AI/DL 框架复杂性,从而简化此流程。如此一来,开发者能够微调高质量的 NVIDIA 预训练模型,只需从头训练部分数据,从而缩短开发时间。

借助 TAO 工具套件,您可以使用 NVIDIA 的产品级预训练模型并且按原样部署,或者针对各种计算机视觉和对话式 AI 用例尽可能减少地微调。TAO 工具套件是 NVIDIA TAO 平台的核心组件,用于 AI 模型自适应。

embedded-diagram-tlt3.0-launch-software-stack-diagram-1571862-01.png

训练更轻松

尽可能使用更少的编码将先进的 AI 技术添加到您的应用程序。无需 AI 框架专业知识

AI 高度准确

借助专门构建的预训练模型,消除障碍并提高网络准确性

吞吐量提高

显著降低部署成本并实现高推理吞吐量。

随时随地训练

TAO 工具套件能够在数据和计算所在的基础设施上无缝运行。



为计算机视觉和对话式 AI 快速创建定制的生产就绪型模型

避免耗费时间来从头开始创建和优化模型或使用未优化的开源模型,并可投入更多时间来增强应用程序。借助 NVIDIA 产品级预训练模型,TAO 工具套件可将工程工作速度提高 10 倍以上,以很少的时间实现高吞吐量和准确性。这些 AI 模型免费提供且随时可用,可通过 NGC 目录下载。

10x


适用于常见 AI 任务的预训练模型

计算机视觉预训练模型

您可以使用专为各种行业用例构建的 NVIDIA 预训练模型快速启动 AI 项目,加速从概念验证 (PoC) 到生产的流程。AI 模型可轻松用于常见的计算机视觉用例,例如在拥挤区域统计和检测人员、检测和划分车辆、在收费站检测和识别车牌、停车管理、医疗健康机构患者心率监测等。

面部特征点预测

行人检测

姿态估计

车牌检测与识别

people detection

人员检测

在交通枢纽等拥挤区域检测人员、背包和面部,改善客户体验,分析行人流量等。

lpd recognition

车牌检测与识别

检测并识别车牌,适用于各种应用,包括停车管理、自动收费站、交通监控等。

vehicle detection

车辆检测与分类

检测车辆类型或汽车的品牌/款式,适用于智慧城市应用程序

人员检测模型

PeopleNet

3 类目标检测网络,用于检测图像中的人员。

在 NGC 上查看

PeopleSegNet

1 类实例分割网络,用于检测和分割图像中的人员实例。

在 NGC 上查看

PeopleSemSegNet

1 类语义分割网络,用于将人员从背景中分割出来。

在 NGC 上查看

FaceDetect

检测图像中的人脸。

在 NGC 上查看

FaceDetect-IR

1 类目标检测网络,用于检测 IR 图像中的人脸。

在 NGC 上查看

车牌检测与识别模型

LPDNet

目标检测网络,用于检测汽车图像中的车牌。

在 NGC 上查看

LPRNet

识别车牌图像中的构成元素。

在 NGC 上查看

车辆检测与分类模型

TrafficCamNet

4 类目标检测网络,用于检测图像中的汽车和其他目标。

在 NGC 上查看

DashCamNet

4 类目标检测网络,用于检测图像中的汽车和其他目标。此网络用于检测移动镜头中的目标。

在 NGC 上查看

VehicleMakeNet

将汽车划分为 20 个热门汽车品牌,例如讴歌、奥迪、宝马、雪佛兰、克莱斯勒、道奇、福特、GMC、本田、现代、英菲尼迪、Jeep、起亚、雷克萨斯、马自达、梅赛德斯、尼桑、斯巴鲁、丰田和大众。

在 NGC 上查看

VehicleTypeNet

汽车类型分为轿跑车、轿车、SUV、面包车、大型汽车和卡车。

在 NGC 上查看
pose estimation

姿态估计

识别人体的关键关节。

gaze estimation

注视点预测

使用 3D 视线预测人员的注视位置。

facial landmark

面部特征点

检测面部的关键特征点,并追踪这些特征点以进行脸型预测,定位图像中的面部等。

姿态估计模型

姿态估计

识别人体的关键关节。

在 NGC 上查看

注视点预测模型

注视点预测

检测人员的目光注视点和注视点向量。

在 NGC 上查看

面部特征点模型

面部特征点预测

从面部图像中检测基准关键点。

在 NGC 上查看
heart rate estimation

心率预测

使用计算机视觉预测心率,适用于医疗健康和患者监测领域的应用程序。

human gesture

人员手势和情绪

计算机视觉任务,用于检测各种手势和情绪。

segmentation

Segmentation

在像素级别识别帧中每个多目标的实例。

心率预测模型

HeartRateNet

从 RGB 面部视频中以非侵入方式预测人员的心率。

在 NGC 上查看

人员手势和情绪模型

EmotionNet

用于划分面部情绪的网络。

在 NGC 上查看

GestureNet

对手势裁剪图像中的手势进行分类。

在 NGC 上查看

分割模型

实例分割 – MaskRCNN

在目标和分割标记周围生成边界框

在 NGC 上查看

语义分割 – UNET

在像素级别执行图像分类。将图像中的每个像素分配到类别标签。将某个类别的所有实例都整合到同一标签。

在 NGC 上查看

PeopleSegNet

1 类实例分割网络,用于检测和分割图像中的人员实例。

在 NGC 上查看

PeopleSemSegNet

1 类语义分割网络,用于将人员从背景中分割出来。

在 NGC 上查看
text recognition

文本识别

识别图像中的文本。

object detection

目标检测

检测帧中的一个或多个目标,并且在目标周围放置边界框。

image-classification

图像分类

根据图像特征,将图像轻松划分为指定类。支持的网络架构:ResNet、GoogLeNet、EfficientNet、VGG、DarkNet、MobileNet 和 CSPDarkNet。

文本识别模型

文本识别

识别车牌图像中的构成元素。

在 NGC 上查看

目标检测模型

DetectNet_v2

DetectNet_v2 是 NVIDIA 优化的目标检测架构,用于实现高性能。

在 NGC 上查看

YOLOv3、YOLOv4、FasterRCNN、SSD/DSSD、RetinaNet

NVIDIA GPU 上针对性能优化的开放模型架构。

在 NGC 上查看

图像分类模型

根据图像特征,将图像轻松划分为指定类。支持的网络架构:ResNet、GoogLeNet、EfficientNet、VGG、DarkNet、MobileNet 和 CSPDarkNet。

在 NGC 上查看

使用模型架构实现出色的准确性

借助 TAO 工具套件,您可以引入自己的数据,使用 100 多种神经网络架构组合(例如 ResNet、VGG、FasterRCNN、RetinaNet 和 YOLOv3/v4),并针对特定用例微调模型。您也可以使用适用于常见 AI 任务的多用途、产品级 NVIDIA 模型,免去从头开始训练的麻烦。

图像分类
目标检测
分割
DetectNet_V2
FasterRCNN
SSD
YOLOV3
YOLOV4
RetinaNet
DSSD
MaskRCNN
UNET
ResNet
10/18/34/50/101

VGG16/19

GoogLeNet

MobileNet V1/V2

SqueezeNet

DarkNet 19/53

CSPDarkNet 19/53

EfficientNet B0/B1

TAO 工具套件会根据数据调整热门网络架构和主干,允许您训练、微调、删减和导出高度优化且准确的 AI 模型,实现高吞吐量推理。



部署先进 AI 模型

使用模型删减和量化感知训练提高推理速度





构建 AI 解决方案的公司需要高度准确的 AI 模型,这些模型可以有效做出预测,同时在严格内存限制内实现更快的推理速度。在许多计算机视觉用例中,未删减的 AI 模型没有针对低功率设备进行优化。如果您要使用有限的数据集解决问题,结合使用迁移学习与精选删减可提高通道密度,实现高吞吐量推理。

了解详情


通常情况下,以较低精度执行 AI 模型时,计算效率更高。INT8 精度 AI 模型明显快于浮点推理,将 FP32/16 权重量化为 INT8 后训练,在某些情况下可能会因量化错误降低模型准确率。借助 TAO 工具套件的量化感知训练 (QAT) 功能,训练步骤中的权重量化有助于 FP16/FP32 模型与后训练量化实现同等准确率。借助 TAO 工具套件中的 QAT,开发者可以使用 INT8 精度将推理速度提升高达 2 倍,同时保持与 FP16 相当的准确率。

了解详情

Nano
TX2 NX
Xavier NX
AGX Xavier
T4
A100
模型架构
推理归结
精度
模型准确率
GPU (FPS)*
GPU (FPS)*
GPU (FPS)
DLA1 (FPS)
DLA2 (FPS)
GPU (FPS)
DLA1 (FPS)
DLA2 (FPS)
GPU (FPS)
GPU (FPS)
PeopleNet-ResNet34
960x544x3
INT8
84% mAP
11
31
182
58
58
314
75
75
1043
6001
TrafficCamNet
960x544x3
INT8
84% mAP
19
51
264
105
105
478
140
140
1703
9520
LPD
640x480x3
INT8
98% mAP
66
178
770
194
194
1370
256
256
5921
21931
Facial Landmark
80x80x1
FP16
6.1 pixel error
125
319
747
-
-
1451
-
-
4735
23117
GazeNet
224x224x1
224x224x1
224x224x1
25x25x1
FP16
6.5 RMSE
98
280
923
-
-
1627
-
-
5219
26534
People Semantic Segmentation
960x544x3
INT8
92% MIOU
1.4
6
17
9
9
28
12
12
103
519
2D Body Pose Estimation
288x384x3
INT8
56% mAP
5
12
97
-
-
166
-
-
563
2686

借助跨 NVIDIA 平台(Jetson Nano、TX2 NX、AGX Xavier、T4 和 Ampere A100 GPU)的 NVIDIA 预训练模型,实现高峰推理性能。有关批量大小和其他模型的更多详细信息,请查看详细性能数据表

注意:* 基于 Jetson Nano 和 TX2 NX 的 FP16 推理



使用 DeepStream SDK 的强大端到端视觉 AI 流水线







使用 DeepStream SDK 和 TAO 工具套件构建端到端服务和解决方案,将像素和传感器数据转换为切实可行的见解。TAO 工具套件生成的生产就绪型 AI 模型可轻松集成 NVIDIA DeepStream SDKTensorRT,实现高吞吐量推理,并提高各种应用程序的性能,包括智慧城市和医院、工业检测、物流、交通监控、零售分析等。

了解详情

借助 DeepStream SDK,提高流密度并大规模部署

对话式 AI 预训练模型

适用于对话式 AI 的 TAO 工具套件支持包括对自动语音识别 (ASR) 和自然语言处理 (NLP) 用例。现在,借助 NGC 中随时可用的预训练模型,您可以轻松设计个性化实时呼叫中心体验、智能操作台、高质量意图识别服务、实体识别、情感分析等。

speech recognition

语音识别 (ASR)

自动语音识别 (ASR) 会收录人类语音,然后将其转换为可读文本。

nlp

自然语言处理 (NLP)

自然语言理解 (NLU) 会录入文本,理解上下文和意图,然后借此生成智能回复。

语音识别 (ASR) 模型

Jasper

端到端神经自动语音识别 (ASR) 模型,可将音频片段转为文本。

在 NGC 上查看

QuartzNet

端到端神经自动语音识别 (ASR) 模型,可将音频片段转为文本。

在 NGC 上查看

CitriNet

经过优化的较小版 QuartzNet,适用于端到端自动语音识别 (ASR) 任务。

在 NGC 上查看

N 元语言模型

预测 ASR 模型使用的单词序列的概率分布,表述句子中每个单词的概率。

在 NGC 上查看

自然语言处理 (NLP) 模型

BERT 文本分类

此模型会将文档划归预定义类别。

在 NGC 上查看

BERT NER

该模型会录入一段文本以及文本中的每个单词,然后识别单词所属的类别。

在 NGC 上查看

BERT 标点符号

预测单词后跟的标点符号(如果有),并预测单词是否应大写。

在 NGC 上查看

BERT Intent and Slot

划分意图并检测查询中此意图的所有相关位置(实体)。

在 NGC 上查看

Question Answering Bert Large

Bert Large Uncased 模型,用于对提供的内容进行抽取式问题解答。

在 NGC 上查看

Question Answering Bert Base

Bert Uncased 模型,用于对提供的内容进行抽取式问题解答。

在 NGC 上查看

Question Answering Megatron

基于问题解答数据集 SQuADv2.0 训练的 Question Answering 的 Megatron Uncased 模型。

在 NGC 上查看


部署先进对话式 AI 模型

使用 Riva 的强大端到端 AI 流水线




Riva 是一款完全加速的应用程序框架,供开发者使用先进的深度学习模型构建和部署多模态 AI 服务。企业开发者可以使用 TAO 工具套件针对其数据轻松微调先进模型,从而更准确地了解特定上下文。借助经过优化的预训练模型和迁移学习,仅需使用手动非迁移学习方法的 1/10 数据,即可训练和部署应用程序。

了解详情
Tao ConvAI Workflow Diagram 1920x800.jpg

使用预训练模型、TAO 工具套件和 Riva 训练和部署端到端对话式 AI 流水线




数据生成和数据标记合作伙伴

训练 AI 需要大量高质量标记数据,因此我们与多家公司合作,引入数据创建和标注以加速训练。

Sama logo

提供端到端合成计算机视觉解决方案,适用于目标检测和图像分类

了解详情
Hasty.ai logo

使用 AI 显著加快标记速度的标记解决方案。

了解详情
Sky Engine logo

适用于图像和视频分析应用程序的新一代自主学习 AI 系统。

了解详情
Lightly logo

提供数据管护平台,助力您为用例选择出色数据

了解详情
Appen logo

为各种用例提供高质量训练数据

Labelbox logo

协作式数据训练平台,用于为机器学习应用程序创建和管理标记数据

Sama logo

为 AI 和机器学习模型提供高质量训练数据、验证和标注解决方案



用户好评


“INEX RoadView 是我们用于收费公路的综合自动车牌识别系统,该系统使用 NVIDIA 端到端视觉 AI 流水线、生产就绪型 AI 模型、TAO 工具套件和 DeepStream SDK。我们的工程团队不仅将开发时间减少 60%,而且借助 Jetson Nano 和 Xavier NX 将摄像头硬件成本降低 40%。这样的话,我们的供应商能够快速、可靠地部署唯一的开箱即用 ALPR 解决方案 RoadView。对我们来说,这更适合我们。”


INEX

“KION Group 正致力于在其各品牌中开发基于 AI 的稳健配送自主解决方案,应对运营需求和物流优化挑战,并显著减少流异常事件。创新、工程和数字化转型服务正从经过优化的 NVIDIA 预训练模型中获益,同时使用 TAO 工具套件快速创新和微调模型,并借助 NVIDIA Deepstream 进行部署,从而通过 Jetson 平台释放多流密度。”


KION

“在 Quantiphi,我们使用 NVIDIA SDK 为零售业以及媒体和娱乐领域的财富 500 强客户构建实时视频分析工作流。TAO 工具套件助力以有效方式自定义训练和模型删减,从而提高边缘推理速度。DeepStream 允许我们在云端构建高吞吐量推理流水线,并轻松将其转移到 Jetson NX 设备。”


Quantiphi

“我们正帮助开发者和第三方供应商利用 Optra 的技能市场轻松构建智能 AI 应用程序。作为边缘 AI 市场的新参与者,能区分我们的产品和上市时间至关重要。从 TAO 工具套件随时获取 MaskRCNN 并轻松集成到 DeepStream,借此我们的研发团队可立即节省 25% 的开发工作。”


Lexmark Ventures

“通过使用 NVIDIA 的 TAO 工具套件,可以轻松训练实时的汽车检测器和车牌检测器。借此,我们无需从头构建模型,因而能更快地开发模型和研究各种选项。”


Booz Allen Hamilton

“SmartCow 正在构建全套 AIoT 解决方案,以优化港口和干船坞的周转时间。通过使用 TAO 工具套件,我们能够将训练迭代次数减少 9 倍,并将数据采集和标记工作量减少 5 倍,从而将训练成本大幅降低 2 倍”


SmartCow

“CVEDIA 的合成算法技术可加速目标检测和图像分类网络的开发。通过使用 NVIDIA 的 TAO 工具套件,我们将模型训练时间减少一半,并实现相同的模型准确率和吞吐量性能级别”


CVEDIA



一般常见问题解答

迁移学习工具套件已改名为 TAO 工具套件。TLT 的所有功能和模型将继续与 TAO 工具套件结合使用。
是,TAO 工具套件模型免费用于商业用途。有关特定许可条款,请参阅模型EULA
TAO 工具套件使用完全脱离用户的 TensorFlow 和 PyTorch 框架。用户通过记录的规格文件操作 TAO 工具套件,无需学习 DL 框架。
TAO 工具套件入门十分简单。这是 TAO 工具套件入门指南。此外,您还可以在 NGC 资源下面找到适用于所有视觉模型的 Jupyter 笔记本。有关 TAO 工具套件的更多相关信息,请参阅 TAO-Toolkit-CV 集合TAO-Toolkit-Conversational AI 集合
TAO 工具套件不支持任何第三方预训练模型。目前,仅支持 NGC 中的 NVIDIA 预训练模型。
使用 TAO 工具套件进行训练仅适用于 x86、NVIDIA GPU V100 等。使用 TAO 工具套件训练的模型可以在任意 NVIDIA 平台上部署。
要在 DeepStream 上部署经过训练的模型,请参阅《TAO 工具套件入门指南》的章节部署到 DeepStream
这些专门构建的模型可以开箱即用,也可使用数据集重新训练。用于检测、分割和分类的架构特定模型需要使用 TAO 工具套件重新训练。
NVIDIA 培训、调整和优化功能 (TAO) 是一个 AI 模型自适应平台,可以简化和加速企业 AI 应用程序和服务的创建。通过基于 UI 的引导式工作流,使用自定义数据微调预训练模型,您可以在几小时(不是几个月)内生成高度准确的计算机视觉、语音和语言理解模型,从而无需大量训练和深度 AI 专业知识
TAO 工具套件和其他技术(例如联邦学习、TensorRT 等)是 TAO 平台的核心部分。借助 TAO 平台,用户可以通过由指导式工作流提供支持的简单 UI 训练、适应和优化其模型。另一方面,TAO 工具套件是一款独立产品,用户可以在自己熟悉的 TAO 工具套件环境中使用命令行界面优化模型。
作为独立产品,我们会继续开发并支持 TAO 工具套件。
目前,面向 NVIDIA TAO 的抢先体验计划正在进行中。对于您来说,这是与我们的产品团队密切合作以塑造产品的大好机会。您可以单击此处,立即注册以抢先体验。

近期产品动态

GTC

开发者教程

了解如何训练和优化用于实时推理的姿态估计模型。

阅读博客 – 第 1 部分 阅读博客 – 第 2 部分
Dev Tutorial

开发者教程

了解如何创建实时车牌检测和识别应用程序。

阅读博客
tutorial

借助迁移学习优化您的 AI 工作流

了解 NVIDIA TAO 工具套件和预训练模型如何改变您的开发工作。

阅读白皮书
TAO

探索 TAO 平台

NVIDIA TAO 是一个 AI 模型自适应平台,可以简化和加速企业 AI 的创建。

了解详情

GTC21 Talk

GTC21 演讲

了解世界优秀 AI 团队如何结合预训练模型和迁移学习工具强力支持其 AI 视觉开发。

立即观看
GTC21 Talk

GTC21 演讲

了解如何借助 NVIDIA TAO 工具套件和 Riva 构建和部署自定义对话式 AI

立即观看
Success Story

成功案例

了解 Lexmark 如何使用预训练模型、TAO 工具套件和 DeepStream 将 AI 技能设计周期缩短 25%。

阅读博客
Success Story

成功案例

探索 INEX 如何利用预训练模型、TAO 工具套件和 DeepStream 缩短收费道路系统的开发时间和成本。

了解详情