NVIDIA TensorRT 10.x 下载
NVIDIA TensorRT 是一个高性能深度学习推理平台。
TensorRT 使用 CUDA 平台在所有 NVIDIA GPU 上运行。
请查看 TensorRT 在线文档获取更多信息，包括安装指南。
请查看并接受许可协议以继续下载软件。
请下载与您的开发环境兼容的版本。
公告
- TensorRT 11.0 即将推出，其中包含旨在加速 AI 推理工作流的强大新功能：
- 增强的开发者体验：提高易用性，并与 PyTorch 和 Hugging Face 生态系统无缝集成
- 针对高增长工作负载进行优化：在边缘、汽车和数据中心部署中实现更高的性能一致性
- 现代化 API：为简化开发流程，TensorRT 11.0 将移除旧版 API，包括弱类型 API、隐式 INT8 量化、IPluginV2 和 TREX
需要执行的操作：我们建议尽早迁移类型强烈的网络, 显式量化, IPluginV3，以及Nsight 深度学习设计器。
- JetPack 支持 Orin iGPU
- 此 TensorRT 版本中添加了对使用 ARM SBSA 构建的 Orin iGPU 的支持。此版本将捆绑在即将推出的 JetPack 7.x 版本中，但可单独下载，供希望抢先体验的用户使用。目前不支持 Orin DLA，但计划在未来的版本中提供支持。
- 安全接头现已包含在标准版本中
- TensorRT 功能安全头文件现已包含在所有标准 TensorRT 软件包中。这些排针旨在用于符合 ISO 26262 标准的功能安全应用程序。如果您不是在开发经过安全认证的软件，则无需执行任何操作，这些标头可以安全地忽略。
此 TensorRT 版本的主要特性和增强功能
- 交互式示例浏览器
- 一种新的交互方式示例浏览器提供对所有 TensorRT 样本的过滤、可搜索访问。按难度、语言或用例浏览示例，为您的项目找到合适的起点。
- 交互式支持矩阵
- 新的交互方式支持矩阵提供对 TensorRT 10.x 兼容性信息的可过滤访问。使用三个探索者获取不同版本的系统要求、硬件功能和功能支持。
- API 增强
- API 更改跟踪：要查看版本之间的 API 更改，请参阅TensorRT GitHub 资源库并使用比较工具。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.16.1 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 包的 TensorRT 10.16.1 GA
- TensorRT 10.16.1 GA (适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包)
- TensorRT 10.16.1 GA (适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包)
- 适用于 Debian 12 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.16.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地资源库包的 TensorRT 10.16.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储包的 TensorRT 10.16.1 GA
- 适用于 Linux x86_64 和 CUDA 13.0 至 13.2 TAR 包的 TensorRT 10.16.1 GA
- TensorRT 10.16.1 GA (适用于 Ubuntu 22.04 和 CUDA 13.0 至 13.2 DEB 本地 repo 包)
- TensorRT 10.16.1 GA (适用于 Ubuntu 24.04 和 CUDA 13.0 至 13.2 DEB 本地 repo 包)
- 适用于 Debian 12 和 CUDA 13.0 至 13.2 DEB 本地 repo 包的 TensorRT 10.16.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 13.0 至 13.2 RPM 本地资源库包的 TensorRT 10.16.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 13.0 至 13.2 RPM 本地 repo 包的 TensorRT 10.16.1 GA
适用于 Windows 的 Zip 软件包
- TensorRT 10.16.1 GA (适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 ZIP 包)
- TensorRT 10.16.1 GA (适用于 Windows 10、11、Server 2022 和 CUDA 13.0 至 13.2 ZIP 包)
适用于 ARM SBSA 的 TensorRT 10.16.1 GA
适用于 Linux 的 Debian 和 TAR 安装包
- 适用于 Linux SBSA 和 CUDA 13.2 TAR 包的 TensorRT 10.16.1 GA
- 适用于 Ubuntu 24.04 和 CUDA 13.2 DEB 本地 repo 包的 TensorRT 10.16.1 GA
- TensorRT 10.16.1 GA (适用于 Ubuntu 24.04 和 CUDA 13.2 DEB 跨本地存储库包)
- 适用于 Debian 12 和 CUDA 13.2 DEB 本地 repo 包的 TensorRT 10.16.1 GA
- 适用于 Debian 12 和 CUDA 13.2 DEB 跨本地存储库软件包的 TensorRT 10.16.1 GA
公告
- TensorRT 11.0 即将推出，其中包含旨在加速 AI 推理工作流的强大新功能：
- 增强的开发者体验：提高易用性，并与 PyTorch 和 Hugging Face 生态系统无缝集成
- 针对高增长工作负载进行优化：在边缘、汽车和数据中心部署中实现更强大的性能一致性
- 现代化 API：为简化开发，TensorRT 11.0 将移除包括弱类型 API、隐式 INT8 量化、IPluginV2 和 TREX 在内的旧版 API
需要执行的操作：我们建议尽早迁移类型强烈的网络, 显式量化, IPluginV3，以及Nsight 深度学习设计器。
此 TensorRT 版本的主要特性和增强功能
多专家模型
使用新的 IMoELayer API，为 Transformer 模型中的 MoE (多专家模型) 层提供内置支持。目前，SM110 支持 NVFP4 双量化权重和 FP8 静态量化的激活函数。如需了解更多信息，请参阅多专家模型部分。
多设备推理 (预览功能)
跨多个 GPU 扩展推理，适用于超过单设备内存或受益于并行执行的模型。在构建器配置中使用 PreviewFeature::kMULTIDEVICE_RUNTIME_10_16 启用。如需了解更多信息，请参阅多设备推理部分。
- DistCollective：新的 IDistCollectiveLayer，用于通过 NCCL 实现图级分布式群集。需要 Ampere (SM 80) 或更高版本。
- 多设备注意力：上下文并行注意力，通过 IAttention 上的 setNbRanks 将 KV 序列分割到 GPU 上。仅限 BF16 和 FP16。需要 Blackwell (SM 100) 或更高版本。如需了解更多信息，请参阅使用 Transformer部分。
- Communicator 集成：通过 IExecutionContext::setCommunicator () 连接现有的 NCCL communicator，以便对现有的分布式工作流 ( MPI、SLURM) 使用多设备推理。
交互式样本资源管理器
一种新的交互方式示例浏览器提供对所有 TensorRT 样本的过滤、可搜索访问。按难度、语言或用例浏览示例，为您的项目找到合适的起点。
交互式支持矩阵
新的交互方式支持矩阵提供对 TensorRT 10.x 兼容性信息的可过滤访问。使用三个资源管理器获取各版本的系统要求、硬件功能和功能支持。
开发者工具
- API Capture and Replay 多网络支持：TensorRT API Capture and Replay 现在支持在单个流程中捕获多个网络。这有助于记录和回放创建和构建多个 TensorRT 网络 (例如集成模型或多阶段推理工作流) 的应用。如需了解更多信息，请参阅多网络支持TensorRT API Capture and Replay 文档中的部分。
API 增强
- API 更改跟踪：要查看版本之间的 API 更改，请参阅TensorRT GitHub 资源库并使用比较工具。
API 更改
- 要查看版本之间的 API 更改，请参阅TensorRT GitHub 资源库并使用比较工具。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.16.0 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 包的 TensorRT 10.16.0 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 Debian 12 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.16.0 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.16.0 GA
- 适用于 Linux x86_64 和 CUDA 13.0 至 13.2 TAR 软件包的 TensorRT 10.16.0 GA
- 适用于 Ubuntu 22.04 和 CUDA 13.0 至 13.2 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 Ubuntu 24.04 和 CUDA 13.0 至 13.2 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 Debian 12 和 CUDA 13.0 至 13.2 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 13.0 至 13.2 RPM 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 13.0 至 13.2 RPM 本地存储包的 TensorRT 10.16.0 GA
适用于 Windows 的 Zip 软件包
- TensorRT 10.16.0 GA (适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 ZIP 包)
- TensorRT 10.16.0 GA (适用于 Windows 10、11、Server 2022 和 CUDA 13.0 至 13.2 ZIP 包)
适用于 ARM SBSA 的 TensorRT 10.16.0 GA
适用于 Linux 的 Debian 和 TAR 安装包
- 适用于 Linux SBSA 和 CUDA 13.2 TAR 包的 TensorRT 10.16.0 GA
- 适用于 Ubuntu 24.04 和 CUDA 13.2 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- TensorRT 10.16.0 GA (适用于 Ubuntu 24.04 和 CUDA 13.2 DEB 跨本地存储库包)
- 适用于 Debian 12 和 CUDA 13.2 DEB 本地 repo 包的 TensorRT 10.16.0 GA
- 适用于 Debian 12 和 CUDA 13.2 DEB 的 TensorRT 10.16.0 GA 跨本地存储库软件包
公告
- TensorRT 11.0 即将推出，其中包含旨在加速 AI 推理工作流的强大新功能：
- 增强的开发者体验：提高易用性，并与 PyTorch 和 Hugging Face 生态系统无缝集成
- 针对高增长工作负载进行优化：在边缘、汽车和数据中心部署中实现更高的性能一致性
- 现代化 API：为简化开发，TensorRT 11.0 将移除包括弱类型 API、隐式 INT8 量化、IPluginV2 和 TREX 在内的旧版 API
- 打破可能需要更新构建和部署脚本的封装更改：
- Linux：trtexec 和其他可执行文件现已安装到/usr/bin (之前为/usr/src/tensorrt/bin/) ，并默认添加到系统 PATH 中。为实现向后兼容性，我们提供了符号链接。
- Windows：TensorRT 库文件 (*.dll) 现在位于 TensorRT zip 包中的 bin 子目录 (之前为 lib) 下。
- Linux 上的静态库 ( libnvinfer_static.a、libnvonnxparser_static.a 等)从 TensorRT 10.11 开始已弃用，并将在 TensorRT 11.0 中删除。迁移到共享库。
- Python 包装更改：Python 3.9 及更早版本的版本现已结束。为了提高 Python 与上游 PyPI 包和 TensorRT Python 示例的兼容性，RHEL/ Rocky Linux 8 和 RHEL/ Rocky Linux 9 的 RPM 包现在依赖于 Python 3.12。
- 平台支持：从 TensorRT 10.15 版本开始，服务器基础系统架构 (SBSA) 平台支持 Debian 12。
此 TensorRT 版本的主要特性和增强功能
Transformer 和 LLM 优化
- KV 缓存重用：添加了 KVCacheUpdate API，可高效重用 KV 缓存并节省 GPU 计算，显著提高了基于 Transformer 的模型的性能。内置 RoPE 支持：TensorRT 现在包含对 Transformer 的 RoPE (旋转位置嵌入) 的内置支持。这有助于更轻松地表达 RoPE，并使用新的 RotaryEmbedding API 层将 ONNX 模型转换为 TensorRT。
- 多头注意力 (MHA) ：修复了之前禁止用户在 INetwork 中拥有多个 IA 注意力的问题。
- 动态量化增强：为支持 Sage Attention 和其他使用每 token 量化的模型，动态量化现在最多支持 2D 块，量化和去量化最多支持 ND 块。
DLA 增强功能
- 纯 DLA 模式：添加了新的 ONNX 解析器标志 kREPORT_CAPABILITY_DLA，以便从 ONNX 模型生成 TensorRT 引擎，该模型仅在 DLA 上运行，而不进行 GPU 回退，从而为 DLA 目标工作负载提供更好的部署灵活性。
ONNX 解析器改进
- 插件优设控制：改进了与标准 ONNX 运算符共享名称的 TensorRT 插件的行为，并引入了新的 ONNX 解析器标志 kENABLE_PLUGIN_OVERRIDE。
示例和工具
- 强类型网络示例：已添加新的 Python 示例 strongly_type_autocast，以便使用 ModelOpt 的 AutoCast 工具进行展示，从而将 FP32 ONNX 模型转换为 FP32-FP16 混合精度，并使用 TensorRT 的强类型模式构建引擎。
问题修复和性能
- Windows GPU 支持：对 Windows 上 B200 和 B300 GPU 的支持不再被视为试验性支持。
- 内存泄漏修复：修复了在 NVIDIA Blackwell GPU 上构建 TensorRT 引擎时的主机内存泄漏问题。
- 融合多头注意力 (MHA) ：融合 MHA 实现现在支持多个逐点输入，并修复了之前禁止用户在 INetwork 中拥有多个 IA 注意力的问题。
- Blackwell GPU 上的性能优化：修复了多个性能回归问题，包括：
- 在 FP16 精度下，与 B200 相比，FLUX 在 B300 上的回归率高达 9％
- 使用 CUDA 13.0 时，ResNext-50 FP8 模型在 GB200 上的回归率高达 24%
- 在 GB200 上，使用 GlobalAveragePool 运算的 ConvNet (如 EfficientNet) 的回归率高达 25%
- 在 FP16 精度下，BERT 在 GB200 上的回归率高达 10%
- Python API 性能：使用 Python 绑定的 set_input_shape 修复了高达 40% 的性能回归问题。
API 更改
- 要查看版本之间的 API 更改，请参阅TensorRT GitHub 资源库并使用比较工具。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.15.1 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 软件包的 TensorRT 10.15.1 GA
- TensorRT 10.15.1 GA (适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包)
- TensorRT 10.15.1 GA (适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包)
- 适用于 Debian 12 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.15.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.15.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.15.1 GA
- 适用于 Linux x86_64 和 CUDA 13.0 至 13.1 TAR 软件包的 TensorRT 10.15.1 GA
- TensorRT 10.15.1 GA (适用于 Ubuntu 22.04 和 CUDA 13.0 至 13.1 DEB 本地 repo 包)
- TensorRT 10.15.1 GA (适用于 Ubuntu 24.04 和 CUDA 13.0 至 13.1 DEB 本地 repo 包)
- 适用于 Debian 12 和 CUDA 13.0 至 13.1 DEB 本地 repo 包的 TensorRT 10.15.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 13.0 至 13.1 RPM 本地资源库包的 TensorRT 10.15.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 13.0 至 13.1 RPM 本地资源库包的 TensorRT 10.15.1 GA
适用于 Windows 的 Zip 软件包
- TensorRT 10.15.1 GA (适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 ZIP 包)
- TensorRT 10.15.1 GA (适用于 Windows 10、11、Server 2022 和 CUDA 13.0 至 13.1 ZIP 包)
适用于 ARM SBSA 和 JetPack 的 TensorRT 10.15.1 GA
Linux 版 Debian 和 TAR 安装包
- 适用于 Linux SBSA 和 CUDA 13.1 TAR 包的 TensorRT 10.15.1 GA
- 适用于 Ubuntu 24.04 和 CUDA 13.1 DEB 本地 repo 包的 TensorRT 10.15.1 GA
- TensorRT 10.15.1 GA (适用于 Ubuntu 24.04 和 CUDA 13.1 DEB 跨本地存储库包)
- 适用于 Debian 12 和 CUDA 13.1 DEB 本地 repo 包的 TensorRT 10.15.1 GA
- TensorRT 10.15.1 GA (适用于 Debian 12 和 CUDA 13.1 DEB 跨本地存储库包)
此 TensorRT 版本中的显著变化。
- 此版本增加了对 NVIDIA GB300、NVIDIA DGX B300 和 NVIDIA DGX Spark 的支持。此 TensorRT 版本在功能上预计完整，并可针对这些 GPU 提供完整性能。
- TensorRT 软件包不再包含样本及其数据。请参阅TensorRT GitHub用于检索和构建样本的存储库
- API Capture 和 Replay 工具现在可在 AArch64 平台上使用。
- 添加了 API IAttention，允许用户添加运行融合注意力核函数的注意力运算符。
- 添加了 SerializationFlag::kINCLUDE_REFIT，以确保序列化引擎仍可改装。在不使用 SerializationFlag::kEXCLUDE_WEIGHTS 的情况下对权重去除引擎进行序列化时，默认情况下生成的序列化引擎不可重装。
- 对于 Topk、NMS 和 NonZero 运算，我们引入了新的 API 来控制输出索引的数据类型，允许用户指定索引应为 INT32 还是 INT64。具体来说，新的 Topk::setIndexType 和 Topk::getIndexType (与 NMS 和 NonZero 类似) API 支持设置和检索索引数据类型。此外，我们还引入了新版本的 AddTopk、AddNMS 和 AddNonZero API，其中包含用于指定索引数据类型的额外参数。
- 当镜头尺寸无法满足对齐要求时，可通过自动填充来增强多头注意力融合。
- 构建器资源 ( Linux 上为 libnvinfer_builder_resource.so，Windows 上为 nvinfer_builder_resource.dll) 根据架构进行分区，以减少引擎构建期间的内存使用量。每个分区的构建器资源都包含仅适用于单个架构的 cubin。此外，还有一个单独的构建器资源，其中包含用于硬件前向兼容性序列化的 PTX 代码。在引擎构建期间，仅加载与配置设备架构对应的构建器资源。
- 为提高性能，同步内存分配数量已减少。
- TensorRT 提供了一个 API ICudaEngine::getEngineStat () ，用于检索有关引擎的详细统计数据，包括精确的权重大小。使用 EngineStat 枚举，您可以查询以下内容：
- kTOTAL_WEIGHTS_SIZE：返回引擎使用的所有权重的总大小 (以字节为单位) 。
- kSTRIPPED_WEIGHTS_SIZE：返回使用 BuilderFlag::kSTRIP_PLAN 标志构建的引擎的权重大小 (以字节为单位) 。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.14.1 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 包的 TensorRT 10.14.1 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.14.1 GA
- TensorRT 10.14.1 GA (适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包)
- 适用于 Debian 12 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.14.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储库包的 TensorRT 10.14.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地 repo 包的 TensorRT 10.14.1 GA
- 适用于 Linux x86_64 和 CUDA 13.0 TAR 包的 TensorRT 10.14.1 GA
- 适用于 Ubuntu 22.04 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.14.1 GA
- 适用于 Ubuntu 24.04 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.14.1 GA
- 适用于 Debian 12 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.14.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 13.0 RPM 本地 repo 包的 TensorRT 10.14.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 13.0 RPM 本地 repo 包的 TensorRT 10.14.1 GA
适用于 Windows 的 Zip 软件包
- TensorRT 10.14.1 GA (适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 ZIP 包)
- 适用于 Windows 10、11、Server 2022 和 CUDA 13.0 ZIP 包的 TensorRT 10.14.1 GA
适用于 ARM SBSA 和 JetPack 的 TensorRT 10.14.1 GA
适用于 Linux 的 Debian 和 TAR 安装包
此 TensorRT 版本中的显著变化。
- 增加了对 TensorRT API Capture and Replay 的支持，可简化应用中重现和调试问题的流程。如需了解更多信息，请参阅TensorRT API 捕捉和回放文档。
- Python 3.8 不再支持所有示例和演示。用于 TensorRT 的 Python 3.8 wheels 将继续发售。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.13.3 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 包的 TensorRT 10.13.3 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.13.3 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.13.3 GA
- 适用于 Debian 12 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.13.3 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储库包的 TensorRT 10.13.3 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.13.3 GA
- 适用于 Linux x86_64 和 CUDA 13.0 TAR 软件包的 TensorRT 10.13.3 GA
- 适用于 Ubuntu 22.04 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.13.3 GA
- 适用于 Ubuntu 24.04 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.13.3 GA
- 适用于 Debian 12 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.13.3 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 13.0 RPM 本地 repo 包的 TensorRT 10.13.3 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 13.0 RPM 本地 repo 包的 TensorRT 10.13.3 GA
适用于 Windows 的 Zip 软件包
- TensorRT 10.13.3 GA (适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 ZIP 包)
- 适用于 Windows 10、11、Server 2022 和 CUDA 13.0 ZIP 包的 TensorRT 10.13.3 GA
适用于 ARM SBSA 和 JetPack 的 TensorRT 10.13.3 GA
适用于 Linux 的 Debian 和 TAR 安装包
此 TensorRT 版本中的显著变化。
- 从本 TensorRT 版本开始，TensorRT 的 JetPack 版本已与 TensorRT SBSA 版本相结合。JetPack 7.x 用户应使用 SBSA target 和交叉软件包，因为没有 JetPack 特定的软件包。
- 此 TensorRT 版本引入了对 CUDA 13.0 的支持。随着对 CUDA 13.x 的支持的引入，从本 TensorRT 版本开始，对 CUDA 11.x 的支持已被删除。在本例中，TensorRT 支持两个最新的 CUDA 主要版本，即 CUDA 12.x 和 13.x。
- Ubuntu 20.04 已于 2025 年 5 月 31 日达到生命周期终止 (EOL) ，自该版本发布以来，TensorRT 不再支持该版本。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.13.2 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 包的 TensorRT 10.13.2 GA
- TensorRT 10.13.2 GA (适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包)
- TensorRT 10.13.2 GA (适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包)
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.13.2 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.13.2 GA
- 适用于 Linux x86_64 和 CUDA 13.0 TAR 软件包的 TensorRT 10.13.2 GA
- 适用于 Ubuntu 22.04 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.13.2 GA
- 适用于 Ubuntu 24.04 和 CUDA 13.0 DEB 本地 repo 包的 TensorRT 10.13.2 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 13.0 RPM 本地 repo 包的 TensorRT 10.13.2 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 13.0 RPM 本地 repo 包的 TensorRT 10.13.2 GA
适用于 Windows 的 Zip 软件包
适用于 ARM SBSA 和 JetPack 的 TensorRT 10.13.2 GA
适用于 Linux 的 Debian 和 TAR 安装包
此 TensorRT 版本包含以下主要特性和增强功能。
- 向 ONNX 解析器添加了以下 API：
- 借助 NVIDIA Blackwell GPU 上的二维蒙版改进了多头注意力融合和性能，计算能力为 10.0。
- 改进了 NVIDIA Ada Lovelace 和 Blackwell GPU 上的 FP8 多头 Attention 性能，计算能力为 12.0。
- 在具有 10.0 计算能力的 Blackwell GPU 上启用 NVFP4 Gemm+ SwiGLU 融合。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.13 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 包的 TensorRT 10.13 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.13 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.13 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储库软件包的 TensorRT 10.13 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.13 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 软件包的 TensorRT 10.13 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.13 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.13 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.13 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地 repo 包的 TensorRT 10.13 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储包的 TensorRT 10.13 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.13 GA ZIP 包
- 适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 的 TensorRT 10.13 GA ZIP 包
适用于 ARM SBSA 的 TensorRT 10.13 GA
适用于 Linux 的 Debian 和 TAR 安装包
此 TensorRT 版本包括以下主要特性和增强功能。
- 增加了对 MXFP8 量化的支持。执行块量化，对 32 个高精度元件进行量化，以生成 32 个量化输出值和 1 个 E8M0 缩放系数。
- 扩展了调试张量功能，允许将所有未融合的张量标记为调试张量。这并不会阻止聚变优化，并会使标记变得更容易。利用此功能，支持在 trtexec 中以摘要、NumPy、字符串和原始数据格式转储中间张量。
- 介绍了两个重构的 Python 示例，这些示例具有更简洁的代码结构和全面的文档，展示了通过性能比较 (1_run_onnx_with_tensorrt) 进行的 ONNX 模型转换，以及使用适用于 LSTM 网络的 TensorRT 层 API 进行的网络构建 (2_construct_network_with_layer_apis) 。
- 引入了独立分配特征，以支持输出张量分配轴上的确定性，即如果分配轴上的某些输入相同，则相应的输出可保证相同。有关不同层的分配轴定义，请参阅分布式独立确定性部分。
请使用以下链接下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.12 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.12 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.12 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.12 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储库包的 TensorRT 10.12 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储库包的 TensorRT 10.12 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 软件包的 TensorRT 10.12 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.12 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.12 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.12 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储库软件包的 TensorRT 10.12 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储库包的 TensorRT 10.12 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.12 GA ZIP 包
- 适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 的 TensorRT 10.12 GA ZIP 包
适用于 ARM SBSA 的 TensorRT 10.12 GA
适用于 Linux 的 Debian 和 TAR 安装包
此 TensorRT 版本包含以下主要特性和增强功能。
- 依赖于条件的形状
- 输入
IIfConditionalOutputLayer可能有不同的形状。它们必须仍具有相同的秩 (维度数) 。
- 输入
- 插件增强功能包括：
- 添加了 DisentangledAttention 插件的版本 2 (
DisentangledAttention_TRT实现了 IPluginV3 接口。实现 IPluginV2DynamicExt 接口的旧版本 (1) 经过维护，以实现向后兼容性。新增 MultiscaleDeformableAttention 插件版本 2 - 新增了 MultiscaleDeformableAttention 插件的版本 2 (
MultiscaleDeformableAttnPlugin_TRT实现了 IPluginV3 接口。实现 IPluginV2DynamicExt 接口的旧版本 (1) 经过维护，以实现向后兼容性。 - 添加了 ModulatedDeformableConv2D 插件的版本 2 (
ModulatedDeformConv2d实现了 IPluginV3 接口。实现 IPluginV2DynamicExt 接口的旧版本 (1) 经过维护，以实现向后兼容性。
- 添加了 DisentangledAttention 插件的版本 2 (
- TensorRT 10.11 增强了对大张量的支持；现在大多数层都能够处理大维度。
文档
适用于 x86_64 架构的 TensorRT 10.11 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.11 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.11 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.11 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储库软件包的 TensorRT 10.11 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储库软件包的 TensorRT 10.11 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 软件包的 TensorRT 10.11 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.11 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.11 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.11 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储包的 TensorRT 10.11 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储包的 TensorRT 10.11 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.11 GA ZIP 包
- 适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 的 TensorRT 10.11 GA ZIP 包
适用于 ARM SBSA 的 TensorRT 10.11 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.10 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.10 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.10 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.10 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储库软件包的 TensorRT 10.10 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.10 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.9 TAR 软件包的 TensorRT 10.10 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.10 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.10 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.9 DEB 本地 repo 包的 TensorRT 10.10 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.9 RPM 本地存储包的 TensorRT 10.10 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.9 RPM 本地存储包的 TensorRT 10.10 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.10 GA ZIP 包
- 适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.9 的 TensorRT 10.10 GA ZIP 包
适用于 ARM SBSA 的 TensorRT 10.10 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.9 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.9 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.9 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.9 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.9 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.9 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.8 TAR 软件包的 TensorRT 10.9 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.8 DEB 本地 repo 包的 TensorRT 10.9 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.8 DEB 本地 repo 包的 TensorRT 10.9 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.8 DEB 本地 repo 包的 TensorRT 10.9 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.8 RPM 本地存储包的 TensorRT 10.9 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.8 RPM 本地存储包的 TensorRT 10.9 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.9 GA ZIP 包
- 适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.8 ZIP 包的 TensorRT 10.9 GA
适用于 ARM SBSA 的 TensorRT 10.9 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.8 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.8 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.8 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.8 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储库包的 TensorRT 10.8 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.8 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.8 TAR 软件包的 TensorRT 10.8 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.8 DEB 本地 repo 包的 TensorRT 10.8 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.8 DEB 本地 repo 包的 TensorRT 10.8 GA
- TensorRT 10.8 GA (适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.8 DEB 本地 repo 包)
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.8 RPM 本地存储包的 TensorRT 10.8 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.8 RPM 本地存储包的 TensorRT 10.8 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2022 和 CUDA 11.0 至 11.8 ZIP 包的 TensorRT 10.8 GA
- 适用于 Windows 10、11、Server 2022 和 CUDA 12.0 至 12.8 ZIP 包的 TensorRT 10.8 GA
适用于 ARM SBSA 的 TensorRT 10.8 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.7 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.7 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.7 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.7 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.7 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.7 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.6 TAR 软件包的 TensorRT 10.7 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.7 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.7 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.7 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.6 RPM 本地存储包的 TensorRT 10.7 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.6 RPM 本地存储包的 TensorRT 10.7 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.7 GA ZIP 包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 12.0 至 12.6 ZIP 包的 TensorRT 10.7 GA
适用于 ARM SBSA 的 TensorRT 10.7 GA
适用于 Linux 的 Debian 和 TAR 安装包
- 适用于 Ubuntu 24.04 和 CUDA 12.6 TAR 软件包的 TensorRT 10.7 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 本地 repo 包的 TensorRT 10.7 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 的 TensorRT 10.7 GA 跨本地存储库包
适用于 JetPack 的 TensorRT 10.7 GA
Linux 版 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.6 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.6 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.6 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.6 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地资源库包的 TensorRT 10.6 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.6 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.6 TAR 软件包的 TensorRT 10.6 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.6 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.6 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.6 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.6 RPM 本地资源库包的 TensorRT 10.6 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.6 RPM 本地存储包的 TensorRT 10.6 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.6 GA ZIP 包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 12.0 至 12.6 ZIP 包的 TensorRT 10.6 GA
适用于 ARM SBSA 的 TensorRT 10.6 GA
Linux 版 Debian 和 TAR 安装包
- TensorRT 10.6 GA (适用于 Ubuntu 24.04 和 CUDA 12.6 TAR 软件包)
- 适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 本地 repo 包的 TensorRT 10.6 GA
- TensorRT 10.6 GA (适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 跨本地存储库包)
适用于 JetPack 的 TensorRT 10.6 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.5 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.5 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.5 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.5 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.5 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.5 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.6 TAR 软件包的 TensorRT 10.5 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.5 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.5 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.5 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.6 RPM 本地存储库包的 TensorRT 10.5 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.6 RPM 本地存储包的 TensorRT 10.5 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.5 GA ZIP 包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 12.0 至 12.6 ZIP 包的 TensorRT 10.5 GA
适用于 ARM SBSA 的 TensorRT 10.5 GA
适用于 Linux 的 Debian 和 TAR 安装包
- 适用于 Ubuntu 24.04 和 CUDA 12.6 TAR 软件包的 TensorRT 10.5 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 本地 repo 包的 TensorRT 10.5 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 的 TensorRT 10.5 GA 跨本地存储库包
适用于 JetPack 的 TensorRT 10.5 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.4 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.4 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.4 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.4 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.4 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.4 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.6 TAR 软件包的 TensorRT 10.4 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.4 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.4 GA
- 适用于 Ubuntu 24.04 和 CUDA 12.0 至 12.6 DEB 本地 repo 包的 TensorRT 10.4 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.6 RPM 本地存储包的 TensorRT 10.4 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.6 RPM 本地存储包的 TensorRT 10.4 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.4 GA ZIP 包
- TensorRT 10.4 GA (适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 12.0 至 12.6 ZIP 包)
适用于 ARM SBSA 的 TensorRT 10.4 GA
Linux 版 Debian 和 TAR 安装包
- TensorRT 10.4 GA (适用于 Ubuntu 24.04 和 CUDA 12.6 TAR 软件包)
- 适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 本地 repo 包的 TensorRT 10.4 GA
- TensorRT 10.4 GA (适用于 Ubuntu 24.04 和 CUDA 12.6 DEB 跨本地存储库包)
适用于 JetPack 的 TensorRT 10.4 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.3 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.3 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.3 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.3 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.3 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.3 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.5 TAR 软件包的 TensorRT 10.3 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.5 DEB 本地 repo 包的 TensorRT 10.3 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.5 DEB 本地 repo 包的 TensorRT 10.3 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.5 RPM 本地存储包的 TensorRT 10.3 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.5 RPM 本地存储包的 TensorRT 10.3 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.3 GA ZIP 包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 12.0 至 12.5 的 TensorRT 10.3 GA ZIP 包
适用于 ARM SBSA 的 TensorRT 10.3 GA
Linux 版 Debian 和 TAR 安装包
- TensorRT 10.3 GA (适用于 Ubuntu 22.04 和 CUDA 12.5 TAR 软件包)
- 适用于 Ubuntu 22.04 和 CUDA 12.5 DEB 本地 repo 包的 TensorRT 10.3 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.5 DEB 的 TensorRT 10.3 GA 跨本地存储库包
适用于 JetPack 的 TensorRT 10.3 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.2 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.2 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.2 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.2 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.2 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.2 GA
- TensorRT 10.2 GA (适用于 Linux x86_64 和 CUDA 12.0 至 12.5 TAR 软件包)
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.5 DEB 本地 repo 包的 TensorRT 10.2 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.5 DEB 本地 repo 包的 TensorRT 10.2 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.5 RPM 本地存储库包的 TensorRT 10.2 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.5 RPM 本地存储包的 TensorRT 10.2 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 11.0 至 11.8 的 TensorRT 10.2 GA ZIP 包
- 适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 12.0 至 12.5 的 TensorRT 10.2 GA ZIP 包
适用于 ARM SBSA 的 TensorRT 10.2 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.1 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.1 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.1 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.1 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.4 TAR 软件包的 TensorRT 10.1 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.4 DEB 本地 repo 包的 TensorRT 10.1 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.4 DEB 本地 repo 包的 TensorRT 10.1 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.4 RPM 本地存储库包的 TensorRT 10.1 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.4 RPM 本地资源库包的 TensorRT 10.1 GA
适用于 Windows 的 Zip 软件包
- TensorRT 10.1 GA (适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 11.0 至 11.8 ZIP 包)
- TensorRT 10.1 GA (适用于 Windows 10、11、Server 2019、Server 2022 和 CUDA 12.0 至 12.4 ZIP 包)
适用于 ARM SBSA 的 TensorRT 10.1 GA
适用于 Linux 的 Debian 和 TAR 安装包
- TensorRT 10.1 GA (适用于 Ubuntu 22.04 和 CUDA 12.4 TAR 软件包)
- 适用于 Ubuntu 22.04 和 CUDA 12.4 DEB 本地 repo 包的 TensorRT 10.1 GA
适用于 JetPack 的 TensorRT 10.1 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
适用于 x86_64 架构的 TensorRT 10.0 GA
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.0 GA
- 适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.0 GA
- 适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包的 TensorRT 10.0 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.0 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.0 GA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.4 TAR 软件包的 TensorRT 10.0 GA
- 适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.4 DEB 本地 repo 包的 TensorRT 10.0 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.4 DEB 本地 repo 包的 TensorRT 10.0 GA
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.4 RPM 本地存储库程序包的 TensorRT 10.0 GA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.4 RPM 本地存储包的 TensorRT 10.0 GA
适用于 Windows 的 Zip 软件包
- 适用于 Windows 10 和 CUDA 11.0 至 11.8 的 TensorRT 10.0 GA ZIP 包
- 适用于 Windows 10 和 CUDA 12.0 至 12.4 的 TensorRT 10.0 GA ZIP 包
适用于 ARM SBSA 的 TensorRT 10.0 GA
适用于 Linux 的 Debian 和 TAR 安装包
- 适用于 Ubuntu 22.04 和 CUDA 12.4 TAR 软件包的 TensorRT 10.0 GA
- 适用于 Ubuntu 22.04 和 CUDA 12.4 DEB 本地 repo 包的 TensorRT 10.0 GA
适用于 JetPack 的 TensorRT 10.0 GA
适用于 Linux 的 Debian 和 TAR 安装包
请下载与您的开发环境兼容的版本。
文档
TensorRT 10.0 EA (适用于 x86_64 架构)
适用于 Linux 的 Debian、RPM 和 TAR 安装包
- 适用于 Linux x86_64 和 CUDA 11.0 至 11.8 TAR 软件包的 TensorRT 10.0 EA
- TensorRT 10.0 EA (适用于 Ubuntu 20.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包)
- TensorRT 10.0 EA (适用于 Ubuntu 22.04 和 CUDA 11.0 至 11.8 DEB 本地 repo 包)
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.0 EA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 11.0 至 11.8 RPM 本地存储包的 TensorRT 10.0 EA
- 适用于 Linux x86_64 和 CUDA 12.0 至 12.4 TAR 软件包的 TensorRT 10.0 EA
- TensorRT 10.0 EA (适用于 Ubuntu 20.04 和 CUDA 12.0 至 12.4 DEB 本地 repo 包)
- TensorRT 10.0 EA (适用于 Ubuntu 22.04 和 CUDA 12.0 至 12.4 DEB 本地 repo 包)
- 适用于 RedHat/ Rocky Linux 8 和 CUDA 12.0 至 12.4 RPM 本地存储包的 TensorRT 10.0 EA
- 适用于 RedHat/ Rocky Linux 9 和 CUDA 12.0 至 12.4 RPM 本地存储包的 TensorRT 10.0 EA
适用于 Windows 的 Zip 软件包
- TensorRT 10.0 EA (适用于 Windows 10 和 CUDA 11.0 至 11.8 ZIP 包)
- TensorRT 10.0 EA (适用于 Windows 10 和 CUDA 12.0 至 12.4 ZIP 包)
适用于 ARM SBSA 的 TensorRT 10.0 EA
适用于 Linux 的 Debian 和 TAR 安装包
TensorRT 也可用于以下 NVIDIA GPU 平台：
- NVIDIA NIM 用于开发 AI 赋能的企业应用，并在生产环境中部署 AI 模型
- NVIDIA GPU Cloud ( NGC) 用于云部署的 TensorRT 容器
- NVIDIA Jetpack 适用于 Jetson Orin 嵌入式平台
- NVIDIA DRIVE® 安装适用于 NVIDIA DRIVE 自动驾驶平台 (访问需要加入 NVIDIA Drive 开发者计划)
符合伦理的 AI
NVIDIA 的平台和应用框架使开发者能够构建各种 AI 应用。在选择或创建要部署的模型时，考虑潜在的算法偏差。与模型的开发者合作，确保模型符合相关行业和用例的要求；提供必要的说明和文档以了解错误率、置信区间和结果；并确保在符合预期条件和方式的情况下使用模型。