TensorRT

2026年 11月 5日

NVIDIA 协同设计的五种方式可更大限度地提高 AI 工厂中每个字节的价值

在 AI 工厂中，高带宽内存 (HBM) 是速度最快、成本最高且最具争议的内存层。在冗余权重副本、
4 MIN READ
2026年 10月 30日

为 NVIDIA Dynamo 构建经过验证的 Kubernetes 运行时

构建 AI 应用的团队需要从模型配置到工作推理端点的可重复路径。NVIDIA Dynamo 是一个分布式推理框架，
4 MIN READ
2026年 10月 30日

只需几个命令即可运行用于边缘应用开发的 AI 模型

AI 正在扩展到数据中心之外，因为开发者构建了在边缘发挥作用的新一代 智能体：监控驾驶员注意力和座舱状况，帮助机器人了解周围环境并规划任务，
2 MIN READ
2026年 10月 23日

借助全局性能调优器扩展 NVIDIA TensorRT 性能优化，超越单一构建路线，第 2 部分

全局性能调优器是 NVIDIA TensorRT 11.1 中发布的一项自动性能调优功能。它通过为不同的模型自定义不同的优化，
2 MIN READ
2026年 10月 23日

借助全局性能调优器扩展 NVIDIA TensorRT 性能优化，超越单一构建路线，第一部分

部署经过训练的神经网络不仅仅是将每个运算符转换为 GPU 内核。这是一个编译问题，有许多合理的答案。例如，
2 MIN READ
2026年 10月 15日

在 NVIDIA GB300 NVL72 上扩展基于 Meta Muse Spark Open 的自主编程工作流程

Meta 推出 Muse Spark Open，这是一个经过编码优化的 816B 混合专家 (MoE) 模型，
2 MIN READ
2026年 10月 12日

ReplaySSM：重新思考状态存储，加快混合模型解码速度

混合模型将状态空间模型 (SSM) 层与几个注意力层交织在一起。NVIDIA Nemotron 3、Qwen3.5 到 Qwen3.8、
4 MIN READ
2026年 10月 1日

使用 C++ 和 NVIDIA TensorRT RTX 示例构建本地 AI 应用

将 AI 模型添加到本地应用中需要一种可移植的模型格式、可靠的运行时和跨目标系统的加速。 立即执行推理 (DIN) Deploy…
1 MIN READ
2026年 9月 29日

设计原生 AI：构建 NVIDIA TensorRT 模型连接的经验教训

并行工作、模型系列隔离、可逆更改和 GPU 支持的验证塑造了围绕编码代理设计的开源项目 NVIDIA TensorRT Model…
2 MIN READ
2026年 9月 27日

NVIDIA DSX MaxLPS 如何更大限度地提高 AI 工厂的吞吐量和效率

每一个未使用的功率都是剩余的容量。AI 工厂通常是为每个 GPU 达到峰值功率这一不太可能出现的时刻而提供，从而创建一个保护缓冲区，
2 MIN READ
2026年 9月 22日

借助 NVIDIA 机密计算实现私有高性能生产级 AI 推理

随着大语言模型 (LLM) 推理越来越多地在个人、企业和受监管环境中处理敏感信息和专有模型上下文，数据必须在可信环境中处理。
2 MIN READ
2026年 9月 21日

借助 NVIDIA Dynamo-Triton 中的 NVIDIA TensorRT 多设备集成，简化跨多个 GPU 的模型服务

生成式 AI 对计算和内存的需求日益超出单个 GPU 的能力。NVIDIA TensorRT 多设备推理是一项新功能，
3 MIN READ
2026年 9月 18日

借助 AIPerf 对 LLM 进行大规模基准测试推理

在系统上部署模型。启动后，提示得到响应。难题是：速度快吗？ 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。
3 MIN READ
2026年 9月 16日

TensorRT Edge-LLM 在 Jetson AGX Thor 上实现 MLPerf Edge Agentic Benchmark 6.4 倍加速

AI 智能体正从云数据中心转向车辆、机器人和其他边缘设备。与只回答单个提示的聊天机器人不同，智能体需要执行一系列步骤。它会选择工具、评估结果，
2 MIN READ
2026年 9月 10日

使用 BioNeMo 推理运行时进行高吞吐量结构预测

生物分子结构预测现在通常以蛋白质组规模运行，其目标是高效地将整个工作列表移动到工作流中。
3 MIN READ
2026年 9月 1日

如何在不超支的情况下调整 GPU 大小以实现 AI 推理和 TCO

AI 采用率的激增正在改变从聊天机器人到内容生成的方方面面。尽管如此，一个常见的痛点仍然存在：
3 MIN READ