TensorRT

2026年 9月 22日

借助 NVIDIA 机密计算实现私有高性能生产级 AI 推理

随着大语言模型 (LLM) 推理越来越多地在个人、企业和受监管环境中处理敏感信息和专有模型上下文，数据必须在可信环境中处理。
2 MIN READ
2026年 9月 21日

借助 NVIDIA Dynamo-Triton 中的 NVIDIA TensorRT 多设备集成，简化跨多个 GPU 的模型服务

生成式 AI 对计算和内存的需求日益超出单个 GPU 的能力。NVIDIA TensorRT 多设备推理是一项新功能，
3 MIN READ
2026年 9月 18日

借助 AIPerf 对 LLM 进行大规模基准测试推理

在系统上部署模型。启动后，提示得到响应。难题是：速度快吗？ 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。
3 MIN READ
2026年 9月 16日

TensorRT Edge-LLM 在 Jetson AGX Thor 上实现 MLPerf Edge Agentic Benchmark 6.4 倍加速

AI 智能体正从云数据中心转向车辆、机器人和其他边缘设备。与只回答单个提示的聊天机器人不同，智能体需要执行一系列步骤。它会选择工具、评估结果，
2 MIN READ
2026年 9月 10日

使用 BioNeMo 推理运行时进行高吞吐量结构预测

生物分子结构预测现在通常以蛋白质组规模运行，其目标是高效地将整个工作列表移动到工作流中。
3 MIN READ
2026年 9月 1日

如何在不超支的情况下调整 GPU 大小以实现 AI 推理和 TCO

AI 采用率的激增正在改变从聊天机器人到内容生成的方方面面。尽管如此，一个常见的痛点仍然存在：
3 MIN READ
2026年 8月 28日

借助 NVIDIA TensorRT Model Connect，在两个命令中部署从检查点到推理的开放模型

开放 AI 模型的发展速度远超以往，但将其引入本地应用仍然需要模型特定的转换、预处理、后处理和运行时代码。
2 MIN READ
2026年 8月 24日

NVIDIA Vera Rubin 和 Blackwell 为代理式 AI 每瓦性能设定新标准

AI 智能体已将推理从单轮交互扩展到多步骤工作流，这些工作流能够进行推理、调用工具、协调子智能体，
3 MIN READ
2026年 8月 20日

生成式推荐系统如何大规模重新定义 RecSys

推荐系统 (RecSys) 是消费互联网行业最常见的机器学习问题之一，但众所周知，很难进行大规模训练和服务。
3 MIN READ
2026年 7月 31日

共同设计 AI 模型注意力，实现快速的交互式长上下文推理

随着代理式和长上下文工作负载变得常见，上下文长度增加，注意力消耗更大比例的推理时间 (图 1) 。由于注意力现在主宰了成本，
6 MIN READ
2026年 7月 22日

让长时间运行的 NVIDIA TensorRT 引擎在 Python 或 C++ 中构建可观察和可取消

构建 TensorRT 引擎可能需要几秒钟到几分钟的时间。大型强类型模型、深度策略搜索和全新 GPU SKU 上的冷定时缓存可能会让开发者、
4 MIN READ
2026年 7月 10日

AI 模型协同设计：硬件友好型 LLM 设计

AI 性能可归结为三个维度： 部署必须平衡这三者：如果响应速度缓慢，就会浪费高准确度；如果每个用户的体验滞后，则原始吞吐量就意味着微不足道。
5 MIN READ
2026年 7月 10日

借助 NVIDIA BioNeMo Agent Toolkit 加速端到端协同折叠性能

生物分子结构预测以及与 OpenFold3 等模型的联合折叠现已成为主流的大规模工作负载，为药物研发和蛋白质设计提供支持。
3 MIN READ
2026年 7月 2日

基于硬件的 AI 安全性不会拖慢您的速度

AI 改变了组织的运营方式，推动了前所未有的生产力和创新水平。但是，数据隐私、主权以及如何保护使用中的数据，
2 MIN READ
2026年 6月 25日

使用 NVIDIA TensorRT 和多设备推理支持，跨多个 GPU 扩展 AI 推理

生成式 AI 工作负载的显存和计算预算正迅速超出单个 GPU。对于构建媒体生成工作流的推理开发者而言，
4 MIN READ
2026年 6月 24日

加速 NVIDIA GPU 上用于物理 AI 应用的 BEV 池化

鸟瞰图 (BEV) 感知是智能汽车 (智能汽车) 、机器人和空间 AI 系统日益常见的设计模式。
5 MIN READ