TensorRT
2026年 11月 16日
NVIDIA Vera Rubin NVL72 在 MLPerf Endpoints v1.0 上实现领先的代理式推理性能
代理式工作负载对推理系统的要求越来越高。AI 智能体轮流传输不断增长的对话记录,并生成推理、工具调用和响应的组合。
3 MIN READ
2026年 11月 13日
使用 cuDLA 在 NVIDIA Jetson AGX Orin 上运行 Python 中的原生 DLA 推理
边缘 AI 应用通常需要在有限的计算和功耗预算内运行多个神经网络。NVIDIA 深度学习加速器 (DLA)…
4 MIN READ
2026年 11月 6日
在 NVIDIA Blackwell GPU 上使用 FLUX 3 Image Klein 加速图像生成
在设计工具、图像编辑器和视觉制作工作流中部署扩散模型时,开发者必须考虑推理延迟。生成图像需要对具有数十亿参数的模型进行多次连续遍历,
8 MIN READ
2026年 11月 5日
NVIDIA 协同设计的五种方式可更大限度地提高 AI 工厂中每个字节的价值
在 AI 工厂中,高带宽内存 (HBM) 是速度最快、成本最高且最具争议的内存层。在冗余权重副本、
4 MIN READ
2026年 10月 30日
为 NVIDIA Dynamo 构建经过验证的 Kubernetes 运行时
构建 AI 应用的团队需要从模型配置到工作推理端点的可重复路径。NVIDIA Dynamo 是一个分布式推理框架,
4 MIN READ
2026年 10月 30日
几行命令部署本地模型 轻松开发边缘应用
随着开发者构建端侧的新一代智能体,AI 正在扩展到数据中心之外:监测驾驶员注意力和座舱状况,帮助机器人了解周围环境并规划任务,
2 MIN READ
2026年 10月 23日
借助全局性能调优器扩展 NVIDIA TensorRT 性能优化,超越单一构建路线,第 2 部分
全局性能调优器是 NVIDIA TensorRT 11.1 中发布的一项自动性能调优功能。它通过为不同的模型自定义不同的优化,
2 MIN READ
2026年 10月 23日
借助全局性能调优器扩展 NVIDIA TensorRT 性能优化,超越单一构建路线,第一部分
部署经过训练的神经网络不仅仅是将每个运算符转换为 GPU 内核。这是一个编译问题,有许多合理的答案。例如,
2 MIN READ
2026年 10月 15日
在 NVIDIA GB300 NVL72 上扩展基于 Meta Muse Spark Open 的自主编程工作流程
Meta 推出 Muse Spark Open,这是一个经过编码优化的 816B 混合专家 (MoE) 模型,
2 MIN READ
2026年 10月 12日
ReplaySSM:重新思考状态存储,加快混合模型解码速度
混合模型将状态空间模型 (SSM) 层与几个注意力层交织在一起。NVIDIA Nemotron 3、Qwen3.5 到 Qwen3.8、
4 MIN READ
2026年 10月 1日
使用 C++ 和 NVIDIA TensorRT RTX 示例构建本地 AI 应用
将 AI 模型添加到本地应用中需要一种可移植的模型格式、可靠的运行时和跨目标系统的加速。 立即执行推理 (DIN) Deploy…
1 MIN READ
2026年 9月 29日
设计原生 AI:构建 NVIDIA TensorRT 模型连接的经验教训
并行工作、模型系列隔离、可逆更改和 GPU 支持的验证塑造了围绕编码代理设计的开源项目 NVIDIA TensorRT Model…
2 MIN READ
2026年 9月 27日
NVIDIA DSX MaxLPS 如何更大限度地提高 AI 工厂的吞吐量和效率
每一个未使用的功率都是剩余的容量。AI 工厂通常是为每个 GPU 达到峰值功率这一不太可能出现的时刻而提供,从而创建一个保护缓冲区,
2 MIN READ
2026年 9月 22日
借助 NVIDIA 机密计算实现私有高性能生产级 AI 推理
随着大语言模型 (LLM) 推理越来越多地在个人、企业和受监管环境中处理敏感信息和专有模型上下文,数据必须在可信环境中处理。
2 MIN READ
2026年 9月 21日
借助 NVIDIA Dynamo-Triton 中的 NVIDIA TensorRT 多设备集成,简化跨多个 GPU 的模型服务
生成式 AI 对计算和内存的需求日益超出单个 GPU 的能力。NVIDIA TensorRT 多设备推理是一项新功能,
3 MIN READ
2026年 9月 18日
借助 AIPerf 对 LLM 进行大规模基准测试推理
在系统上部署模型。启动后,提示得到响应。难题是:速度快吗? 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。
3 MIN READ