AI 推理

2026年 10月 30日

只需几个命令即可运行用于边缘应用开发的 AI 模型

AI 正在扩展到数据中心之外，因为开发者构建了在边缘发挥作用的新一代 智能体：监控驾驶员注意力和座舱状况，帮助机器人了解周围环境并规划任务，
2 MIN READ
2026年 10月 27日

在 NVIDIA DGX Spark 上提升 MoE 推理的 3 种方法

更快地生成 token 的第一步是确定限制推理性能的因素。在 NVIDIA DGX Spark 上的 Inclusion AI 对 Ling…
2 MIN READ
2026年 10月 23日

借助全局性能调优器扩展 NVIDIA TensorRT 性能优化，超越单一构建路线，第 2 部分

全局性能调优器是 NVIDIA TensorRT 11.1 中发布的一项自动性能调优功能。它通过为不同的模型自定义不同的优化，
2 MIN READ
2026年 10月 23日

借助全局性能调优器扩展 NVIDIA TensorRT 性能优化，超越单一构建路线，第一部分

部署经过训练的神经网络不仅仅是将每个运算符转换为 GPU 内核。这是一个编译问题，有许多合理的答案。例如，
2 MIN READ
2026年 10月 22日

在 8 个 NVIDIA DGX Spark 节点上运行前沿 AI 模型

AI 开发者不再只是运行单个模型，而是并行编排多个模型、关联推理调用，以及尝试需要数百 GB 内存的前沿架构。
2 MIN READ
2026年 10月 16日

使用 NVIDIA RTX Spark 在一台机器上进行编码、测试和部署

AI 智能体正在改变软件的构建方式。开发者已经从手动编写每一行代码转变为指导代理编写大部分代码。因此，当前的工作流分为笔记本电脑、
2 MIN READ
2026年 10月 12日

ReplaySSM：重新思考状态存储，加快混合模型解码速度

混合模型将状态空间模型 (SSM) 层与几个注意力层交织在一起。NVIDIA Nemotron 3、Qwen3.5 到 Qwen3.8、
4 MIN READ
2026年 9月 30日

使用 NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐系统

生成式推荐 (GR) 系统正在成为实现大规模个性化的强大新方法。GR 没有将推荐视为一组孤立的检索、排序和预测阶段，
3 MIN READ
2026年 9月 22日

借助 NVIDIA 机密计算实现私有高性能生产级 AI 推理

随着大语言模型 (LLM) 推理越来越多地在个人、企业和受监管环境中处理敏感信息和专有模型上下文，数据必须在可信环境中处理。
2 MIN READ
2026年 9月 21日

借助 NVIDIA Dynamo-Triton 中的 NVIDIA TensorRT 多设备集成，简化跨多个 GPU 的模型服务

生成式 AI 对计算和内存的需求日益超出单个 GPU 的能力。NVIDIA TensorRT 多设备推理是一项新功能，
3 MIN READ
2026年 9月 18日

借助 AIPerf 对 LLM 进行大规模基准测试推理

在系统上部署模型。启动后，提示得到响应。难题是：速度快吗？ 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。
3 MIN READ
2026年 9月 16日

TensorRT Edge-LLM 在 Jetson AGX Thor 上实现 MLPerf Edge Agentic Benchmark 6.4 倍加速

AI 智能体正从云数据中心转向车辆、机器人和其他边缘设备。与只回答单个提示的聊天机器人不同，智能体需要执行一系列步骤。它会选择工具、评估结果，
2 MIN READ
2026年 9月 15日

密集与 MoE 模型：活动参数、吞吐量以及选择每个模型的时间

一个包含 300 亿个参数的模型如何仅对每个 token 激活 300 亿个参数，同时仍然使用更大模型的容量？Nemotron 3.5…
2 MIN READ
2026年 9月 15日

NVIDIA Groq 3 LPX 确定性执行如何在 NVIDIA Vera Rubin 上推动节能高效的高交互性推理

功率是 AI 工厂 的决定性限制。由于 AI 工作负载需要一个完整的计算平台来为其提供服务，
2 MIN READ
2026年 9月 9日

何时使用“编码-预填充-解码”解耦技术来加速多模态模型服务

编码 – 预填充 – 解码 (EPD) 分解是一种适用于多模态模型的推理优化技术，可将视觉编码器阶段与预填充和解码阶段分离开来。
4 MIN READ
2026年 9月 3日

NVIDIA PAIR 虚拟推理路由器可扩展您本地网络中的可用算力

AI 智能体正在通过合作学习做更多事情。首席智能体可以将复杂的任务分解为较小的作业，并将这些作业分配给专门的子智能体。此外，
2 MIN READ