智能体/生成式 AI

2026年 9月 22日

借助 NVIDIA 机密计算实现私有高性能生产级 AI 推理

随着大语言模型 (LLM) 推理越来越多地在个人、企业和受监管环境中处理敏感信息和专有模型上下文，数据必须在可信环境中处理。
2 MIN READ
2026年 9月 22日

使用 AI 智能体和 NVIDIA Isaac ROS 加速 ROS 2 节点

GPU 加速可以加速计算密集型机器人工作负载，但仅凭快速的 CUDA 内核并不能保证快速的 ROS 2 图形。当消息在节点之间移动时，
3 MIN READ
2026年 9月 21日

借助 NVIDIA Dynamo-Triton 中的 NVIDIA TensorRT 多设备集成，简化跨多个 GPU 的模型服务

生成式 AI 对计算和内存的需求日益超出单个 GPU 的能力。NVIDIA TensorRT 多设备推理是一项新功能，
3 MIN READ
2026年 9月 21日

如何评估从工具调用到任务完成的 AI 智能体

当您发布 AI 智能体 时，关键问题是它能否在实时环境中跨数十次连续工具调用执行工作链，并在步骤失败时恢复。
2 MIN READ
2026年 9月 18日

借助 AIPerf 对 LLM 进行大规模基准测试推理

在系统上部署模型。启动后，提示得到响应。难题是：速度快吗？ 直觉可能会引导您发送 curl 命令、手动滚动异步脚本或另一个一次性负载生成器。
3 MIN READ
2026年 9月 16日

如何使用 AI 智能体准备用于仿真的 3D 场景

代理式 AI 工作流可用于为数字孪生准备和验证物理 AI 系统。智能体可以检查 3D 场景、在OpenUSD 中生成仿真相关数据、
4 MIN READ
2026年 9月 16日

TensorRT Edge-LLM 在 Jetson AGX Thor 上实现 MLPerf Edge Agentic Benchmark 6.4 倍加速

AI 智能体正从云数据中心转向车辆、机器人和其他边缘设备。与只回答单个提示的聊天机器人不同，智能体需要执行一系列步骤。它会选择工具、评估结果，
2 MIN READ
2026年 9月 16日

使用代理式 AI 将 CUDA Tile 操作从 Python 转换为 Rust

cuTile Rust () 是一个基于图块的系统，用于使用 Rust 编程语言进行安全的惯用 GPU 内核创作。
5 MIN READ
2026年 9月 15日

密集与 MoE 模型：活动参数、吞吐量以及选择每个模型的时间

一个包含 300 亿个参数的模型如何仅对每个 token 激活 300 亿个参数，同时仍然使用更大模型的容量？Nemotron 3.5…
2 MIN READ
2026年 9月 15日

NVIDIA Groq 3 LPX 确定性执行如何在 NVIDIA Vera Rubin 上推动节能高效的高交互性推理

功率是 AI 工厂 的决定性限制。由于 AI 工作负载需要一个完整的计算平台来为其提供服务，
2 MIN READ
2026年 9月 15日

NVIDIA NVLink 6 如何为 AI 工厂提供多层弹性

对于大型 AI 工厂的运营商而言，最大化连续输出对于提高生产力至关重要。在大规模 AI 训练中，
2 MIN READ
2026年 9月 14日

借助 NVIDIA Transformer 引擎在 JAX 中加速无模型 MoE 训练

多专家模型 (MoE) 已成为大规模 AI 模型训练中的关键架构趋势之一。DeepSeek、Qwen 和 Mixtral 是 MoE…
4 MIN READ
2026年 9月 10日

全栈 NIM 优化如何在 Nemotron 3 Ultra 上为用户提供 2.5 倍的提升

部署大语言模型只是实现生产就绪型服务的第一步。制作团队还需要在可用的 GPU 基础架构上为尽可能多的并发用户提供服务，
2 MIN READ
2026年 9月 10日

从晶圆到第一个 Token：使用 Nemotron 和 Palantir Foundry 编写供应链专业知识

NVIDIA 拥有世界上最大、最复杂的供应链之一，其性能从晶圆到第一个 token 来衡量。间隔分为两部分。从芯片到机架的运行时间 (…
2 MIN READ
2026年 9月 9日

何时使用“编码-预填充-解码”解耦技术来加速多模态模型服务

编码 – 预填充 – 解码 (EPD) 分解是一种适用于多模态模型的推理优化技术，可将视觉编码器阶段与预填充和解码阶段分离开来。
4 MIN READ
2026年 9月 8日

GR-Inference：面向生成式推荐的推理系统设计与性能评估

基于 Semantic ID（SID）的生成式推荐，将推荐过程转化为短序列自回归生成。这类负载不同于 Chat LLM 的常规生成：
2 MIN READ