LLM

2025年 12月 11日

基于 NVIDIA Jetson 的边缘 AI 入门指南：面向机器人的大语言模型、视觉语言模型和基础模型

在小型、低功耗的边缘设备上运行先进的 AI 和计算机视觉工作流正变得越来越具有挑战性。机器人、智能摄像头和自主设备需要实时智能来感知、
2 MIN READ
2025年 12月 8日

使用 NVFP4 KV 缓存优化大批次与长上下文推理

量化是大规模推理中的关键手段之一。通过降低权重、激活值和KV缓存的精度，可以有效减少内存占用和计算开销，从而显著提升推理吞吐量、降低延迟，
3 MIN READ
2025年 12月 5日

NVIDIA Kaggle 大师夺冠人工智能竞赛

NVIDIA 的研究人员在周五的 Kaggle 竞赛中拔得头筹，这一赛事被业界许多人视为对人类在人工智能（AGI）领域进展的一次实时检验。
1 MIN READ
2025年 12月 2日

NVIDIA 加速的 Mistral 3 开源模型，实现多规模下的高效与精准

新的 Mistral 3 开放模型系列为开发者和企业提供了卓越的准确性、高效的性能以及灵活的定制功能。
3 MIN READ
2025年 12月 1日

使用 AI 模型蒸馏构建高效的金融数据工作流

量化金融领域的大语言模型（LLM）正被 increasingly 广泛应用于 Alpha 信号挖掘、自动化报告分析以及风险预测等场景。然而，
3 MIN READ
2025年 11月 19日

借助 BroRL 中的扩展功能突破强化学习训练限制

在使用可验证奖励的强化学习（RL）训练大语言模型（LLM）时，一个极具挑战性的问题是如何突破性能瓶颈。
2 MIN READ
2025年 11月 17日

融合 AI 与科研的癌症治疗领域开创性科学家

人工智能正在重塑科学研究与创新的方式。科学家可以借助AI生成、汇总、整合并分析科学数据。AI模型能够从人类科学家可能忽略的数据中识别出模式，
2 MIN READ
2025年 11月 13日

通过 Python API 利用 CuTe DSL 实现 CUTLASS C++ 级性能

CuTe，是 CUTLASS 3.x 的核心组件，它提供了统一的代数体系，用于描述数据布局和线程映射，
4 MIN READ
2025年 11月 10日

如何将数学问题的推理速度提升 4 倍

大语言模型能够解决具有挑战性的数学问题。然而，若要实现其大规模高效运行，仅依靠一个强大的模型检查点还远远不够。
3 MIN READ
2025年 11月 7日

使用 ComputeEval 2025.2 对 AI 生成的 CUDA 代码进行 LLM 基准测试

AI 编码助手能否编写高效的 CUDA 代码？为了更准确地衡量并提升其能力，我们构建了 ComputeEval，一个可靠且开源的基准测试工具，
1 MIN READ
2025年 11月 6日

在 PyTorch 中加速大规模混合专家训练

长期以来，训练大规模多专家（MoE）模型一直属于少数具备深厚基础设施和分布式系统专业知识的高级用户。对大多数开发者而言，
2 MIN READ
2025年 11月 6日

利用 NVIDIA cuVS 加速 Faiss 中的 GPU 向量搜索

随着企业收集的非结构化数据日益增多，并更加广泛地应用大语言模型（LLM），对更高效、更具可扩展性系统的需要也愈发迫切。
5 MIN READ
2025年 11月 3日

借助 NVIDIA AI Blueprint 深入解析视频分析

企业组织正日益寻求从视频、音频及其他复杂数据源中提取有价值见解的方法。检索增强生成（RAG）技术使生成式AI系统能够利用专有的企业数据，然而，
3 MIN READ
2025年 10月 30日

在 Microsoft Azure 上利用 NVIDIA Run:ai 简化 AI 基础设施

现代人工智能工作负载，无论是大规模训练还是实时推理，都需要动态访问高性能 GPU 资源。然而，
3 MIN READ
2025年 10月 28日

利用 NVIDIA Nemotron Vision、RAG 和 Guardrail 新模型开发专用 AI 智能体

代理式 AI 是一个由专门的语言模型与视觉模型协同工作的生态系统，负责规划、推理、信息检索以及安全防护。
3 MIN READ
2025年 10月 24日

NVIDIA DGX Spark 的性能如何支持密集型 AI 任务

当今，要求严苛的 AI 开发者工作负载通常需要比台式电脑所能提供的内存更多，也往往需要访问笔记本电脑或 PC 所不具备的软件，
2 MIN READ