1. [主题 ](/topics) 2. [人工智能](/topics/ai/) 3. 本地 AI # 本地 AI 从 RTX 笔记本电脑、台式电脑和工作站，到 DGX Spark AI 超级计算机，在 NVIDIA GPU 上本地构建和运行 AI，实现快速、私密和无 Token 限制的 AI。NVIDIA GPU 通过 CUDA 加速所有顶级 AI 框架、开放权重模型和智能体，使开发者能够以更快的速度试验、构建和部署 AI。 ## 如何构建本地 AI ![构建 AI 智能体](https://developer.download.nvidia.com/icons/nvidia-generative-agentic-ai.svg) ### 构建 AI 智能体 使用智能体运行框架、MCP 工具连接以及本地 AI 后端构建智能体。 [探索智能体工具](#run-agents-locally) ![使用优化的模型](https://developer.download.nvidia.com/icons/neural-network.svg) ### 使用优化的模型 在本地运行经 NVIDIA 优化的开放权重模型，并提供首发日支持、NVFP4 量化和经过调优的 Tensor Core 性能。 [了解模型](#optimized-models) ![高效运行模型](https://developer.download.nvidia.com/icons/model-customization.svg) ### 高效运行模型 基于 CUDA通过具有加速的运行时运行开放权重模型，例如 Ollama、llama.cpp、TensorRT、SGLang、vLLM、WindowsML 或 PyTorch。 [了解框架](#inference-backends) ![将 AI 添加到应用](https://developer.download.nvidia.com/icons/building-agentic-ai-application-with-large-language-model.svg) ### 将 AI 添加到应用 利用 NVIDIA 加速的 SDK 添加 3D、生成式 AI 和视频功能。 [探索 SDK](#nvidia-ai-sdks) ![优化和部署你的应用](https://developer.download.nvidia.com/icons/m48-accellerated-computing-with-cuda-python-256px-blk.png) ### 优化和部署你的应用 使用 400 多个 CUDA-X™ 库，充分利用 GPU 和 NVIDIA Nsight 工具来构建、配置和优化 GPU 加速的应用。 [探索 CUDA-X](#build-ai-applications) ### 获取本地 NVIDIA 硬件 无论是通过主系统、配套机器还是桌面端超级计算机在本地运行 AI。 [查看硬件](#nvidia-gpu) ## 热门本地 AI 快速入门指南 ![构建本地智能体](https://developer.download.nvidia.com/images/local-ai/nvidia-claw-dgx-spark-ari.jpg) ### 构建本地智能体 - [NemoClaw 指南](https://docs.nvidia.com/nemoclaw/user-guide/openclaw/home) - [Hermes 智能体指南](https://developer.nvidia.cn/build-spark/hermes-agent) ![在本地运行 LLM](https://developer.download.nvidia.com/images/local-ai/llm-performance-ari.jpeg) ### 在本地运行 LLM - [Nemotron 指南](https://github.com/NVIDIA-NeMo/Nemotron) - [vLLM Recipes](https://recipes.vllm.ai/nvidia) - [Llama.cpp 指南](https://build.nvidia.com/spark/llama-cpp) ![运行创意 AI 模型](https://developer.download.nvidia.com/images/local-ai/diffusion-model-building.gif) ### 运行创意 AI 模型 - [ComfyUI 指南](https://developer.nvidia.cn/build-spark/comfy-ui) ![模型量化](https://developer.download.nvidia.com/images/local-ai/nvidia-model-quantization-ari.jpg) ### 模型量化 - [概念、方法及其必要性](https://developer.nvidia.cn/blog/model-quantization-concepts-methods-and-why-it-matters/) - [训练后量化](https://developer.nvidia.cn/blog/model-quantization-post-training-quantization-using-nvidia-model-optimizer/) - [将 FP8 检查点转化为高性能推理引擎](https://developer.nvidia.cn/blog/model-quantization-turn-fp8-checkpoints-into-high-performance-inference-engines-with-nvidia-tensorrt/) ![NVIDIA DGX Spark workstation running optimized model fine-tuning with Unsloth on a local open-weight language model](https://developer.download.nvidia.com/images/local-ai/nvidia-llm-visual-finetuning-ari.jpg) ### 在本地微调模型 - [在 DGX Spark 上使用 Unsloth 优化微调](https://developer.nvidia.cn/build-spark/unsloth) ## 优势 ## 为何使用 NVIDIA GPU 构建和运行本地 AI？ ![更广泛的生态](https://developer.download.nvidia.com/icons/m48-neural-network-1.svg) #### 更广泛的生态 AI 堆栈的每一层都在 NVIDIA 上加速，包括 CUDA 库、开源框架、SDK 和模型，并获得广泛的社区和 ISV 支持。 ![方便易用的工具](https://developer.download.nvidia.com/icons/m48-monitor-performance.svg) #### 方便易用的工具 NVIDIA 与开源社区密切合作，优化热门的 AI 工具，如 ComfyUI、Hermes、llama.cpp、Ollama、ONNX、OpenClaw、PyTorch、vLLM 等。这些工具可以轻松安装，并跨 NVIDIA 本地 GPU 和云端 GPU 在同一 CUDA 堆栈上运行。 ![最新模型的首发日支持](https://developer.download.nvidia.com/icons/m48-microservices-2.svg) #### 最新模型的首发日支持 得益于 NVIDIA 与模型实验室之间的密切合作，从 LLM 到图像生成器，新的开源模型从一开始就在 NVIDIA GPU 上快速运行。 ![庞大装机量与统一开发软件栈](https://developer.download.nvidia.com/icons/m48-people-growth.svg) #### 庞大装机量与统一开发软件栈 NVIDIA 本地 GPU 装机量超 1 亿台。一次开发，即可部署至 PC 端与云端的各类 NVIDIA GPU。 ![性能](https://developer.download.nvidia.com/icons/m48-speed.svg) #### 性能 专用 Tensor Core 可加速各类 AI 运算任务，搭配持续优化的开发框架与 NVFP4 模型检查点。 ## 在本地构建和运行智能体 构建与应用交互、生成内容、自动化个人工作流和管理多步骤推理任务的智能体，同时在本地设备上私有运行，或跨云和本地配置混合运行。 ![NVIDIA OpenShell](https://developer.download.nvidia.com/images/local-ai/nemotron-labs-openclaw-1920x1080-1-1280x720.jpg) ### NVIDIA OpenShell NVIDIA OpenShell 是适用于 AI 智能体的安全运行时。它提供沙盒执行环境和策略控制安全管控智能体行为。 [详细了解 OpenShell](https://docs.nvidia.cn/openshell/index.html) ![NVIDIA NemoClaw](https://developer.download.nvidia.com/images/local-ai/NemoClaw-sfg.jpg) ### NVIDIA NemoClaw NVIDIA NemoClaw™ 是一系列用于构建自主智能体的开放蓝图：适用于特定领域且始终在线的 AI 系统，可在现实世界的工作流中进行推理、规划和行动。 [详细了解 NemoClaw](https://www.nvidia.cn/ai/nemoclaw/) ### Hermes 智能体 Hermes 智能体是由 Nous Research 打造的可自我提升的智能体。它作为终端或应用界面运行，拥有持久的技能和内存，有助于其随着时间的推移不断改进，非常适合本地模型，并且可以连接到 飞书、腾讯 QQ等渠道。 [详细了解 Hermes](https://developer.nvidia.cn/build-spark/hermes-agent) ### OpenCode 使用开源编码代理和受支持的本地模型提供商，实现代码感知开发工作流。 [详细了解 OpenCode](https://opencode.ai/download) ### OpenClaw 使用 NVIDIA NemoClaw 运行 OpenClaw 自主智能体，从原型部署转向更安全、受管控的部署。NemoClaw 添加了 OpenShell 策略控制、产品生命周期管理和沙盒隔离。 [详细了解 OpenClaw](https://docs.openclaw.ai/providers/nvidia) * * * ## 面向本地 AI 的优化模型与检查点 NVIDIA 携手开发者社区，针对各类开源模型完成适配优化，可在本地 NVIDIA GPU 上高效运行。 #### 为你的本地 AI 场景选择适配模型 1. 明确目标显存与性能需求 2. 筛选候选模型：​ - 参考公开基准测试 (例如 Artificial Analysis Index) 筛选备选模型 - 使用 llama.cpp 时：推荐选用 Q4\_K\_M 量化检查点，平衡运行性能与生成效果 - 使用 vLLM 或 PyTorch 时：推荐选用 NVFP4 量化检查点，平衡运行性能与生成效果 3. 评估： - 结合自身业务场景搭建自定义评估数据集 - 通过人工评测完成模型打分 - 针对大语言模型，可借助大模型自评判方式完成批量评测 [![VRAM comparison for NVFP4 vs. BF16 over FLUX.1, FLUX.2, and Qwen Image. Lower VRAM is better.](https://developer.download.nvidia.com/images/local-ai/nvidia-diy-model-checkpoint-optimization-chart.jpg)](https://developer.download.nvidia.com/images/local-ai/nvidia-diy-model-checkpoint-optimization-chart.jpg) (点击查看大图) #### 自定义模型检查点优化 NVIDIA TensorRT Model Optimizer 集成多种主流模型优化技术，包含量化、剪枝、模型蒸馏、推测解码等，可对深度学习模型进行压缩，适配各类下游部署框架，提升推理运行速度。 [获取 Model Optimizer](https://github.com/NVIDIA/TensorRT-Model-Optimizer) * * * ## 适用于本地 AI 的推理后端 根据你的操作系统、模型格式、GPU 架构和显存、API 要求以及吞吐量目标选择推理后端。 [访问 Inference Backends](/ai-apps-for-rtx-pcs/inference-backends) ![Comparison table of local AI inference backends — PyTorch, Ollama, llama.cpp, TensorRT-LLM, SGLang, vLLM, and WindowsML — by OS, GPU architecture, API type, and throughput target](https://developer.download.nvidia.com/images/local-ai/Table.png) * * * ## NVIDIA AI SDK 借助 NVIDIA SDK，为你的 RTX PC 应用添加先进的 AI 功能，涵盖 3D 图形、生成式 AI 以及视频和直播。 3D 和图形设计 面向游戏的生成式 AI 视频和直播 ![NVIDIA DLSS](https://developer.download.nvidia.com/images/local-ai/nvidia-dlss4-ari.jpg) ### NVIDIA DLSS 使用 AI 的神经网络图像技术实现性能倍增。生成新帧、重建图像并改进光线追踪的画质与性能。 [详细了解 DLSS](/rtx/dlss) ![NVIDIA Omniverse](https://developer.download.nvidia.com/images/local-ai/nvidia-omniverse-ari.jpg) ### NVIDIA Omniverse 用于物理 AI 仿真和代理式工作流的加速库、微服务和技能。 [详细了解 Omniverse](/omniverse) ![NVIDIA OptiX](https://developer.download.nvidia.com/images/local-ai/optix-8-ari.jpg) ### NVIDIA OptiX 用于在 GPU 上实现出色光线追踪性能的应用程序框架。 [详细了解 OptiX](/rtx/ray-tracing/optix) ![NVIDIA RTX Kit](https://developer.download.nvidia.com/images/local-ai/nvidia-rtx-kit-zorah-ari.jpg) ### NVIDIA RTX Kit 神经网络渲染技术套件。 [详细了解 RTX Kit](/rtx-kit) ![NVIDIA ACE](https://developer.download.nvidia.com/images/local-ai/nvidia-ace-for-games-hiroki1-ari.jpg) ### NVIDIA ACE 面向游戏的数字人技术套件。 [详细了解 ACE](/ace) ![NVIDIA AI for Media](https://developer.download.nvidia.com/images/local-ai/nvidia-ai-for-media-and-entertainment-ari.jpg) ### NVIDIA AI for Media AI 增强的音频、视频和 AR 效果，适用于视频会议和远程呈现。 [详细了解 AI for Media](/maxine) ![RTX Video](https://developer.download.nvidia.com/images/local-ai/nvidia-rtx-video-sdk-clarity-ari.jpg) ### RTX Video AI 增强的超分辨率和 HDR 效果，适用于创意和媒体回放应用。 [详细了解 RTX Video](/rtx-video-sdk) ![Video Codec SDK](https://developer.download.nvidia.com/images/local-ai/nvidia-video-codec-sdk-ari.jpg) ### Video Codec SDK 适用于在主流编解码器中使用 NVIDIA GPU 进行硬件加速的视频编码和解码，包含全面的 API、工具和示例， [详细了解 Video Codec SDK](/video-codec-sdk) * * * ## 用于构建加速 AI 应用的开发者工具 使用 CUDA-X 库和 NVIDIA Nsight 工具构建、分析、调试和优化 GPU 加速的 AI 应用。 ![NVIDIA CUDA-X library ecosystem showing 400+ GPU-accelerated computing libraries for AI inference and high-performance computing](https://developer.download.nvidia.com/images/local-ai/nvidia-cuda-x-libraries-ari.jpg) #### CUDA-X 库 NVIDIA CUDA-X 是一套功能强大的库，旨在为 AI 和高性能计算用例提供行业领先的 GPU 加速。它们为复杂算法提供了高度优化的实现，远远优于仅使用 CPU 的替代方案。此外，现已提供[可移植的指令集和 skill](https://github.com/nvidia/skills)，可扩展 AI 智能体的功能。 [详细了解 CUDA-X 库](/cuda/cuda-x-libraries) #### NVIDIA Nsight 工具 NVIDIA Nsight™ 工具是一套功能强大的库、SDK 和开发者工具，用于构建、调试、配置和开发面向最新加速计算硬件的软件。 [开始使用 Nsight 开发者工具](/tools-overview) [![NVIDIA Nsight developer tools interface displaying GPU performance profiling data, kernel timelines, and memory utilization for a local AI application](https://developer.download.nvidia.com/images/local-ai/nvidia-nsight-tool-2-ari.jpg)](https://developer.download.nvidia.com/images/local-ai/nvidia-nsight-tool-2-ari.jpg) (点击查看大图) * * * ## 我应该将哪个 NVIDIA GPU 用于本地 AI? 根据操作系统、可用 GPU 或统一内存、模型大小和工作流选择硬件。在 NVIDIA DGX Spark™ 上进行原型设计，在 GeForce RTX™、NVIDIA RTX Spark™ 或 NVIDIA RTX PRO™ 上运行 AI 和智能体工作流，以支持更大型的本地模型和长期运行的智能体。 | | 适用场景 | 系统定位 | 内存 | 操作系统 | 设备形态 | 可承载模型规模 | | --- | --- | --- | --- | --- | --- | --- | | [NVIDIA RTX Spark](https://www.nvidia.cn/products/rtx-spark/) | 大型 AI 模型与智能的原型搭建、测试工作 | 单台轻量化整机 | 最高 128GB 统一内存 | Windows | 笔记本电脑 / 紧凑型台式机 | 最高支持 120B 参数模型 | | [NVIDIA DGX Spark](https://www.nvidia.cn/products/workstations/dgx-spark/) | 大型 AI 模型与智能的原型搭建、测试工作 | 配套辅助整机 | 最高 128GB 统一内存 | Linux | 小型台式机 | 单台 DGX Spark 最高支持 200B 参数模型 | | [NVIDIA GeForce RTX](https://www.nvidia.cn/ai-on-rtx/) | 小型 AI 模型开发与测试 | 单台主力整机 | 6 - 24GB 显存 | Linux / Windows | 笔记本电脑 / 台式机 | 最高支持 60B 参数模型 | | [NVIDIA RTX PRO](https://www.nvidia.cn/products/workstations/) | 大型 AI 模型开发与测试 | 单台主力整机 | 16 - 96 GB 显存 | Linux / Windows | 笔记本电脑 / 台式机 | 最高支持 150B 参数模型 | ![RTX Spark](https://developer.download.nvidia.com/images/local-ai/nvidia-rtx-spark-ari.jpg) ### RTX Spark 借助 RTX Spark，创作者和 AI 开发者可以渲染 90GB 以上的超大 3D 场景，编辑 12K 4:2:2 视频，生成 4K AI 视频，在本地使用智能体运行具有多达 100 万个 token 上下文的 120B 参数 LLM，并以 1440p 分辨率和超过 100 FPS 的帧率畅玩 3A 游戏。 [详细了解 RTX Spark](https://www.nvidia.cn/products/rtx-spark/) ![NVIDIA DGX Spark personal AI supercomputer showing front, rear, and side panel views of the GB10 Grace Blackwell Superchip compact deskside system](https://developer.download.nvidia.com/images/local-ai/nvidia-dgx-spark-panels-ari.jpg) ### DGX Spark 采用 GB10 Grace Blackwell 超级芯片的个人 AI 超级计算机。高达 1 petaFLOP 的 FP4 运算能力、128GB 统一内存和预安装的 DGX 操作系统 – 微调高达 70B 参数的模型 ，并从运行多达 200B 参数的模型推理。 [探索 DGX Spark](https://www.nvidia.cn/products/workstations/dgx-spark/) ![GeForce RTX](https://developer.download.nvidia.com/images/local-ai/geforce-rtx-5090-learn-more-nv-sfg-thumbnail-1920x1080.jpg) ### GeForce RTX 借助 RTX AI PC 升级到更先进的 AI 体验，加速游戏、创作、生产力和开发。 [探索 GeForce RTX](https://www.nvidia.cn/ai-on-rtx/) ![NVIDIA RTX PRO Blackwell professional GPU workstation for AI inference, graphics rendering, and high-performance compute workloads](https://developer.download.nvidia.com/images/local-ai/rtx-professional-workstations-ari.jpg) ### RTX PRO 借助 NVIDIA RTX PRO Blackwell 工作站，加速专业 AI、图形、渲染和计算工作负载。 [探索 RTX PRO](https://www.nvidia.cn/products/workstations/) * * * ## NVIDIA 本地 AI 最新资讯 ![NVIDIA Levels Up Local AI Agents Across RTX PCs and DGX Spark](https://developer.download.nvidia.com/images/local-ai/computex-2026-nv-blog-1280x680-1.jpg) 2026 年 5 月 31 ### NVIDIA 全面升级 RTX PC 和 DGX Spark 上的本地 AI 智能体 个人智能体正迎来爆发式增长，OpenClaw 和 Hermes 等开源项目在 GitHub 上正受到 AI 开发者社区的接纳和使用。 [阅读博客](https://blogs.nvidia.cn/blog/rtx-ai-garage-computex-spark-local-agents/) ![Hermes Unlocks Self-Improving AI Agents, Powered by NVIDIA RTX PCs and DGX Spark](https://developer.download.nvidia.com/images/local-ai/rtx-ai-garage-hermes.jpeg) 2026 年 5 月 13 日 ### NVIDIA RTX PC 与 DGX Spark 加速由 Hermes 解锁的自主进化 AI 智能体 代理式 AI 正在改变用户完成工作的方式。继 OpenClaw 取得成功之后，社区正积极拥抱新的开源代理式框架。 [阅读博客](https://blogs.nvidia.cn/blog/rtx-ai-garage-hermes-agent-dgx-spark/) ![NVIDIA Accelerates Google DeepMind’s DiffusionGemma for Local AI](https://blogs.nvidia.cn/wp-content/uploads/sites/20/2026/04/nab-adobe-color-mode-nv-blog-1280x680-1.jpg) 2026 年 4 月 15 日 ### NVIDIA GPU 加速 Adobe Premiere 全新调色模式 NAB Show 2026 将于 4 月 18 日至 22 日在拉斯维加斯举行，集中展示面向热门视频编辑应用的新功能与优化。 [阅读博客](https://blogs.nvidia.cn/blog/rtx-ai-garage-nab-adobe-premiere-color-mode/) [查看所有 AI on RTX 博客 ](https://www.nvidia.cn/ai-on-rtx/blog/) * * * ## 更多本地 AI 开发者配套资源 ![decorative icon](https://developer.download.nvidia.com/icons/m48-people-group.svg) ### 开发者论坛 ![decorative icon](https://developer.download.nvidia.com/icons/m48-document-support-guide-2.svg) ### 指南和手册 **及时了解 NVIDIA 开发者的最新动态** [订阅 ](/email-signup)