NVIDIA 游戏内推理 (NVIGI) SDK
NVIDIA In-Game Inferencing（NVIGI）SDK 通过进程内（C++）执行和 CUDA in Graphics，提供了一条精简且高性能的路径，将本地运行的 AI 模型集成到游戏和应用中。它支持所有主流推理后端，并可覆盖 GPU、NPU、CPU 等不同硬件加速器，让开发者能够充分利用玩家 PC 上可用的系统资源。
NVIDIA 游戏内推理 SDK 的优势
可扩展模型支持
NVIDIA 游戏内推理支持用于进程 (C++) 执行的语音、音频、视觉和语言模型。
简化部署
通过统一的推理 API，加载并运行为 TensorRT、ONNX Runtime、Llama.cpp 或跨 GPU、NPU 和 CPU 工作的自定义执行程序构建的模型。
加速性能
确保正确设置 CUDA in Graphics (CIG) ，以优化游戏工作流中的图形和 AI 执行，从而以低延迟同时进行。
NVIDIA 游戏内推理插件和模型支持
NVIDIA In-Game Inferencing SDK 为许多不同的语言和语音模型提供插件支持，包括：
NVIGI 插件 | 支持的推理硬件 | 支持的模型 |
|---|---|---|
语音 - ASR 本地 TRT | 支持 CUDA 的 GPU | |
语音 – TTS Local TRT | 支持 CUDA 的 GPU | |
语言 - GPT 本地 GGML | 支持 CUDA 的 GPU 或 CPU | |
RAG - 嵌入本地 GGML | 支持 CUDA 的 GPU 或 CPU |
开发者还可以使用开源 NVIGI SDK 为以上未列出的模型构建自己的插件。
相关产品
NVIDIA ACE
NVIDIA ACE 是一套数字人技术，可利用生成式 AI 让游戏角色和数字助手如生。
NVIDIA ACE Unreal Engine 5 参考
插件和示例，适用于希望在 RTX PC 上使用生成式 AI 让 MetaHumans 如生的虚幻引擎开发者。
资源
如何为自主意识游戏角色成功集成 NVIDIA ACE
本指南将探讨 NVIGI 如何与 ACE 集成，实现无缝 AI 游戏开发推理。它涵盖了 NVIGI 的架构、 功能，以及如何开始使用 NVIDIA ACE 设备端模型。
常见问题
在 NVIDIA 游戏内推理常见问题解答中查找常见问题的答案。
其他高级使用组件
虽然下载的二进制包对大多数应用程序来说已经足够了， NVIGI 还包含一些用于高级开发的附加组件 案例。其中最常见的案例是 NVIGI 开发者 自己的插件。
虚幻引擎 5 示例
一个简约的代码示例，展示了如何将 AI 功能 (GPT/ LLM) 集成到 UE 5 应用中。
存档
开始使用 NVIDIA 游戏内推理 SDK。