智能体/生成式 AI

在 DGX Spark 上使用 NVIDIA cuVS 扩展 OpenViking 的智能体记忆检索能力

假设你让一个项目助手找出上个月做过的一项部署决策。答案可能藏在历史对话、发布说明或项目文档中。助手不仅要找到相关上下文,还要避免搜索其他用户的记忆,或返回不属于当前项目的结果。

OpenViking 负责组织这些上下文,NVIDIA cuVS 则为稠密向量检索提供 GPU 加速。在单台 NVIDIA DGX Spark 上进行的约 194 万向量测试中,cuVS 的 FP32 模式在宽范围检索下达到了原生 CPU 后端约 2.8 倍的吞吐量,FP16 模式则约为 4 倍。本文介绍这项集成的设计、这些结果成立的测试条件,以及另一组本地智能体试验揭示的应用延迟构成。图 1 展示了本地 CPU/GPU 协同检索的概念设计。

图 1. 在同一台本地系统中组织智能体记忆,并使用 CPU 或 GPU 检索。这是概念示意图,不是硬件照片。

让记忆检索范围与任务相匹配

OpenViking 是面向 AI 智能体的开源上下文数据库。它使用类似文件系统的层级结构组织记忆、资源和技能。智能体既可以进行宽范围搜索,也可以通过指定目录和元数据条件缩小检索范围。

不同的范围意味着不同的计算量。跨多个项目的查询可能需要考虑数百万个向量,而某个发布说明目录内的查询可能只剩几十个候选。把这两种请求都发送到 GPU,可能反而增加小范围查询的开销。

NVIDIA cuVS 提供精确和近似的 GPU 向量搜索算法。这项集成使用 cuVS 执行稠密向量相似度搜索,记录存储、过滤、持久化及其他查询操作仍由 OpenViking 负责。不启用 cuVS 的部署保持原有 CPU 行为不变。

在 DGX Spark 上本地运行完整技术栈

我们的本地部署使用一台配备 128 GB 内存、搭载 NVIDIA GB10 Grace Blackwell Superchip 的 NVIDIA DGX Spark。图 2 展示了智能体运行框架(agent harness,即负责执行模型工具调用循环的软件)如何连接本地模型服务和 OpenViking。

图 2. OpenViking 管理数据、过滤逻辑和索引生命周期,cuVS 执行受支持的稠密向量搜索。箭头表示组件职责与调用关系,不表示实测耗时。

本地记录存储仍然是权威数据源。GPU 索引是一份快照(snapshot),也就是从已存储向量派生出来、可由 OpenViking 重建的视图。无论底层选择哪条执行路径,智能体都使用相同的搜索和读取工具。

规划内存时,需要考虑整个应用。模型权重、上下文缓存、嵌入向量、数据库状态和 GPU 分配都占用系统的统一内存。统一内存并不会自动消除这项集成中保留的多份向量表示。

根据查询特点选择 GPU 执行方式

接入一个高速搜索算法,还需要保留数据库周边的行为语义。以下四项设计,让 GPU 检索能够配合 OpenViking 的过滤、数据更新和并发请求。

先过滤,再对向量排序

假设全局搜索排名最靠前的结果都属于另一个目录。如果先做全局搜索、再删除不符合目录条件的结果,就可能漏掉目标目录内本应返回的有效匹配。

OpenViking 的处理方式是:先通过原生 CPU 过滤引擎计算目录和标量条件,生成位图(bitmap),用紧凑的比特集合标记符合条件的记录,再将这些比特与 GPU 索引中的行顺序对齐。cuVS 利用位图约束候选范围,然后选出排名靠前的结果。

这样只需维护一套过滤语义,既避免了用 Python 遍历全部记录,也不必在 GPU 上另建一套目录索引。OpenViking 会缓存可复用的设备端位图,并在数据发生变化时使相关缓存失效。

选择 CPU 或 GPU 路径

你可以选择以下三种配置:

  • Native CPU(原生 CPU): 使用现有本地后端。本次测试采用逐向量缩放的 INT8 表示,即每个向量拥有自己的量化缩放系数。
  • Explicit cuVS(显式启用 cuVS): 对受支持的稠密向量查询,使用配置好的 GPU 算法和精度。
  • Auto(自动选择): 一种需主动开启的模式,根据可用设备内存、索引就绪状态,以及过滤后的候选数量选择执行路径。

对于较小的候选集合,CPU 搜索的成本可能低于准备并提交 GPU 请求的成本。在本次测试配置中,经过路径过滤、候选数不超过 200 的查询由 Auto 交给 CPU;单独的标量过滤阈值为 2,000。你可以根据硬件和查询特点调整这些阈值。它们是可配置规则,不是通过训练得到的性能模型;内存准入判断也不会监控语言模型的 GPU 利用率。

重建期间仍能检索新记忆

开启可选的后台重建功能后,Auto 会在工作线程准备下一份 GPU 快照期间,通过当前原生索引继续提供查询服务。OpenViking 为每份快照关联一个代次(generation),表示底层记录的版本。只有重建完成时该代次仍然有效,才会安装新的快照。

防抖等待间隔(debounce interval)会在写入暂停后短暂等待,把时间相近的多次更新合并成一次重建。对于已知的一连串写入,还可以用批量导入作用域(bulk-ingest scope)将 GPU 维护推迟到这一轮写入结束。它是维护提示,不是事务:原生索引中的数据可见性仍随每次写入逐步更新。

合并兼容的并发请求

OpenViking 的可选微批处理(micro-batching)功能,会将兼容的并发查询合并到一次 cuVS 查询矩阵调用中。请求必须共享同一份快照、准备好的过滤条件,以及相同的 top-k(请求返回的近邻数量)。不同目录过滤条件的查询不能直接混入同一批;路由到 CPU 的请求则不进入 GPU 队列。

本文测试使用的最大批量为 8,收集窗口为 1 ms。这个窗口限制的是为了凑批而主动等待的时间,不是请求总延迟。微批处理支持暴力搜索(brute-force):直接计算符合条件的向量,不通过近似方法筛选候选。集成也支持基于图的 CAGRA 算法,但本次测试没有评估它在召回率与延迟之间的权衡。

在约 194 万向量上测试检索性能

我们使用 OpenViking 的 benchmark/vectordb_perf 测试程序,加载其 dir-vector 工作负载所使用的公开 Wiki 语料:共 1,941,679 个向量,每个向量 1,024 维。测试包含两种检索范围,用于覆盖不同的候选集合:

  • 宽范围(Broad scope,测试中称为 Base): 共 456 条查询,保留基础可见性和上下文约束,但不额外限制目标目录。
  • 目录范围(Directory scope): 共 217 条查询,每条查询增加一个目录前缀,只对该路径下符合条件的记录排序。

语料包含文档路径,但查询元数据没有直接指定目录约束。测试程序根据每条查询的标准答案文档路径,取它们的共同祖先目录,派生出该查询的目录范围。因此,这些范围用于诊断性能,并不代表从生产智能体中观测到的真实查询分布。

我们将数据导入、恢复、GPU 准备和预热与稳态搜索分开。每种模式和范围都在新进程中对静态快照执行测试,使用余弦相似度、8 个并发请求和 top-k 100。三次匹配重复测试中,各模式使用相同的查询 ID 和顺序。整套测试共执行 30 次运行、10,095 次查询;测量期间没有发生 GPU 重建。

对比稳态吞吐量

图 3 对比了每秒查询数(QPS)的中位数;表 1 列出具体数值及向量表示。两种范围的图表使用相同的坐标刻度。

图 3. 单台 DGX Spark 上三次重复测试的后端 QPS 中位数。GPU 路径使用最大批量 8、收集窗口 1 ms 的微批处理。目录范围为诊断性派生范围;这些数据不是智能体吞吐量。

检索模式向量表示宽范围 QPS目录范围 QPS
Native CPU逐向量缩放的 INT818.9570.86
Explicit cuVSFP3252.5170.52
Explicit cuVSFP1675.95104.07
AutoGPU 使用 FP32;CPU 使用原生 INT851.0676.63
AutoGPU 使用 FP16;CPU 使用原生 INT876.75114.97

表 1. 测试日期为 2026 年 7 月 30 日,OpenViking 版本为 40dd0527。查询使用预先计算的向量,不包含嵌入计算与模型生成耗时。结果包含后端过滤和记录读取,但不包含 HTTP 服务开销与启动耗时。

在宽范围检索中,Explicit cuVS 的 FP32 和 FP16 吞吐量分别约为 Native CPU 的 2.77 倍和 4.01 倍。Auto FP16 在宽范围和目录范围下分别约为 Native CPU 的 4.05 倍和 1.62 倍。这些倍率由实测 QPS 中位数相除得到。

在目录范围下,Explicit FP32 与 Native CPU 基本持平。Auto 针对候选规模的差异,将 217 条目录查询中的 91 条留给 CPU,另外 126 条交给 cuVS。对这组工作负载而言,判断何时使用 GPU,比让每个请求都使用 GPU 更重要。

同时考虑精度与启动成本

这些配置的数值精度并不相同。Native CPU 保持带缩放系数的 INT8 表示;cuVS 默认使用 FP32,选择 FP16 时则同时转换数据集和查询向量。FP16 转换不是经过校准的 INT8 量化。即使使用暴力搜索,不同表示也可能产生不同的分数或近邻顺序。

以配对的 FP32 结果为参考,Explicit cuVS FP16 的平均 top-100 结果集召回率在宽范围和目录范围下分别为 99.82% 和 99.92%。这里衡量的是与 FP32 近邻集合的一致程度,不是最终答案准确率。单条查询的结果及其排序仍可能不同。

根据该数据集的行数与维度计算,FP16 将设备端向量数据本身的容量从约 7.41 GiB 减半到 3.70 GiB,但不会让整个应用的内存占用减半:原生索引、紧凑存储的 FP32 主机端向量副本、运行时、过滤数据和构建缓冲区仍会占用空间。

冷启动同样值得关注。在这套测试中,启用 GPU 的模式启动和恢复约需 200 秒,Native CPU 约为 8.5 秒。Auto 随后还需额外约 5–6 秒才能让 GPU 路径就绪。表 1 不包含这些成本;相比短时任务,长期运行的服务更有机会摊薄这些开销。

测试完整的本地智能体

前面的检索测试评估后端在较大数据规模下的表现。另一组于 2026 年 9 月开展的试验,测试了完整的本地技术栈:VikingBot、OpenViking 0.4.21 和 Ollama 0.34.2。本地部署的 Qwen3.8 27B 模型 负责回答和记忆提炼,Qwen3-Embedding 0.6B 负责生成 1,024 维嵌入向量。

语言模型使用 Q4_K_M,即主要采用 4 位权重,并对部分张量保留更高精度。这个设置与向量索引的 FP32 或 FP16 无关。智能体查询使用 49,152 token 的上下文窗口,关闭 thinking,最多执行 6 次工具迭代。此前使用更小上下文窗口时,较长工具循环的提示词曾被截断。

我们导入了 LoCoMo 中的对话,再让智能体回答与这些记忆有关的问题。在一次功能检查中,它正确找到了某位参与者失去银行工作的日期。用于计时的试验覆盖两段完整导入的对话,共完成 40 个问题,每个请求都返回了文本。

两组问题的整轮延迟中位数分别约为 67 秒和 60 秒。这是两组不同的问题,不是优化前后的对照;成功返回响应,也不代表答案正确。

根据模型服务日志,模型 HTTP 调用时间约占实测整轮耗时的 98.8%,其中包括提示词处理、生成和服务开销。40 个问题都达到了 6 次工具迭代上限;加上最终回答阶段,每轮共发起 7 次模型请求。工具循环中反复读取记忆,成为值得进一步优化的环节。

这说明为什么必须测量整个应用。当模型调用占据绝大部分时间时,检索快 4 倍,并不能让整轮回答也快 4 倍。如果模型执行过程保持不变,即使消除全部非模型耗时,整轮延迟也只能减少约 1.2%。

应将这组试验视为本地部署与延迟分析验证,而不是完整的 LoCoMo 质量评测,也不是 cuVS 端到端加速的实测证据。小索引试验通过强制满足 GPU 路由条件来验证执行路径;默认 Auto 行为仍需单独对照。这两组实验也没有测量本地模型与完整 194 万向量数据集同时运行的表现。

从自己的工作负载开始

按照 OpenViking cuVS 集成指南 和 cuVS 安装说明,选择相互兼容的 Python、CUDA、cuVS 和 CuPy 包。DGX Spark 使用 Linux AArch64 软件包。为了保证测试可复现,应固定软件版本与模型摘要标识(digest)。

在版本匹配的 OpenViking 源码目录中运行 cuVS 冒烟测试示例,可以不依赖模型服务,先检查 GPU 向量写入与带过滤的检索:

python examples/cuvs_smoke.py
python examples/cuvs_smoke.py --dtype float16

将以下片段合并到已经可用的本地 OpenViking 配置中,即可启用 Auto、后台重建和暴力搜索微批处理。它不包含模型服务配置。

{
  "storage": {
    "vectordb": {
      "backend": "local",
      "cuvs": {
        "auto_enable": true,
        "algorithm": "brute_force",
        "dtype": "float32",
        "auto_background_rebuild": true,
        "max_concurrent_gpu_searches": 1,
        "micro_batching_enabled": true,
        "micro_batching_max_batch_size": 8,
        "micro_batching_max_wait_ms": 1.0
      }
    }
  }
}

建议先从 FP32 开始,检查结果质量、过滤后候选数量和实际 CPU/GPU 路由,再评估 FP16。微批处理需要兼容的并发流量;不能期待一个串行执行的智能体自动凑满 8 条查询。

OpenViking 管理记忆与查询语义,cuVS 则在适合 GPU 执行的工作负载上提高稠密向量检索能力。在 DGX Spark 上,你可以在同一台系统中开发检索层和本地智能体。导入具有代表性的历史数据,等待记忆处理完成,同时测量完整回答轮次、模型调用和搜索/读取操作。将冷启动单独统计,再逐步增加读写混合与多智能体并发测试。

标签