1. [AI](https://developer.nvidia.com/topics/ai) 2. [生成式 AI](https://developer.nvidia.com/generative-ai) cuVS # NVIDIA cuVS NVIDIA cuVS 是一个用于 GPU 加速向量搜索和数据聚类的开源库，可加快向量搜索和索引构建速度。 它支持可扩展的数据分析，提高语义搜索效率，并帮助开发者加速现有系统或从头开始构建新系统。cuVS 与关键库和数据库集成，随着新的 NVIDIA 架构和 NVIDIA® CUDA® 版本的发布，还可以管理复杂的代码更新，从而确保峰值性能和无缝可扩展性。 [立即下载](https://github.com/rapidsai/cuvs "Try Now")[集成](https://docs.rapids.ai/api/cuvs/nightly/integrations/ "Request License")[文档](https://docs.nvidia.com/cuvs/index.html#product-documentationBYzNyK3Q "Request License") ## NVIDIA cuVS 的工作原理 NVIDIA cuVS 旨在加速和优化现有[数据库](https://www.nvidia.cn/glossary/vector-database/)和向量搜索库的向量索引构建和向量搜索。它使开发者能够增强数据挖掘和语义搜索工作负载，例如推荐系统和[检索增强生成](/topics/ai/retrieval-augmented-generation)( RAG) 。基于 [NVIDIA CUDA 软件栈](https://docs.rapids.ai/api/cuvs/nightly/#cuvs-technology-stack)它包含许多用于合成向量搜索系统的构建块，并为 C、C++、Rust、Java、Python 和 Go 提供易于使用的 API。 ![NVIDIA cuVS accelerates and optimizes vector index builds and vector search](https://developer.download.nvidia.com/images/how-nvidia-cu-vs-works.svg) ### 简介 了解如何使用 cuVS 加速向量搜索、热门应用，以及 GPU 加速向量搜索索引与 CPU 的性能比较。 [阅读博客](/zh-cn/blog/accelerating-vector-search-using-gpu-powered-indexes-with-rapids-raft/ "Get Started") ### 入门指南 了解向量搜索索引与成熟的向量数据库之间的区别。 [开始使用](https://docs.rapids.ai/api/cuvs/nightly/getting_started/ "Get Started") ### 笔记本电脑 构建 [IVF-PQ](https://github.com/rapidsai/cuvs/blob/branch-25.02/notebooks/tutorial_ivf_pq.ipynb) 索引，并使用它来搜索近似最近邻点 (ANN) ，或者学习如何使用 [cuVS IVF-Flat](https://github.com/rapidsai/cuvs/blob/branch-25.02/notebooks/ivf_flat_example.ipynb) 算法。 [在 GitHub 上开始使用](https://github.com/rapidsai/cuvs/tree/branch-25.02/notebooks "Get Started") ### 示例 获取插入示例，使用 cuVS 构建新应用，或在现有项目中使用该应用。查看 cuVS [安装文档](https://docs.rapids.ai/api/cuvs/stable/build.html#cuda-gpu-requirements)。 [在 GitHub 上查看](https://github.com/rapidsai/cuvs/tree/branch-24.12/examples "Get Started") * * * ## 主要特性 ### GPU 加速的索引算法 优化的 GPU 索引可实现高质量的索引构建和低延迟搜索。cuVS 提供用于索引向量嵌入的高级算法，包括精确索引、基于树的索引和基于图形的索引。 - ### **大语言模型 (LLM) 的实时更新** cuVS 通过动态集成新的嵌入和数据来实现索引搜索的实时更新，而无需重建整个索引。通过将 cuVS 与 LLM 集成，搜索结果将保持最新且相关。 - ### **高效索引** 与仅使用 CPU 的工作流程相比，GPU 索引可降低成本，同时大规模保持质量。此外，通过在核外构建大型索引，可以更灵活地选择 GPU，并最终降低每 GB 成本。 - ### **### 可扩展索引构建** 对于实时应用和大规模部署，cuVS 支持纵向扩展和横向扩展索引创建和搜索，所需时间仅为 CPU 所需时间的一小部分，且不会影响质量。 ### GPU 加速的搜索算法 cuVS 通过集成基于 CUDA 的优化算法来实现近似最近邻点和聚类，从而转变向量搜索，是大规模、时间敏感型工作负载的理想选择。 - ### **### 大语言模型 (LLM) 的实时更新** cuVS 通过动态集成新的嵌入和数据来实现索引搜索的实时更新，而无需重建整个索引。通过将 cuVS 与 LLM 集成，搜索结果将保持最新且相关。 - ### **### 低延迟性能** cuVS 可为速度和准确性至关重要的语义搜索等应用提供超快的响应时间。此外，对二进制、8、16 和 32 位类型的支持意味着内存使用针对高吞吐量应用程序进行了优化。 - ### **### 高吞吐量处理** GPU 每秒可处理数十万次查询，这使 cuVS 成为机器学习、数据挖掘和实时分析等要求严苛的用例的理想之选。 ## 开始使用 选择正确的路径以开始使用 cuVS。将其集成到现有的向量搜索系统、流程或应用中，并加速生产中数据挖掘用例的语义搜索。 ![Evaluate with cuVS Bench](https://developer.download.nvidia.com/icons/containerized-model.svg) ### 评估 开始使用 cuVS 作为基准测试工具，通过优化索引配置和分析不同硬件环境中的性能，专为 ANN 搜索实现 (尤其是 GPU 和 CPU 之间的搜索实现) 的可复制比较而设计。 [开始使用 cuVS Bench 进行评估](https://docs.rapids.ai/api/cuvs/nightly/cuvs_bench/) ![Download Library (GitHub)](https://developer.download.nvidia.com/icons/m48-speech-recognition.svg) ### 开发 NVIDIA cuVS 在 GitHub 上提供端到端示例和自动调整指南。访问源代码以开始使用。 [下载库 (GitHub)](https://github.com/rapidsai/cuvs) ![Launch Through Integrations](https://developer.download.nvidia.com/icons/m48-digital-deep-learning-institute-talks-training.svg) ### 启动 cuVS 可用作独立库，也可通过 FAISS、Milvus、Lucene、Kinetica 等多种 SDK 和向量数据库集成进行部署。 [通过集成启动](https://docs.rapids.ai/api/cuvs/nightly/integrations/) * * * ## 性能 – 领先的向量搜索 NVIDIA cuVS 利用 NVIDIA GPU 的并行架构，可轻松部署热门的性能关键型算法。GPU 加速的向量相似性搜索为大规模高性能解决方案[设定了基准测试记录](https://github.com/harsha-simhadri/big-ann-benchmarks/blob/main/neurips21/t3/LEADERBOARDS.md#public-dataset-leaderboards-and-winners)。 ### 索引速度提高 21 倍 越低越好。 ![A chart showing 21X faster indexing on GPU vs CPU in the cloud](https://developer.download.nvidia.com/images/cuvs/index-build-performance-3691350.svg) _与云端 (AWS) 中的 CPU (Intel Ice Lake) 相比，在 GPU (8x A10g) 上构建索引所需的时间从几小时缩短到几分钟。_ ### 成本降低 12.5 倍 越低越好。 ![A chart showing 12.5X lower cost indexing on GPU vs CPU in the cloud](https://developer.download.nvidia.com/images/cuvs/index-build-cost-3691350.svg) _在云端 (AWS) 中使用 GPU (8x A10g) 和 CPU (Intel Ice Lake) 构建索引的成本。_ ### 吞吐量提高 29 倍 越高越好。 ![A chart showing 34X higher throughput on GPU vs CPU](https://developer.download.nvidia.com/images/cuvs/search-throughput-3691350.svg) _在 GPU (H100) 上每秒可查询的向量数量与 CPU (英特尔至强 Platinum 8470Q) 上每秒可查询的向量数量 (每次提交 10000 个) 。_ ### 延迟降低 11 倍 越低越好。 ![A chart showing 11X lower latency on GPU vs CPU](https://developer.download.nvidia.com/images/cuvs/search-latency-3691350.svg) _每次提交一个查询时，使用 GPU (H100) 与使用 CPU (英特尔至强 Platinum 8470Q) 处理每个查询的平均时间。_ * * * ## 适用于 NVIDIA cuVS 的入门套件 通过访问教程、Notebook、论坛、版本说明和全面的文档，开始使用 cuVS 加速您的库、数据库和应用。 ### 用于库开发 cuVS 提供易于使用的 Python API，可直接集成到数据挖掘和分析库中。cuVS 还集成到热门的 FAISS 库中，以实现 CPU 和 GPU 的互操作性。 - [探索 Python Notebook 示例](https://github.com/rapidsai/cuvs/tree/branch-24.12/notebooks) - [阅读入门指南](https://docs.rapids.ai/api/cuvs/nightly/getting_started/) - [阅读 API 文档](https://docs.rapids.ai/api/cuvs/nightly/api_docs/) ### 用于数据库开发 cuVS 构建块使用 C++ 构建，并采用 C、Python、Rust、Java 和 Go 等热门语言封装，因此可轻松集成到现有数据库和向量索引工具中。 - [探索示例项目和代码](https://github.com/rapidsai/cuvs/tree/branch-24.12/examples) - [阅读入门指南](https://docs.rapids.ai/api/cuvs/nightly/getting_started/) - [试用可复制的基准测试工具](https://docs.rapids.ai/api/cuvs/nightly/cuvs_bench/) ### 用于应用程序开发 cuVS 可直接使用，也可通过多个数据库和库集成来使用，从而通过 GPU 加速为您的应用程序和工作流提供强效助力。 - [试用适用于 RAG 的 NVIDIA AI Blueprint](https://build.nvidia.com/nvidia/build-an-enterprise-rag-pipeline) - [阅读入门指南](https://docs.rapids.ai/api/cuvs/nightly/getting_started/) - [探索库和数据库集成](https://docs.rapids.ai/api/cuvs/nightly/integrations/) - [了解向量数据库与数据库](https://docs.rapids.ai/api/cuvs/nightly/vector_databases_vs_vector_search/) * * * ## 学习资源库 * * * ## 生态系统 [ ![NVIDIA cuVS Ecosystem Partner - Datastax](https://developer.download.nvidia.com/images/cuvs/logo-datastax.svg) ](https://www.datastax.com/blog/datastax-ai-paas-integrated-with-nvidia-nemo-retriever) [ ![NVIDIA cuVS Ecosystem Partner - Elastic](https://developer.download.nvidia.com/images/cuvs/logo-elastic.svg) ](https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=lucene#/session/1725488451726001Mz27) [ ![NVIDIA cuVS Ecosystem Partner -](https://developer.download.nvidia.com/images/cuvs/logo-faiss.svg) ](https://docs.rapids.ai/api/cuvs/nightly/integrations/faiss/) [ ![NVIDIA cuVS Ecosystem Partner - Kinetica](https://developer.download.nvidia.com/images/cuvs/logo-kinetica.svg) ](https://docs.rapids.ai/api/cuvs/nightly/integrations/kinetica/) [ ![NVIDIA cuVS Ecosystem Partner - Lucene](https://developer.download.nvidia.com/images/cuvs/logo-apache-lucene.svg) ](https://docs.rapids.ai/api/cuvs/nightly/integrations/lucene/) [ ![NVIDIA cuVS Ecosystem Partner - Milvus](https://developer.download.nvidia.com/images/cuvs/logo-milvus.svg) ](https://docs.rapids.ai/api/cuvs/nightly/integrations/milvus/) [ ![NVIDIA cuVS Ecosystem Partner - MongoDB](https://developer.download.nvidia.com/images/cuvs/logo-mongo-db.svg) ](https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=lucene#/session/1725488451726001Mz27) [ ![NVIDIA cuVS Ecosystem Partner - OpenSearch](https://developer.download.nvidia.com/images/cuvs/logo-open-search.svg) ](https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=lucene#/session/1725488451726001Mz27) [ ![NVIDIA cuVS Ecosystem Partner - Solr](https://developer.download.nvidia.com/images/cuvs/logo-solr.svg) ](https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=lucene#/session/1725488451726001Mz27) [ ![NVIDIA cuVS Ecosystem Partner - Weaviate](https://developer.download.nvidia.com/images/cuvs/logo-weaviate.svg) ](https://www.nvidia.com/gtc/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=weaviate#/session/1725741930792001U8IR) * * * ## 更多资源 ![NVIDIA Developer Newsletter](https://developer.download.nvidia.com/icons/m48-email-settings.svg) ### 注册接收开发者时事通讯 ![NVIDIA Training and Certification](https://developer.download.nvidia.com/icons/m48-certification-ribbon-2.svg) ### 获取培训和认证 ![NVIDIA Developer Program](https://developer.download.nvidia.com/images/cuvs/developer-1.svg) ### 加入 NVIDIA 开发者计划 ### 立即开始使用 NVIDIA cuVS [立即下载](https://github.com/rapidsai/cuvs)