nvmath-python

nvmath-python 对数学库 API 进行了重新设计，以支持更复杂的使用场景，这些场景在使用类似 NumPy 的 API 时往往难以实现，或者需要在性能上做出权衡。

Host API 通过可选参数提供开箱即用的简洁性以及丰富的自定义能力，从而可以访问底层 NVIDIA 数学库的各类“调节项”。Host API 分为通用 API 和专用 API。通用 API 旨在在不同内存/执行空间之间提供一致的用户体验，但它们可能不支持某些特定数据类型（这些数据类型依赖具体硬件），也不一定能够充分利用特定设备的能力，因此非常适合编写可移植代码。相比之下，专用 API 的应用范围更窄，可能只适用于特定硬件平台，但能够更充分地发挥硬件能力，其代价是可移植性较低。

Device API 允许在使用 numba-cuda 等 Python 编译器编写的自定义内核中嵌入 nvmath-python 库调用。您不再需要从头开始编写 GEMM 或 FFT 内核。

具有回调功能的 Host API 允许将自定义 Python 代码嵌入到 nvmath-python 调用中。内部 JIT 机制编译自定义代码，并与 nvmath-python 操作融合，实现峰值性能。

Stateful（类形式）API 允许将完整的数学运算拆分为规格定义、规划、自动调优和执行等阶段。将代价高昂的规格定义、规划和自动调优在前期完成一次后，其开销可以在后续多次执行中进行摊销。

与 Python 日志功能的集成，使得在运行时可以深入了解规格定义、规划、自动调优和执行机制的各类细节。

nvmath-python 与热门 Python 包结合使用。其中包括 CuPy、PyTorch 和 RAPIDS 等基于 GPU 的软件包，以及 NumPy、SciPy 和 scikit-learn 等基于 CPU 的软件包。您可以继续使用熟悉的数据结构和工作流程，同时通过nvmath-python。

nvmath-python 并不能取代 NumPy、CuPy 和 PyTorch 等数组库。它不实现用于数组创建、索引和切片的数组 API。nvmath-python 旨在与这些数组库一起使用。所有这些依赖项都是可选项，您可以自由选择使用哪个数组库 (或多个库)nvmath-python。

nvmath-python 支持 CPU 和 GPU 执行以及内存空间。它简化了 CPU 和 GPU 实施之间的过渡，并允许实施 CPU-GPU 混合工作流程。

与 Python 编译器结合使用，例如 numba-cuda 您可以使用嵌入式技术实现 GPU 自定义内核 nvmath-python 库调用。

nvmath-python 在性能方面不断逼近极限，可提供与底层 CUDA-X 原生库（如 cuBLAS 系列、cuFFT 系列、cuDSS 和 cuRAND）相当的表现。借助 stateful API，你可以通过多次执行来摊销规格定义、规划和自动调优阶段的开销。

在 CPU 端执行时，nvmath-python 利用 NVPL 库，在 NVIDIA Grace™ CPU 平台上实现出色性能。同时，它还通过使用 MKL 库来支持对 x86 主机的加速。

与 Python 编译器结合使用，例如 numba-cuda，您现在可以编写涉及 GEMM、FFT 和/ 或 RNG 运算的高性能内核。以下是使用 nvmath-python 将“不可能”变为可能的一些示例

nvmath-python 允许扩展到单个 GPU 之外，甚至扩展到单个节点之外，而无需进行大量编码工作。多 GPU 多节点 (MGMN) API 允许从单个 GPU 实现轻松过渡到 MGMN，并无缝扩展到数千个 GPU。该库还提供辅助实用程序，可根据需要重塑数据 (重新分区) ，而无需进行主要编码。