NVIDIA Kaolin 库

Kaolin 是一个用于加速 3D 深度学习研究的库。

Kaolin 是一套用于 3D 深度学习研究的工具

主要特性

Kaolin 库提供 PyTorch API，用于处理各种 3D 表征。它包括越来越多的 GPU 优化操作，例如模块化可微渲染、表示之间的快速转换、数据加载、摄像头类、体积加速数据结构、3D 检查点等。

关注 NVIDIA 多伦多 AI 实验室和整个 NVIDIA 的新研究组件库版本。最新版本包括FlexiCube，深度进军四面体，可微网格细分以及支持高效立体渲染的结构化点云 (SPC) 加速数据结构。

我们提供了一个通用框架，用于在 3D Gaussian Splats、SDF、激光点云甚至医学扫描等任何几何表示中降低 3D 物体的弹性模拟。我们的无网格、无网格方法使用最新的 Simplicits 方法，通过无数据训练过程，利用隐式神经场构建物体的物理感知子空间。

使用经优化的模块化可微渲染实现，开发先进的反向图形应用。其中包括可微相机 API、a网格可微渲染器具有两个光栅化后端将球面高斯作为环境图为漫反射和镜面光照，DefTet 四面体网格立体渲染和SPC 的光线追踪功能从而实现表面和体积可微渲染。最后，将材质信息存储在PBR 材质类。

许多 3D 深度学习方法都使用自定义渲染函数，例如隐式表示或自定义可微渲染器。Kaolin 库提供了一个实用程序，可在交互式查看器中直接在 Jupyter notebook 中调试和检查这些 3D 渲染，只需几行代码。

借助 Kaolin 库，可以轻松将 3D 研究与 NVIDIA Omniverse 中渲染的实时 USD 舞台上的 USD 内容相连接。例如，当前渲染的 3D 模型可以轻松转换为 PyTorch 张量，可被 AI 提取。有关代码示例，请参阅我们的AI 纹理绘画扩展。

使用 Kaolin 库导入实用程序将 USD、OBJ 和 glTF 3D 格式加载到一致的 pytorch 表示中。轻松加载大型 3D 数据集来训练机器学习模型。

使用快速可靠的转换操作在 3D 表征之间进行转换，包括行进立方体，行进中的四面体和Flexicubes从网格进行激光点云采样，并进行各种 SPC 转换。使用 GPU 优化的 3D 损失函数实现，例如点到网格的距离，最近的点距离，倒角距离，AMIPS 损失以及其他 3D 数据运算的集合，例如网格拓扑处理，提取和投影正交深度图和 SPC 上的运算，例如稀疏卷积，三线性插值，双网格创建和网格转换。

利用便捷的模块化可微摄像头 API，有许多便捷的方法和食谱。简化 PyTorch 中的 3D 网格管理网格类从不同 3D 格式导入数据时保持一致，包括glTF，USD和OBJ。