NVIDIA Holoscan SDK

NVIDIA Holoscan 是一个与领域无关的多模态 AI 传感器处理平台,提供用于在边缘端或云端对流式数据进行实时处理的加速全栈基础架构。

立即下载文档论坛


下载 NVIDIA Holoscan SDK

要自行编译开源的 Holoscan SDK,请从 GitHub 下载。。

GitHubSDK 文档版本说明

PyPi

Pip 安装 NVIDIA Holoscan SDK

Ubuntu 软件包

下载并安装 Debian 软件包

NGC 容器

在 Holoscan 容器中运行

Conda

现在可在 Conda  上获取


Holoscan SDK 的工作原理

使用 Holoscan SDK 加速传感器数据处理。

NVIDIA Holoscan 包含用于网络连接、数据处理和 AI 的优化库。它提供了使用 C++、Python 或 Graph Composer 跨行业创建和运行低延迟数据流式传输应用的示例。借助该 SDK,开发者可以构建满足延迟要求的传感器数据处理流程,并实现从云到数据中心再到边缘的扩展。

Holoscan Reference Applications diagram explaining all relevant application components

入门指南

安装、设置并开始学习如何使用 Holoscan SDK 和引导式示例。

Holoscan GitHub

详细了解 Holoscan AI 传感器处理平台,或自行编译开源 Holoscan SDK。

Holoscan 参考应用

在 HoloHub 上查看和分享参考应用、运算符、教程和基准测试。

了解最新版本

了解 Holoscan SDK 的新功能和改进。


Holoscan 入门

Pick Your Platform

1. 选择平台

通过在 NVIDIA IGX™ 等工业级硬件上运行 Holoscan,优化边缘工作负载的体验。该 SDK 还兼容多个硬件平台,包括 aarch64 和 x86。

了解详情
Install the SDK

2. 安装 SDK

获取在本地运行 Holoscan 所需的规格。阅读本安装指南,了解必备软件和更多内容。

获取安装指南
Explore Examples

3. 浏览示例

通过一系列核心示例,了解如何使用 Holoscan SDK 构建应用。

开始学习

Holoscan Sensor Bridge processes low-latency sensor data from diverse sensors over Ethernet

使用 Holoscan 传感器桥接器通过以太网处理低延迟传感器数据

Holoscan 传感器桥接器可通过以太网无缝处理来自各种传感器的高带宽数据,从而实现实时、高性能的 AI 处理。它作为灵活的现场可编程门阵列 (FPGA) 接口,具有标准 API 和开放式软件。

详细了解 Holoscan 传感器桥接器

Holoscan 参考应用

设置好 Holoscan 并掌握了基本知识后,您可以查看预构建的端到端应用程序示例,以及如何使用、自定义和扩展这些示例的指南。

身体姿态估计

这项计算机视觉任务可识别图像或视频中人体的特定点。

语音转文本和大语言模型

此应用展示了如何使用语音转文本模型 (STT) 转录音频文件,以及如何使用大语言模型 (LLM) 来总结和生成新的相关信息。

SAM2:分割图像和视频中的任何内容

此应用演示了如何在实时视频源上运行 SAM2 模型,以及实时更改查询点的可能性。

传感器 IO:GPUDirect 数据提取

使用 Holoscan 的传感器输入和输出 (IO) 参考应用展示了 NVIDIA® GPUDirect® 的高级数据提取功能。Yuan 和 Deltacast 等合作伙伴提供与 Holoscan 无缝集成的先进 IO 采集卡,可将数据快速直接传输到 GPU 显存。

基于 DDS 的互操作性

数据分发服务 (DDS) 视频应用演示了如何向 DDS 数据总线写入或读取视频帧,从而在 Holoscan 应用和其他应用 (无论是否使用 Holoscan) 之间实现灵活集成。

多 AI AR 辅助手术

此应用展示了如何通过将 3D 解剖模型与实时 AI 分割相结合来增强机器人手术,从而改善深度感知、改善导航并增强患者安全性。


Holoscan 开发者博客


更多资源

NVIDIA Developer Forums

探索开发者论坛

NVIDIA Inception for Startups

加速您的初创公司

NVIDIA Developer Program

加入 NVIDIA 开发者计划


AI 伦理

NVIDIA 认为,可信赖的 AI 是一项共同的责任。我们已建立相关政策与实践,以支持广泛的 AI 应用开发。当开发者根据我们的服务条款下载或使用模型时,应与其支持的模型团队协作,确保该模型符合相关行业和使用场景的要求,并防范潜在的产品误用。

如需报告安全漏洞或 NVIDIA AI 相关问题,请在此提交。

立即开始使用 Holoscan。

访问 HoloHub