物理 AI—即在工厂、仓库、医院和家中与人类自主协作的机器人——的到来比大多数人预期的要快。随着空间变得越来越非结构化，机器人走出牢笼，专为结构化环境打造的传统安全系统将无法再发挥作用。AI 驱动的安全是关键。
NVIDIA 今天宣布推出 NVIDIA Halos for Robotics 将强大的 AI 计算和安全性整合到一个平台中，标志着物理 AI 的到来具有重要里程碑意义。NVIDIA Halos OS 是一个全面的全栈安全系统，基于 NVIDIA 多年来在 智能汽车 (智能汽车) 安全方面的投资而构建，现已扩展到工业机器人、人形机器人和自主移动机器人 (AMR) 领域。 NVIDIA IGX Thor 和 NVIDIA Halos OS 是 NVIDIA Halos 的基础硬件和软件平台。
人形机器人 Digit 制造商 Agility，正在将 NVIDIA IGX Thor 和 Halos OS 整合到其专有的安全人体检测系统中，并加入 NVIDIA Halos AI 系统检测实验室，以加速工业环境中安全人形机器人的开发。这种采用表明，行业已经准备好超越临时安全实施，向共享、符合标准的基础迈进。Halos 就是基础。
本文将介绍 NVIDIA Halos 在机器人领域的应用，并解释其构建方式及其对构建新一代安全自主机器的团队的意义。
NVIDIA 如何将经过验证的安全堆栈从智能汽车扩展到机器人领域？
NVIDIA 在功能安全方面进行了长期而深入的投资。该公司在车辆安全方面积累了 18000 多个工程年，评估了超过 210 亿个安全晶体管，并生成了 700 多万行安全评估代码。现已开发了 22000 余款平台安全监测器，发表了 330 余篇关于智能汽车安全的研究论文，并发布了 30 余份证书和评估报告。
智能汽车是工程领域中要求极为严苛的安全领域之一，而这一工作成果是为其打造的。Halos OS 背后的关键见解是，无需为机器人重建这一成熟的基础。它可以扩展。
智能汽车和机器人堆栈共享相同的安全开发流程 (软件产品生命周期、硬件开发流程) 、可靠使用的相同开发工具以及相同的基础功能安全标准 ( ISO 26262+ IEC 61508、ISO 13849) 。TÜV SÜD 和 TÜV Rheinland 的第三方评估确认了这两个领域的合规性。
这种连续性是一种结构优势：基于 Halos for 智能汽车构建的 Halos，用于 机器人安全 的 Halos 继承了多年的安全工程工作，而不是从零开始。
NVIDIA 正在帮助塑造机器人安全的未来，通过其召集人 IEC 61508 (机器人领域领先的功能安全标准) 和 ISO/IEC TS 22440 (功能安全和 AI 的新兴标准) ，以及其在 IEC TC 65 AhG 30 中的领导地位和对 ISO 25785-1 的积极贡献。这些领导地位彰显了 NVIDIA 在机器人安全领域的影响力和思想领导力。
什么是适用于机器人的 NVIDIA Halos？
NVIDIA Halos for Robotics 被组织到同一个全栈综合安全系统中，该系统将平台硬件和软件中的安全元素统一到三层，类似于 NVIDIA Halos for 智能汽车。
Halos 堆栈的基础是硬件平台安全性：适用于机器人，由 NVIDIA IGX Thor 平台和 NVIDIA Holoscan Sensor Bridge (HSB) 提供。
在此基础上构建的 Halos OS 是一个在 IGX Thor 上运行的安全软件堆栈，适用于机器人和 AMR。您可以将其想象成同样经过验证的堆栈，确保智能汽车在 DRIVE AGX 上的安全，DRIVE AGX 现已扩展到机器人领域。
它包括用于开发和部署安全应用的基本安全操作系统 Halos Core，以及一系列 Blueprint (包括 NVIDIA Halos Outdoor – In 安全蓝图) ，这些 Blueprint 可通过外部工作站摄像头和 AI 智能体扩展机器人感知，从而动态控制机器人行为。
NVIDIA IGX Thor 提供平台安全性
NVIDIA IGX Thor 是一款工业级 AI 计算模块，将 AI 感知性能与内置功能安全硬件融于一体，而这一切尽在单个平台。高达 2070 FP4 TFLOPs 的 AI 性能、14 个 Neoverse ARM CPU 核心和 128 GB 内存 (带宽为 273 GB/s) 。这为 IGX 提供了足够的空间来运行要求严苛的实时机器人工作负载以及安全监控功能。
| 智能汽车 | 机器人开发 | |
| 平台安全 | NVIDIA DRIVE AGX、NVIDIA DRIVE Hyperion | NVIDIA IGX Thor 和 NVIDIA Holoscan Sensor Bridge |
| Halos 操作系统 | Halos Core 和 Halos 应用和蓝图 | |
| 生态系统安全 | Halos AI 系统检测实验室 – 43 个成员：16 个智能汽车，23 个机器人，4 个跨两个 | |
内置硬件安全性将 IGX 与通用计算平台区分开来。此硬件包括：
- 支持 IEC 61508 SIL 3 的安全岛 (FSI)：一个专用的功能安全岛，具有多达 12000 个 DMIP、自己的 I/ O、电源和时钟，与主计算域物理隔离
- 高诊断覆盖率: 超过 22000 种安全机制可在整个 SoC 中提供诊断覆盖率
- IEC 61508 SC 3 系统化：为安全使用而支持的所有 IP 均根据 IEC 61508 的要求，在开发时具有 SC 3 功能
- 多样性和冗余度：可以配对多个引擎和接口以进行 ASIL 和 SIL 分解 ( GPU/ CPU、GPU/ PVA、CCPLEX CPU/ FSI CPU)
- 系统内测试 (IST)：整个 SoC 中的逻辑和内存 BIST，用于潜在故障覆盖
- 支持无干扰 (FFI) 和相关故障初始化器 (DFI)：丰富的功能，包括 CCPLEX 和 GPU 中的 SMMU、GFX 执行看门狗、GPU 中的硬件上下文开关、NOC 防火墙和时钟/ 电压/ 散热监控器
IGX 内置的硬件安全功能由 Halos Core 的 Safety Extension Package (SEP) 服务控制。 SEP 是收集和调度 FSI 和安全 MCU (SMCU) 硬件错误的机制，包括 FSI 和 SMCU 参考固件、错误传播层 (EPL) 和边缘安全链路安全协议。
在 NDA 下提供了描述在安全背景下使用 IGX 和 Halos OS 的应用说明。
NVIDIA Holoscan Sensor Bridge 扩展了功能安全功能
HSB通过以太网将传感器和执行器连接到IGX，扩展安全链直到传感器边缘。主要功能包括：
- 低延迟：ConnectX RDMA 和 RTX GPU Direct 支持实时传感器串流
- 可扩展：可轻松扩展到数百个传感器和数百 Gbit/s
- 多模态： 与领域无关的协议支持任何传感器或执行器类型
- 安全可靠： MACsec 为设备身份验证和加密数据流，及 Halos Core 中包含的端到端 IEC 61508 SIL 2 安全协议、水印和摄像头测试支持服务
图 2. NVIDIA Holoscan Sensor Bridge 数据流通过 FPGA IP 从摄像头传输到主机 GPU 处理
为平台安全提供生态系统支持
该平台的安全性得到了日益壮大的合作伙伴生态系统的支持，其中包括 IGX ODM 合作伙伴，包括 Advantech、Nexcobot、Inventec 和 Connect Tech。安全 MCU 和传感器合作伙伴包括 Infineon、NXP Semiconductors 和 Texas Instruments。HSB 芯片合作伙伴包括 Texas Instruments、STMicroelectronics、NXP Semiconductors 和 Lattice Semiconductor。
适用于机器人软件安全环境的 Halos OS
NVIDIA Halos OS 位于硬件和您的应用之间，为机器人团队提供所需的认证构建块 — — 目前为 Halos Core (安全操作系统) 和 Halos 应用 (安全蓝图，如 Outdoor – In Safety) 。机器人中间件和 Halos 基础架构工具现已推出，但尚未用于安全应用。
图 3. 适用于 NVIDIA IGX 机器人堆栈的 NVIDIA Halos OS安全操作系统：Halos Core
Halos Core 是 NVIDIA Halos OS 的基础，它是新一代 NVIDIA DriveOS，已通过汽车安全标准认证。软件层在 IGX Thor 上运行。目前提供两种配置：Halos Core Linux 和 Halos Core Linux+ QNX (图 3) 。
图 4. Halos Core 配置包括仅适用于 Linux (左) 、Linux 以及配备 NV Hypervisor 的 QNX (右)Halos Core Linux 提供完整的安全软件基础：用于应用程序和计算工作负载的 Linux 运行时、用于硬件错误收集和调度的 SEP、Edge Safety Link 安全通信协议、FSI RTOS 和 Safety MCU RTOS 固件。
Halos Core Linux 和 QNX 增加了一个 NV Hypervisor 层，可将 IGX 划分为独立的虚拟机：用于 AI 和应用程序工作负载的 Linux VM，以及用于安全关键功能的 QNX VM。QNX 是一款实时操作系统，在经过认证的安全系统中拥有悠久的历史，它的加入可实现更强大的软件分区，从而实现更高的安全完整性用例。
Halos OS 的生态系统支持
这一层的 Halos OS 生态系统合作伙伴包括 QNX 上的 Blackberry、EtherCAT/ FSOE 解决方案上的 Acontis、FreeRTOS ( AWS 是 FreeRTOS 的管理者，并将提供 Halos OS 中安全认证包的一部分 ) 等。
这两种配置现在均可抢先体验。如需了解更多信息，请参阅 抢先体验。请参阅 NVIDIA IGX 安全产品概览，其中包含注册开发者可通过 NVIDIA 开发者门户获取的详细架构文档。
使用 NVIDIA Halos OS 开发功能安全智能体
作为 NVIDIA Halos OS 应用层的一部分，NVIDIA 为构建功能安全代理的开发者提供了参考蓝图。
外入式安全系统
NVIDIA Halos Outside-In Safety Blueprint 将机器人感知扩展到板载传感器之外。它使用外部基础设施摄像头、AI 感知和安全逻辑来加速实时功能安全解决方案的开发，同时更大限度地提高运营吞吐量。
它在 NVIDIA IGX 上运行，并以开源形式提供，使机器人能够以更高的效率安全地与工人一起工作，同时动态地适应复杂的环境。它还为 AI 功能安全标准 (例如 ISO/ IEC TR 5469 和即将推出的 ISO/ IEC TS 22440) 提供文档支持。
图 5. Halos Outside-In Safety Blueprint 涵盖工业设施、AI 安全工作流和数字孪生验证该蓝图提供了几个可定制的组件，以实现由外至内的安全代理，首先是传感器输入，例如直播摄像头，然后将安全信号输出到智能汽车或机器人。
- 传感器输入处理流程 (SIPP)： NVIDIA Metropolis Blueprint 为视频搜索和摘要 (VSS) 提供了参考感知堆栈，用于从设施基础设施中提取所有摄像头流，并将其转换为可操作的事件和分析数据。VSS 是一种基于 AI 的感知工作流，可跨摄像头检测和追踪目标物体。它输出每个被追踪物体的位置、速度和轨迹，并将这些数据映射到离散事件，例如进入或离开感兴趣区域 (ROI) 、两个物体之间的邻近事件或叉车在入口处穿过线。
- 安全 AI 监控器 (SAIM) ：持续监控感知管道中可能影响检测准确性的情况，包括分布外输入、摄像头阻塞、连接中断和图像异常。。如果输入变成 OOD (Out-of – Distribution) ，例如，由于设施照明调光等环境条件的意外变化，AI 模型的准确性和可靠性将无法再得到保证。当发生这种情况时，SAIM 会检测并标记病情，从而防止下游决策依赖可能出现性能下降的 AI 输出。SAIM 会生成一个警报，该警报通过安全链传播，使安全决策者返回到安全操作状态，即重新激活机器人的板载安全功能，直到情况恢复。即使实际条件超出训练数据集中所表示的条件，这种机制也能确保系统的安全运行。
- 安全事件集成商 (SEI)： 从多个摄像头视角融合事件，并确保在将事件转发给安全决策者之前达到高置信度值。根据时间严重延迟到达的事件将作为过时事件丢弃，以确保安全决策始终基于最近的事件。事件融合、延迟检查和事件处理逻辑等功能都可以在 SEI 中进行自定义。
- 安全决策者 (SDM)： 在 IGX 的专用功能安全岛 (与主 AI 计算域隔离) 上运行有限状态机，以对集成事件采取行动，发送安全停止信号、调整机器人运行速度，或在内外系统确认区域清晰时暂时关闭板载安全限制。SDM 的逻辑可以进行定制，以针对不同的用例实现新的行为和输出信号。
- 集成到现有的机器人开发工作流：此域在搭载NVIDIA Isaac Sim的NVIDIA RTX Pro上运行，生成用于测试和硬件在环验证的合成摄像头流，并将动作信号反馈回真实系统。
自动挂车加载参考用例
自动挂车装载 (ATL) 示例是由 T V Rheinland 检查的一个安全概念，该概念使用 NVIDIA Halos Outdoor – In 安全蓝图构建，旨在解决仓库自动化中最常见的痛点之一：让自动叉车在没有持续安全停车的情况下高效地装载拖车。
由于空间限制和板载传感器检测错误 (例如将货物和拖车墙误认为是障碍物) ，当前的由内到外系统通常无法在拖车内自由运行。这可以将叉车的移动限制为爬行或完全停止。降低车载安全性可以提高挂车内的运营效率，但以安全、智能的方式实现这一目标变得至关重要。这正是“由外而进”安全性的用武之地。
在 ATL 示例中，SIPP 使用适用于仓库运营的 NVIDIA VSS Blueprint 实施，该 Blueprint 可接收多个摄像头流，检测并跟踪物体，并根据装载区域周围的配置兴趣区域和拖车入口处的线将物体映射到事件。SDM 始终知道装载区域是否有人，以及叉车是在拖车内部还是外部。
图 6. 仓库装载区的双摄像头视图，具有活跃的物体检测功能，可在指定的感兴趣区域内追踪叉车和工人
当叉车在拖车内，并且装载区域没有工人时，SDM 会暂时将叉车的板载安全系统静音，使其能够高效运行。当工人进入装载区域时，ROI 条目事件通过 SEI 传播到 SDM，从而完全重新启动叉车的安全系统。
图 7. 同一装载区域的双摄像头视图，没有工人或叉车在场，显示 SDM 静音的安全状态
如果 SAIM 检测到摄像头条件恶化 (光线灭，蒸汽使摄像头模糊) ，它会发送额外的不分布事件，SDM 会做出相应的响应。
图 8. 模拟仓库，显示叉车触发配送外传感器事件，系统切换到终端输出中记录的标准模式
与由内到外单独提供的解决方案相比，这将带来更高的吞吐量和更可靠的安全覆盖。安全性和生产力不再紧张。
生态系统安全：NVIDIA Halos AI 系统检测实验室
安全认证是任何一家公司都无法独自完成的。NVIDIA Halos AI 系统检测实验室是 ANAB 认证的 ISO/IEC 17020 检测机构，是首个在智能汽车和机器人领域获得 AI 和功能安全认证的全球计划，提供了从设计到认证的结构化路径。
此流程的工作原理如下：合作伙伴/ ODM 要求实验室检查产品中是否正确集成了 Halos 安全、AI 安全和网络安全要求。NVIDIA 安全和法规专家库根据预评估的 Halos 堆栈元素 ( IGX SoM、Halos Core 和 Halos 应用) 评估系统，并颁发检测证书和检测报告。然后，合作伙伴将此 NVIDIA 检测证书发送给第三方认证机构 ( T V Rheinland、T V S D、SGS、exida、CERTX 或 UL Solutions) ，以获得最终系统认证。
由于 Halos 组件及其与最终产品的集成均经过预先评估，因此合作伙伴无需从头开始重新评估平台。他们可以将认证工作的重点放在自己的应用程序逻辑上，从而大幅缩短认证时间并降低成本。
在获得最终第三方认证之前，Agility 正在使用该实验室检查与 Digit 安全相关的软件、AI 组件和网络安全保护是否符合严格的标准，包括 IEC 61508、ISO 13849 和 ISO/ IEC TR 5469。
Halos AI 系统检测实验室成员生态系统涵盖超过 43 家公司，并且还在不断发展壮大。新成员包括 Agility、Lyte AI、Neurealm、Ouster 和 Peer Robotics。他们加入了 Boston Dynamics、KION Group、Infineon、Texas Instruments、NXP Semiconductors、Lattice Semiconductor、Synapticon、Reynolds & Moore、SecEdge (网络安全) 和 FORT Robotics 等现有成员的行列。
开始使用适用于机器人的 NVIDIA Halos
要开始在 NVIDIA IGX 上开发机器人安全应用，请注册 NVIDIA Halos Core 抢先体验版。
要开始构建外入式安全代理，请在 GitHub 上访问 NVIDIA/halos-outside-in-safety。开发者现在可以使用两种智能体技能——仓库部署 和 halos-deploy——只需一个提示即可构建和运行内外安全智能体。这些技能可处理先决条件、NGC 下载、配置、适用于仓库运营的 NVIDIA VSS Blueprint 以及 Halos SIL 自动部署。这意味着您的团队可以跳过手动设置，开始根据您的用例调整 NVIDIA Halos Outside-In Safety Blueprint。
