NVIDIA Clara Guardian

NVIDIA Clara™ Guardian 是一个应用框架,同时也是一种合作伙伴生态系统,它可以利用多模态 AI 简化智能传感器的开发和部署,可应用于医疗健康设施的各个位置。借助各种各样的预训练模型、参考应用和设备群管理解决方案,开发者能够以更快的速度构建解决方案,从而将 AI 引入医疗健康设施,并提高患者护理水平。


开始行动


Clara 软件栈

Clara Guardian 的关键组件包括医疗健康预训练模型,该模型适用于计算机视觉和语音、训练工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command 是一个混合云平台,可支持在数百万台服务器或医院的边缘设备中安全管理并扩展 AI 部署。

这使得生态系统合作伙伴可以轻松将 AI 功能添加到常用传感器中,从而监控人群的安全社交距离、测量体温、检测是否佩戴口罩等防护装备,或与高风险患者进行远程交互,从而在保护医疗健康机构人员安全的同时,还能让他们随时了解状况。

应用和服务可以在各种硬件上运行,因此,开发者能够在从边缘到云端的任意位置安全地进行部署。


提供解决方案

利用高性能的预训练模型在医疗健康领域构建精确 AI。

云原生,边缘优先

快速扩展软件,并在边缘轻松部署应用。

安全管理

在数十台,甚至多达数百万台的服务器或边缘设备上安全地管理和扩展 AI 部署。




医疗健康领域专用的预训练模型


适用于语音的 Clara Guardian

适用于语音的 Clara Guardian 是 Riva 对话式 AI 功能针对医疗健康领域的特定版本。

  • 对于自动语音识别 (ASR) 功能,模型执行离线识别和串流识别两种模式,可自动添加标点符号、输出字词时间戳并返回前 n 个脚本。
    我们推荐使用 CitriNet 这个基于端到端卷积 Connectionist Temporal Classification (CTC) 的全新 ASR 模型。CitriNet 模型会接收音频片段,并将其转写为字母、字节对或词片段序列。CitriNet 已在 ASR 数据集上进行训练,在没有任何外部 LM 的情况下,它可以在 LibriSpeech test-other 上达到 6.22% 的误字率 (WER),并且在各种硬件/GPU 上高效运行,如此处所示。
    Conformer-CTC 模型是用于自动语音识别的 Conformer 模型的非自回归变体,该模型使用 CTC 损失/解码代替 Transducer。
  • 对于自然语言理解 (NLU) 功能,深度学习模型通过编码向量理解上下文,并为特定语言任务(如预测下一个单词和文本摘要)提供适当的输出。
  • 对于 文本转语音 (TTS),有一款基于 FastPitchHifiGanE2E 的语音合成模型。FastPitchHifiGanE2E 是一个端到端的非自回归模型,可将文本转化成音频。它将 FastPitch 和 HiFiGan 组合成一个模型,并以端到端方式联合训练。

语音模型(ASR、NLP 和 TTS)可用于截取、处理和响应患者在医疗健康设置中可能提出的常见请求。


适用于计算机视觉的 Clara Guardian

适用于计算机视觉的 Clara Guardian 是 DeepStream 和 Riva 计算机视觉功能在医疗健康领域的特定版本。

Clara Guardian 包含可用于手势识别、心率监测、口罩检测和身体姿态估计的预训练模型。

  • 身体姿态估计可用于检测身体中重要关节和面部特征的位置(眼睛、耳朵、肘部、肩膀、手腕、臀部、膝盖、脚踝、鼻子、颈部等),从而建立患者监控 AI 模型。
  • 手势识别模型可以识别一系列常见的手势(挥手、表示同意、竖大拇指、表示制止等)。
  • 仅通过观察人脸的视频流,心率估计模型就可以获得一个人的心率数据。

预编译的 NVIDIA TensorRT 引擎已在 NVIDIA GPUs 上进行优化。


借助 Fleet Command 进行安全管理

NVIDIA Fleet Command 是一个混合云平台,可以跨数十台到数百万台服务器或边缘设备,安全地远程部署、管理和扩展 AI。管理员无需花费数周时间规划和执行部署,只需几分钟即可将 AI 扩展到医院。管理员能够在一个控制面板中实现整个 IT 部门的相关操作,从而管理 AI 应用的生命周期、通过无线以及远程监控和访问系统更新系统软件。

了解客户如何使用该平台:


通过 GTC 会议了解更多技术细节



端到端 AI 解决方案


Clara Guardian 包含经 GPU 优化的组件,可在加速应用开发的各个阶段。

训练

  • 一系列医疗健康领域专用的预训练计算机视觉和对话式 AI 模型,适用于各种用例。
  • NVIDIA NeMo,为 ASR、NLP 和 TTS 构建对话式 AI 模型
  • TAO 工具套件,可创建零编码且高度准确的计算机视觉模型

部署

  • NVIDIA Riva 用于部署融合了视觉、语音和其他传感器数据的对话式 AI 模型
  • NVIDIA DeepStream SDK 借助传输层安全性 (TLS) 协议,提供多平台可扩展的视频分析框架,可在边缘进行部署,可连接到任意云


用户好评


“我们由 AI 助力的 IOT 平台在 NVIDIA Clara Guardian 上运行,应用于 Northwestern Medicine 等知名医院,可对成百上千人进行体温筛查,并在疫情期间辅助一线医护人员为患者提供安全护理。Clara Guardian 使边缘智能医院成为可能,帮助我们的客户将员工生产力提高 6 倍以上,在提升病患护理水平的同时,节省了数百万美元的人力成本。”

Andrew Gostine,MD、Whiteboard Coordinator 首席执行官 Andrew Gostine Whiteboard

“从一开始,我们就在 Ouva 解决方案中使用 NVIDIA GPU。借助新的解决方案,我们正努力使护士有能力实时监控数百名患者的情况。Clara Guardian 框架使我们能够立即构建可扩展且高效的解决方案,从而使我们的团队专注于提升核心竞争力,即开发能够发挥远程护理潜力的算法。”

Dogan Demir,Ouva 首席执行官 Ouva

参与抢先体验



相关资源



智能视频分析
语音和 NLP
  • NVIDIA NeMo,一个用于构建对话式 AI 模型的开源工具套件
  • NVIDIA Riva SDK用于部署融合了视觉、语音和其他传感器数据的对话式 AI 模型
边缘硬件

了解 Fleet Command 以安全管理和扩展 AI 部署。

了解详情

免责声明:Clara SDK 和示例仅用于开发目的,不得直接用于临床操作。