NVIDIA NGX 是由深度学习提供支持的新型技术堆栈,它将基于 AI 的功能直接引入应用,从而加速并增强了图形、照片、图像和视频的处理。NVIDIA NGX 功能利用 Tensor Core 更大限度提升其运行效率,并需使用支持 RTX 的 GPU。借助 NGX SDK,开发者可以通过预训练网络,轻松将 AI 功能集成到其应用中。


下载 SDK

以下示例说明了如何使用深度学习和 NGX 更好地为游戏玩家和内容创作者提升性能和图像质量,从而发挥创造力。

AI InPainting

    InPainting 支持从图像中删除现有内容,并使用 NGX 算法将删除的内容替换为计算机生成的逼真的替代内容。例如,可使用 InPainting 自动从景观图像中删除电源线,并无缝替换为现有的天空背景。


    详细信息

    尽管当前存在内容感知替换方法,但这些解决方案利用了更基本的方法来替换图像数据。传统的内容感知填充算法会搜索图像,基于颜色数据相似性找到与待替换区域最匹配的其他图像区域。由于替换的数据是图像中已有的数据副本,因此若算法认为内容提供了最佳匹配,匹配流程即会将所复制数据中存在的语义上毫无意义的数据引入到替换中。

    InPainting 则会通过截然不同的方法来替换图像中的内容。InPainting 基于一个深度学习模型,该模型已通过大型图像数据集进行了训练。基于训练和深度学习的算法支持 InPainting 生成原始图像中可能不存在的新内容。此方法有助于将所包含的多余图像信息量降至最低,从而产生视觉上更有意义的替换结果。

上图:白色区域以智能方式填充。


AI Slow-Mo

AI Slow-Mo 将插补帧插入视频流,以提供顺畅的慢动作视频。该应用分析帧的特性和物体,识别物体和镜头移动,从而在现有的视频帧之间创建新的视频帧。




AI Up-Res

AI Up-Res 可将图像或视频的分辨率增加 2 倍、4 倍或 8 倍。与将现有像素拉伸并在像素之间进行过滤的传统方法不同,AI Up-Res 通过解释图像并以智能的方式放置数据来创建新的像素。此举能够进一步强化放大效果,合理保留场景深度和其他艺术内容。


上图:Up-Res 可提供比双三次过滤更高的图像清晰度。


NGX 架构

  • NGX 软件:通过使用 NGX SDK,RTX 功能可集成到任何游戏、应用或插件中。这是适用于 AI 加速功能的主代码,但也需要经过训练的神经网络才能运行。NGX 采用精简型设计,是一个指向 NVIDIA 驱动中 DLL 的报文头文件,以便用户轻松地使用这些 RTX 功能来增强任何应用。NGX SDK 为游戏、数字内容创作和编辑应用提供对众多 RTX 技术和功能的访问权限。NGX 的功能与 NVIDIA 驱动和硬件紧密耦合,并利用支持 RTX 的 GPU 中的 Tensor Core。

  • NGX 功能:驱动下载中包含经过训练的深度神经网络 (DNN)。随着这些神经网络变得越来越准确和强大,这些不断更新的神经网络可以随时间推移提升这些特征的性能和功能。

如果您想试用 NGX SDK,请单击下方按钮,提交加入我们抢先体验计划的请求:

加入抢先体验计划