Painkiller RTX为小型团队如何通过集成生成式 AI,在庞大的视觉目标与有限资源之间实现平衡,树立了新的标杆。该团队将数千个传统纹理升级为高质量的基于物理的渲染 (PBR) 材质(这一过程传统上需耗时数年),显著减轻了重复性工作的负担。
这种方法对于缺乏传统改装背景的贡献者尤为有效,使他们能够专注于创意决策:优化材质,并确保游戏的标志性氛围在光线追踪照明下得到准确呈现。了解该团队如何构建制作流程,将自动化与艺术判断融合到 35 个不同级别中。
为了探究这些技术挑战背后的动机、解决方案与经验教训,我们采访了 McGillacutty(环境重建与材料主管)、Quinn Baddams(Merry Pencil Studios 团队负责人兼创始人)以及 NightRaven(PBRFusion 的创建者)。
您的专业背景是什么?目前担任什么职位?
McGillacutty: 我的背景涵盖建筑设计、技术艺术和游戏分析,专注于实时环境。目前我独立工作,将教学与技术支持服务结合,并参与 RTX Remix 项目(如 Painkiller RTX)。我的主要工作包括环境重建、材质创作,以及构建 AI 辅助的资产工作流。
Quinn Baddams: 我的职业生涯专注于构建和优化复杂系统,从商业战略与数字基础设施,到近期的计算机图形领域。我目前正深入研究计算机科学,重点方向为人工智能与机器学习,这些技术直接推动了我作为 Painkiller RTX 团队负责人及 Merry Pencil Studios 创始人的工作进展。我运用系统化思维来设计制作流程,并将生成式 AI 作为应对规模化挑战的实用解决方案加以整合。
NightRaven:我目前担任系统工程师,负责全栈自动化以及管理 VMware 和云环境等相关工作。
是什么促使您想成为 RTX Remix Modder,又是什么让您决定加入 Painkiller ?
McGillacutty:一年前,我从视觉和架构的角度开始接触 RTX Remix,尽管此前没有任何改装经验。当 Quinn 向我展示 Painkiller 中高耸的哥特式内饰时,我立刻意识到这些场景在光线追踪照明下的潜力——无论是彩色玻璃、石材、金属,还是内部空间的表现。RTX Remix 提供了通过重建材质来更新这些环境的途径,使光照效果最终得以真实呈现,这也让我毫不犹豫地投入了这个项目。
Quinn Baddams: 从早期的 Voodoo 和 TNT 等 3D 加速器显卡开始,我就一直对计算机图形和技术艺术充满兴趣。当时,实时光线追踪看起来仿佛只会在未来出现,但随着降噪技术的进步以及 NVIDIA DLSS 等技术的发展,其实现速度远超预期。
RTX Remix 自然而然地吸引了我。我一直认为基于物理性质的渲染原则令人满意,而路径追踪恰好契合这种思维方式。在尝试了几款兼容性各异的游戏后,痛苦杀手 (Painkiller)脱颖而出。它不仅拥有稳定的 Mod 支持和活跃的社区,而且在 GeForce 2 GTS 时代也是我尤为钟爱的游戏之一。
您是率先采用生成式 AI 大规模重建纹理和材质的实践者之一。您如何运用 PBRFusion 等模型,将低分辨率素材转化为高质量的 PBR 材质?
McGillacutty:由于在 35 个关卡中纹理很少重复使用,手动重建数千种材质对于一个小团队而言完全不可行。PBRFusion 成为我们工作流的核心,使我们能够以空前的规模将大量传统纹理批量转换为可用的 PBR 基准。
该模型可自动生成底色、法线、粗糙度和高度图,使我们能够在极短时间内将整个关卡导入基于物理特性的渲染环境。在缺乏传统背景支持的 Mod 开发中,这种由 AI 驱动的方法尤为关键,它有效消除了重复性工作的障碍,让我能更专注于创意层面的决策,例如优化材质表现、保留游戏的标志性氛围,以及确保所有内容都能准确响应光线追踪照明。
Quinn Baddams: PBRFusion 能够批量放大整个项目的纹理,并快速生成法线、粗糙度和高度图,这是一个不错的起点。尽管如此,令人信服的结果仍然需要针对每种材质进行单独判断。
许多表面无法从高度贴图中获得明显效果,而其他材质(尤其是金属)则需要更加精细的处理。在 Painkiller RTX 中,多数金属材质均为手工制作。玻璃、透明表面以及皮肤同样需要自定义参数与贴图,特别是用于次表面散射的效果。
主要材质通过结合多种技术获得更多关注,包括在 InstaMAT Studio 等工具中混合使用 CC0 PBR 材质、AI 辅助生成以及程序化工作流。AI 提供基础支持,但传统材质创作在确保质量与控制方面仍至关重要。
是什么让您对生成式 AI 产生兴趣,又是什么促使您微调 RTX Remix 模型?
McGillacutty: 规模是主要驱动因素。由于35个关卡中分布着数千个纹理,对于一个小团队而言,手动重建材质是不切实际的。我此前已在其他设计环境中使用生成式AI进行快速迭代与视觉探索,因此将其应用于RTX Remix成为一种自然的延伸。
通过对模型进行微调,我们能够高效处理大量风格化的传统纹理,同时保持各层级之间的一致性。AI 并非将每种素材视为孤立的问题,而是协助建立统一的材质基准,随后我们可在此基础上进行艺术化优化。
Quinn Baddams: 我的兴趣源于以生产为导向的实际好奇心。在尝试素材管线时,我注意到一个显著的技术差距:目前缺乏针对游戏开发特定挑战定制的生成式 AI 模型,尤其是从传统纹理中去除烘焙光照与阴影的问题,这正是将素材转换为 PBR 的主要障碍。
这个问题与我对人工智能和机器学习的学术关注直接重叠。RTX Remix 提供了一个真实的生产环境,使我能够通过微调模型来解决实际工作流中的瓶颈,从而弥合理论与应用之间的差距,将研究转化为切实应对 Painkiller 规模挑战的实践方案。
NightRaven: RTX Remix 是我接触生成式 AI 的起点。看到旧版游戏借助现代渲染技术重现生机,令人倍感振奋。在学习如何使用 Remix 制作 Mod 的过程中,我们很快发现,高质量的 PBR 材质是让路径追踪效果得以充分发挥的关键因素之一。
我开始使用现有的 PBR 生成工具,但对结果并不满意。尽管我在 AI 领域没有正式背景,仍决定自行构建解决方案,并将其命名为 PBRFusion。经过三次重大迭代和一千多小时的投入,最终完成了版本 3,也就是 Painkiller RTX 中所采用的版本。我的目标之一是降低 RTX Remix 的使用门槛,让更多的创作者能够更轻松地开展实验并参与创作。
为什么纹理工作流需要将 AI 生成的输出与传统手工制作的作品相结合,而非依赖单一方法?
McGillacutty:可以归结为可扩展的质量。AI 生成的输出在处理海量资产和建立跨项目的统一视觉基准方面至关重要,但无法取代艺术判断。通过手动优化阶段,我们进一步提升了画面品质,同时保留了 Painkiller 独特的角色特征。
在这里,我们重新诠释了模糊的源纹理,修正了在物理性质准确的照明下受损的材质,并做出了明确的创意决策。这种混合方法使我们能够自动化约 80% 的重复性工作,从而将精力集中于决定项目品质与愿景的 20% 关键任务。
Quinn Baddams: AI 生成的粗糙度、法线和高度贴图虽然提供了一个有力的起点,但通常需要进一步调整才能实现物理上准确的效果。正确的数值可能极为具体,许多材质需依据真实的 PBR 参考进行手动调节或自定义绘制。
Painkiller 仍严重依赖纹理图集,而当单个纹理包含多个不相关的表面时,这种图集可能使 AI 模型产生混淆。通过将 AI 自动化与手工制作相结合,我们能够消除大部分重复性的繁琐工作,同时精确掌控艺术意图与物理准确性。
NightRaven: PBRFusion 始终旨在成为一种工具,而非材质创作的直接替代品。我很高兴 Painkiller 团队采用这种方式——利用该工具加速工作流程,而非将其视为依赖的拐杖。
由于该模型并非完全准确,特别是在粗糙度生成方面,因此可能出现错误。人工验证与调整对于确保材质在基于物理性质和路径追踪的光照下正确表现至关重要。
在集成 AI 生成的内容时,您如何在超过 35 个层级中保持风格与质量标准的一致性?
McGillacutty:要实现如此规模的一致性,必须尽早定义约束条件,并将 AI 输出视为基准系统,而非孤立的单个资产。PBRFusion 在大型材质集上实现了内容一致的超分辨率,生成连贯统一的结果,有助于为项目建立共享的视觉语言。
我们通过引擎内截取定期在上下文中评估材质,并进行迭代,使AI生成的材质与手工制作的英雄素材均符合统一的风格与质量标准。
Quinn Baddams: 我们很早就制定了少量核心准则。小纹理或远距离纹理不会被不必要地升级,高度贴图仅用于较大的平面,而粗糙度贴图被视为影响材质感知质量的主要因素。
我们参考了现实世界的 PBR 材质来验证粗糙度值,并密切关注反射率图在基于物理属性的工作流程中的表现。在实践中,一致性主要通过观察和调整粗糙度贴图来实现,以确保材质在光照下的表现符合预期。
材质和纹理现在对光线的反应更加真实自然。您是如何重新构思材质、纹理与照明的工作流程,以在众多环境中实现这一效果的?
McGillacutty:在《Painkiller》中引入基于物理特性的光照,意味着必须重新思考材质与光线之间的整体关系。游戏环境是抽象且超凡脱俗的,以强烈的对比效果为核心设计,而非追求真实感,因此仅仅加入写实的光照效果是远远不够的。
我们首先从原始纹理中分离出烘焙的照明信息,再通过材质定义(利用污渍、表面变化以及符合物理规律的粗糙度数值)有意识地重建对比度。这样一来,画面便能通过与光线的正确交互自然呈现,而非通过手动绘制阴影来实现。<!–
“Painkiller RTX 中的所有照明均在场景层面进行了手动调整,使我们能够在每个环境中精心塑造氛围与构图,同时依然保留游戏的标志性风格。”
Quinn Baddams:我们采用了迭代方法,很早就意识到,仅通过调整纹理亮度无法修正错误的光照响应。原版游戏严重依赖烘焙阴影,这增强了对比度,但在 PBR 工作流中已不再适用。
移除烘焙光照后,我们通过调整粗糙度、增强法线贴图以及实现可控的自阴影,重新引入了画面的对比度。同时,统一各场景中符合物理规律的光照数值,对于达成一致且可信的视觉效果也至关重要。
全景路径追踪、体积光照与先进技术在《Painkiller RTX》中协同运作。您是如何整合这些系统以塑造游戏视觉效果的?每个系统分别带来了哪些传统渲染技术无法实现的贡献?
McGillacutty: 全场景路径追踪和体积照明从根本上改变了材质的行为方式,这意味着材质开发必须在包含照明的对齐环境中进行。尽管照明和体积测量由团队负责人负责处理,但我的职责是确保这些系统部署完成后,材质能够正确响应。
路径追踪所呈现的粗糙度、反射率和湿度等属性,远比传统渲染更加清晰明确。在有雨或雾的区域,我调整了材质,添加了水坑和表面波纹,使它们能够与体积光和动态光线进行真实可信的交互。
RTX 皮肤就是一个很好的例子,特别是在人物和半透明表面(如弹珠)上。对于修女或实验鱼等材质,RTX Skin 能够让光线真正地散射到表面之下。你可以在皮肤或胶状的组织中观察到这种次表面散射现象,它呈现出一种简单的表面高光无法达到的深度感。
RTX 皮肤是一款非常实用的工具。它让我能够使这些角色融入我们正在构建的光线追踪世界,成为具有真实物理感的组成部分。尤其令人受益的是,一款 2004 年的游戏竟能发生如此巨大的变化。
Quinn Baddams: 全场景路径追踪从根本上改变了照明与材质的交互方式,揭示了传统渲染中隐藏的不准确之处。体积照明增强了深度与氛围,特别是在大型内部空间中表现显著。尽管传统技术能够近似呈现这些效果,路径追踪结合体积计算却能让光线在整个场景中实现更一致的传播。
RTX 皮肤是使这一切协同工作的重要组成部分。在重建经典游戏的项目中,它解决了两个关键问题。首先,它使我们能够充分发挥低细节角色模型的潜力。尽管网格几何结构保持不变,但 RTX 皮肤让模型看上去更加精细。这种视觉提升主要得益于通过 PBRFusion 生成的法线贴图,而 RTX 皮肤本身还能柔化锐利边缘,使低多边形几何体显得更密集,锯齿感更少。
其次,更为重要的是,它首次在实时工作流中实现了对次表面散射的真正艺术化控制。您可以精确设定光线在表面的散射程度以及颜色的变化方式。我们已在恶魔 Alastor 的翅膀上应用了这一效果,因为 RTX 皮肤仅能呈现内部静脉,而这种视觉表现此前被认为无法实现。
据我所知,这种级别的光线追踪次表面散射此前从未以实用的实时方式提供给游戏开发者,仅限于离线渲染。如今通过 RTX Skin 实现这一功能,不仅是一次重大的技术突破,更让实际使用过程变得极为愉悦。我们才刚刚触及未来可能呈现的冰山一角而已。
对于 Painkiller RTX 启发并希望实现类似视觉效果的开发者,您建议优先尝试哪些功能或工作流程?
McGillacutty:我建议从一个简单而专注的艺术目标着手。不必尝试复刻整个关卡,而是捕捉一个标志性的场景,并聚焦于几种关键材质与光照之间的关系。
使用 RTX Remix 工具包将原始纹理替换为基本的 PBR 材质,再通过路径追踪与照明工具进行迭代。在理解材质与光线之间的核心交互后,可引入 PBRFusion 等 AI 工具。如此一来,AI 能成为快速迭代的引擎,支持在同一场景中测试多种视觉假设。<!–
Quinn Baddams:从 RTX Remix 工具包本身入手,捕捉场景,应用基础材质,并尝试照明与路径追踪,以了解它们之间的相互作用。
RTX Remix 社区也是一个重要资源,提供共享工具、脚本和积极支持。关键在于自由尝试——动手迭代是为这些工作流程建立直觉的最快途径。
您认为生成式 AI 会如何改变 Mod 与游戏开发?又期待未来使用哪些相关工具?
McGillacutty:作为改装新手,我观察到的最大转变是可访问性的提升。生成式 AI 能显著减少试验、迭代以及交付有意义成果所需的时间与技术成本。这将为来自更广泛背景的创作者提供开发机会。
对于我的下一个项目,我期待采用更先进的材质与几何工具,以及由人工智能辅助的工作流脚本。
Quinn Baddams:生成式 AI 代表了一种范式转变,即从记忆系统转向依托理解系统的支持层进行创作。AI 既是导师,也是解决问题的合作伙伴。
我尤其感兴趣的是 AI 辅助资产清理的进一步发展,以及利用检索增强生成技术来处理缺乏文档的传统代码库。
NightRaven:我即将完成下一版 PBRFusion,期待能为改装社区带来显著助益。
加入我们的 GDC
与我们一起参加 GDC,探索 NVIDIA RTX 神经网络渲染与 AI 如何塑造全新的游戏时代。NVIDIA 开发者与性能技术副总裁 John Spitzer 将揭晓路径追踪及生成式 AI 工作流的前沿创新成果,带您前瞻游戏开发的未来。
然后,与 NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 共同参与互动式“Ask Me Anything”会议,深入了解 AI 领域的前沿趋势。除了为期两天的额外会议外,这些活动还为技术提供了前沿视角,助力实现全新的玩家体验。
面向游戏开发者的资源
单击此处查看游戏开发者资源的完整列表,并关注我们,及时获取最新的 NVIDIA 游戏开发资讯:
- 加入 NVIDIA 开发者计划(面向游戏行业)