隆重推出适用于放射科医生思维链推理的 NV-Reason-CT Open 3D CT VLM

放射学 AI 在检测胸部 X 光片、病理学切片和 2D 扫描的异常方面取得了显著进展。然而，3D 计算机断层扫描 (CT) 是临床上最丰富、数据最密集的模态之一，但现代视觉语言模型 (VLM)在很大程度上仍无法为其提供服务。前沿通用模型在体积成像方面表现不佳，而且大多数开放的医学 AI 模型缺乏放射科医生所需的多步骤对话深度，无法信任和验证 AI 生成的结果。

NVIDIA 正在通过 NV-Reason-CT (一种专为 3D CT 分析而构建的 VLM) 弥补这一差距。NV-Reason-CT 将思维链推理扩展到全体积 CT，生成结构化诊断报告，模拟放射科医生的内部思维，并支持胸部和腹部的多步骤后续对话。它基于 NV-Reason-CXR 开创的推理方法，该方法在 RSNA 2026 接受的多读者临床研究中得到验证，确认放射科医生在保持诊断准确性的同时节省了时间。

NV-Reason-CT 是一个开放的研发基础，而不是自主诊断系统或已获批的临床产品。这是一个 AI 基础模型，专为构建专用 CT 分析应用的研究人员和开发者而设计，以便对其用例进行后训练。

为什么 3D CT 推理需要不同的方法

单次腹部 CT 研究可包含 300 至 600 个轴向切片，在标准 2D 编码器无法从独立切片重建的三个空间维度上对解剖上下文进行编码。

这种体积复杂性给医学 AI 带来了一系列与感知、推理和对话深度相关的复合挑战：

• 感知：标准 VLM 将图像输入视为 2D 标记网格。将 CT 体处理为独立的 2D 帧堆栈时，会弃切片之间的空间关系，这些切片定义了质量、积液和渗透液等结构，而这些结构的形状、范围和密度仅在三个维度上具有临床意义。
• 推理：即使是能够正确感知异常情况的模型，也经常会在不说明原因的情况下输出诊断标签。放射科医生不考虑标签，而是考虑系统的解剖检查、鉴别诊断和置信度。无法重现推理过程的 AI 无法被审计、教授或安全地集成到临床工作流程中。
• 对话深度：放射科医生在查看可疑发现时，乍一看并不会立案。他们会提出后续问题，重新思考差异，并关联跨解剖区域的发现。大多数现有模型缺乏多轮对话能力来支持这种迭代临床推理。

为 CT 分析提供完整的 3D 推理

NV-Reason-CT 将专用的全 3D 视觉 Transformer (ViT) 编码器与经过训练的语言模型相结合，以生成反映放射科医生系统分析 CT 体积的思维链推理。

与通过单独处理切片来使 2D 编码器适应 CT 的方法不同，NV-Reason-CT 将 CT 体积处理为真正的 3D 输入。这保留了直通面的解剖连续性，并使模型能够像放射科医生滚动研究时那样，对结构进行整体推理。

核心模型功能包括：

• 结构化报告生成：NV-Reason-CT 可生成详细的结构化报告。NVIDIA 团队整理了一个 CT 本体，涵盖 30 种胸部异常和 29 种腹部异常，以指导和评估模型(例如肺结节、气胸、肝脏损害、肾囊肿等)，其格式可自然地映射到临床文档工作流程。
• 放射科医生模拟思维链：NV-Reason-CT 还可以生成模拟放射科医生思维链的推理。该模型以经验丰富的放射科医生通过研究工作的方式，产生逐步的内部思考，即系统检查解剖区域、呈现相关发现、考虑差分诊断并阐明不确定性。
• 多步骤对话式随访：临床医生和研究人员可以就具体发现提出后续问题，请求对鉴别诊断作出澄清，或在任何阶段探索模型的推理。这种多圈功能将 NV-Reason-CT 从报告生成器转变为交互式诊断合作伙伴。
• 完整的 3D ViT 编码器：专用的 3D 视觉编码器可原生处理 CT 体积，提取基于 2D 的方法无法恢复的体积特征。此外，3D 视觉标记网格坐标通过 3D MRoPE 传递给 LLM，以解释整个 LLM 层中的空间标记间关系。这种架构选择使模型能够对空间范围、横截面形态和切片间关系进行推理，这些是准确 CT 解释的感知基础。

NV-Reason-CT 架构如何专为体积推理而构建？

该模型架构将 Qwen3.5-4B LLM 与 3D ViT (Primus/ Colipri) 相结合。通过结构化报告、推理追踪、多步骤 VQA (内部设计) ，对大型计算集群或 CT 数据端到端重新训练所有权重。基于 Transformer 的标准 VLM 专为 2D 图像而设计。通过将体积扁平化为 2D 切片序列来调整这些切片以适应 CT，将失去定义体积病理学的空间结构。

编码器架构改编自 Primus 3D ViT，在训练前使用 Colipri 权重进行初始化；它处理以 2 毫米各向异性分辨率重新采样到 192+ 体素的 CT 体，使用不重叠的 8x8x8 补丁标记，生成 24x24x24 × 13824 视觉标记上下文。所有视觉 token 都会传递给 LLM (及其 3D 网格坐标) ，而不是合并 (或缩小) 。LLM 包含 3D MRoPE，用于解释视觉 token 的 3D 空间关系。

语言模型组件经过训练，以放射科医生的风格进行推理：系统审查解剖区域，注意正常发现和异常发现，表达经过校准的不确定性，并得出结构化结论。该模型的目的不是作为分类器做出响应，而是作为教师做出响应：解释问题、浏览证据，并通过可见的逻辑步骤做出诊断。

什么是 NV-Reason-CT 训练方法？

基于 NV-Reason-CXR 引入的方法，NV-Reason-CT 遵循两个阶段的训练流程：监督式微调和强化学习 (RL) 。

第 1 阶段：监督对放射科医生推理数据的微调

初始阶段基于混合数据训练模型，包括结构化报告、放射科专家推理注释和通用 VQA。放射科医生为 CT 研究提供了详细的思维链听写，这些听写记录了他们的内部审查过程，包括他们在每个解剖区域检查的内容、他们认为重要的发现、他们衡量的差异，以及他们如何在最终评估中得出结果。

由此产生的课程涵盖胸部和腹部区域的约 55 万个结构化问答示例，涵盖剖面解剖学问答、横向和局部发现问答、严重程度问答和二进制异常识别。其中包括无效提示和不匹配的图像 – 文本对的拒绝示例，以提高鲁棒性。

训练数据包括 CT-RATE、NIH CT 数据集和 CancerVerse。此数据集由从大语言模型中提炼出来的高质量合成推理数据加以补充，并以放射科专家注释作为基础示例。合并后的数据集可为模型提供丰富的信号，以便了解各种 CT 发现的结构化放射推理效果。

第 2 阶段：提高推理质量的 RL

第二阶段使用组相对策略优化 (GRPO) 来优化推理质量。基于已识别异常和诊断准确性的奖励函数可指导模型生成不仅结构良好而且在临床上正确的推理。GRPO 奖励具有解剖学感知能力。该模型在每个解剖区域内的准确性得到了增强，而不是使用单个全局信号，这改善了整个胸部 – 腹部结果分布的校准。

这种两阶段方法 (先学习推理模式，然后增强正确性) 允许 NV-Reason-CT 在各种 CT 演示中泛化，而无需为完整的训练分布提供经过全面标注的推理链。

基准测试结果

NV-Reason-CT 在用于 3D CT 理解的领先公共基准测试中取得了最先进的结果。

在 3D CT 理解的主要公开基准 CT-RATE 上，NV-Reason-CT 的表现优于所有已发布的基准，包括 3D 对比模型 ( VoxelFM、Pillar-0、CT-CLIP、Merlin) 、融合的 2D/ 3D MLLM (ClinFusion-8B) 和基于切片的前沿模型 (MedGemma 1.5) 。这是单个开放模型首次同时实现具有竞争力的 CT 分类和报告生成。

除了基准性能外，NV-Reason-CT 还得到了美国国立卫生研究院 (NIH) 放射科医师的好评，他们验证了结构化报告的质量和思维链推理痕迹的临床合理性。

美国国立卫生研究院高级临床医生 Baris Turkbey，M.D.，F.S.A.R. 表示：“NV-Reason-CT 提供了一种系统的、逐步的推理，它反映了我们通过 CT 研究的实际思考方式。“能够回顾模型的思考过程，而不仅仅是其结论，这让我们可以信任模型的发现并根据其结果采取行动。”

临床验证和实际影响

NV-Reason-CT 的价值不仅限于基准测试分数。放射科医生和临床研究人员在审查了该模型的输出后，始终强调该模型有别于早期 CT AI 系统的两种功能：

• 节省结构化报告的时间：生成详细的结构化报告 (涵盖 60% 的异常情况) 非常耗时，即使对于经验丰富的放射科医生也是如此。NV-Reason-CT 可在数秒内生成此输出，临床医生可以快速扫描、验证和修改推理结果，从而减少常规报告的认知负载，同时保留放射科医生的监督。
• 支持审核的可解释性：传统医疗 AI 模型会输出标签或分数。NV-Reason-CT 输出推理结果。这使得模型的结论能够以黑盒系统所不具备的方式进行审计：放射科医生可以阅读思维链，确定模型的推理与自己的推理一致的位置，并标记其分离的位置。这是临床采用所需的透明度。

NV-Reason-CT 如何帮助研究和医疗 AI？

NV-Reason-CT 旨在为更广泛的医学 AI 社区奠定基础。

研究人员可以使用模型检查点和后训练方法来研究医学影像中的思维链推理，微调特定机构的 CT 数据集，或将 NV-Reason-CT 集成到多模态研究流程中。分割和 SDG 的互补模型包括 NV-Generate-CTMR 和 NV-Segment-CTMR。

包括放射学工作流程供应商、PACS 开发者和临床决策支持平台在内的医疗 AI 公司可以针对特定临床应用调整 NV-Reason-CT。这使得结构化 CT 推理能够集成到现有的放射学审查工作流程中。Aidoc、HOPPR、Rad AI、Mosaic Clinical Technologies 和 Raidium 等公司的运营空间均采用了开放式对话式 3D CT 模型，能够解决真正的能力差距问题。

NV-Reason-CT 运行和输出示例

以下示例加载 NV-Reason-CT 并对 3D CT 体积运行推理传递。检查点可从 Hugging Face 获取。GitHub 资源库包括推理脚本、训练配置和后训练方法。

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

model_name = "nvidia/NV-Reason-CT" 

model = AutoModelForImageTextToText.from_pretrained(
    model_name, 
    trust_remote_code=True,
    attn_implementation="sdpa",
    torch_dtype=torch.float16,
).eval().to("cuda")


processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "full chest CT reasoning analysis"}
        ]
    }
]

# Create prompt using chat template

text = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=False,
    enable_thinking=True
)

# Process inputs

inputs = processor(
    text=prompt,
    images3d=["chest_ct.nii.gz"],
    anatomy_region="chest",
    return_tensors="pt",
).to(model.device)

# Generate chain-of-thought reasoning and structured report

with torch.inference_mode():
    generated_ids = model.generate(
        **inputs,
        max_new_tokens=4096,
        do_sample=False,
        use_cache=True,
    )

# Decode

new_tokens = generated_ids[:, inputs.input_ids.shape[1]:]
response = processor.batch_decode(
    new_tokens,
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False,
)[0]

print(response)

输出摘要

<think> I will review the CT volume systematically, use the valid technique context, 
identify the key imaging findings, and then provide the final labels. </think>

We are going to review this IV contrast-enhanced CT of the chest in a systematic way. 
First, one important technical and support-device detail: there is a left-sided port catheter, 
and the catheter tip terminates in the superior vena cava, which is an expected central venous position.

I will begin with the lungs and airways. The central airways are patent, so there is no major tracheal 
or main bronchial occlusion. However, when we come down into the right lung, the right lower lobe 
is the dominant abnormality. There is a large mass-like process in the right lower lobe, and it is associated 
with partial collapse of the right lower lobe. This is a meaningful finding because a mass with postobstructive 
or associated volume loss is concerning for a malignant process.

There is also an additional mass-like lesion in the right lower lobe [...].

So overall, the dominant thoracic finding is a large right lower lobe mass-associated partial collapse, 
with additional right lower lobe mass-like disease and bulky mediastinal and right hilar adenopathy. 
The pattern is concerning for thoracic malignancy with nodal involvement. There are also scattered bilateral 
ground-glass opacities that remain nonspecific and could be inflammatory, infectious, or neoplastic. 
In addition, there is lytic lower thoracic spine disease with moderate spinal stenosis and a few indeterminate 
right rib sclerotic lesions.

NV-Reason-CT 如何融入 NVIDIA 医疗 AI 生态系统

NV-Reason-CT 是 NVIDIA 医疗 AI 系列开放医疗 AI 模型的一部分，旨在整个放射学流程中协同工作：

• NV-Generate-CTMR：合成逼真的 3D CT 和 MRI 体积，用于训练数据增强和研究
• NV-Segment-CTMR：从 3D CT 和 MR 容积中自动分割器官和病灶
• NV-Reason-CXR：用于胸部 X 光片分析的思维链推理
• NV-Reason-CT：用于完整 3D CT 分析的思维链推理

从合成数据生成到分割，再到透明的对话式临床推理，这些模型共同为端到端放射学 AI 流程提供了基础模组。

探索 NVIDIA 医疗 AI 生态系统，了解详情。

开始使用 NV-Reason-CT 进行放射科医师思维链推理

NV-Reason-CT 将思维链推理引入医学中信息最密集的模式之一。通过将专用的完整 3D ViT 编码器与经过推理训练的语言模型相结合，该系统可生成结构化诊断报告和 CT 体积的放射科医生式分步思考，并通过多圈对话支持涵盖胸部和腹部检查结果。

准备好开始了吗？该模型现已开放供研究和开发使用。无论您是在探索模型的推理能力、微调自己的 CT 数据集，还是将其集成到临床 AI 工作流中，都可以从以下方面入手： 

• 使用 Web 演示对 CT 体积运行推理
• 从 Hugging Face 下载权重和配置
• 在 NVIDIA-Medtech/ NV-Reason-CT GitHub 资源库中浏览训练方法、推理脚本和后训练代码
• 阅读研究论文《 NV-Reason-CT：用于 CT 分析的 3D 视觉语言模型》

请订阅NVIDIA 新闻，并在LinkedIn、X和YouTube上关注 NVIDIA 医疗健康，及时了解最新信息。