模拟/建模/设计

在车端算力与延时限制下运行辅助驾驶推理模型

辅助驾驶汽车(AV)开发者需要能在车端算力与延时限制下运行的推理模型。规模更大的模型能奠定推理能力的基础,但部署到车端还需要额外工作,包括缩小模型规模、保留有用的推理能力,以及在目标硬件上验证性能。

NVIDIA Alpamayo 2 Edge 是一款具备自适应推理能力的视觉-语言-动作(VLA)模型,专为在 NVIDIA DRIVE AGX Thor 上实时运行而设计,旨在满足上述需求。该模型以 NVIDIA Cosmos 3 Edge 中基于 Nemotron 的 20 亿参数推理骨干网络为基础,并搭配扩散动作专家模型。通过环视摄像头观测、时序上下文和导航输入,生成因果链(CoC)推理结果及未来行驶轨迹。模型具备自适应推理能力,仅在必要时生成推理内容,从而减少不必要的 Token 生成,并在常规驾驶过程中节省推理算力。

Alpamayo 2 Edge 在 NVIDIA AlpaGym 中经过闭环强化学习(RL)后训练,闭环驾驶性能在非闭环强化学习的最佳性能 checkpoint 基础上提升了 48.9%。这些能力共同为开发者提供了可直接用于车端的强大基础,使基于推理的驾驶能力集成到车端技术栈。

让推理模型缩减到适合车端部署的体量,会带来一个关键挑战:在缩小模型规模的同时,保留推理质量和驾驶行为表现。这需要一种衡量推理质量,并利用反馈改进模型的方法。NVIDIA AlpaJudge 是 Alpamayo 2 Edge 开发过程中采用的、经人工校准的评估与奖励模型,可用于评估推理轨迹、筛选更高价值的训练数据,并为强化学习提供奖励。

本文将介绍 Alpamayo 2 Edge,讲解其在 DRIVE AGX Thor 上的推理优化,并探讨在辅助驾驶开发工作流中使用 AlpaJudge 的三种方式:

  • 在 PhysicalAI-AV 样本上运行 AlpaJudge-RB 和 AlpaJudge-RF,查看评分,并将评估方法调整为适用于策略模型生成的推理内容
  • 筛选能够带来有效学习机会的训练样本
  • 将与人工评估标准对齐的推理评分用作后训练奖励

这些工作流将面向车端的驾驶模型与一套可重复的评估和改进流程连接起来。

将基于推理的驾驶能力部署到车端

车端驾驶模型必须能够理解不断变化的场景,并在系统的推理预算内生成有用的行驶轨迹。关键问题在于:在这一限制条件下,模型能够保留多少驾驶与推理能力。

为了平衡模型能力与效率,Alpamayo 2 Edge 采用了多项新特性:

  • 采用基于 Nemotron 的 20 亿参数推理骨干网络,模型规模适合车端推理
  • 具备自适应推理能力,可减少不必要的 Token 生成,并在日常驾驶过程中节省推理算力
  • 采用离线蒸馏,使用 Alpamayo 2 Super 生成的因果链推理自动标注数据进行训练
  • 在 AlpaGym 中进行闭环强化学习后训练,使模型能够在仿真环境中端到端地从自身动作所产生的结果中学习
  • 采用多分辨率输入,高效编码在线环视观测数据
  • 采用 DFlash2 进行推测解码,在不牺牲质量的前提下加速在线推理
  • 提供使用 NVIDIA TensorRT 和 NVIDIA TensorRT-Edge-LLM 进行量化和推理加速的方法

早期合作伙伴的反馈也凸显了 Alpamayo 2 Edge 在驾驶性能和推理速度方面的优势:

“在获得 Alpamayo 2 Edge 的早期访问权限后的几天内,我们就让它在伦敦街道录像(通过 NuRec 重建)中实现了闭环运行。早期仿真测试显示,Edge 保持车道的成功次数超过 Alpamayo 1.5 的两倍,从车道偏移中恢复的频率提高了约 40%;在相同 GPU 上,其开箱即用的规划速度约为手动调优过的 Alpamayo 1.5 服务的两倍。”——Matas Simonavicius,PORT 首席技术官

“Alpamayo 2 Edge 展现了出色的泛化能力,尽管传感器配置存在显著差异。在我们的零样本评估中,Alpamayo 2 Edge 与 Alpamayo 2 Super 相比,位移误差(minADE)降低了 13.6%,3 秒时的横向预测误差(RMSE)降低了 46.1%。在使用我们自己的驾驶数据进行微调后,与 Alpamayo 2 Edge 基线相比,位移误差进一步降低了 44.2%。仅用几天时间,我们就从收到模型到在真实车辆上完成首次测试。”——Luca Crotti,Niulinx 联合创始人兼运动规划负责人

视频 1. Niulinx 的驾驶演示展示了车辆如何响应交通警察的指挥手势停车,并在斑马线前礼让行人

“不到 48 小时,我们就让 NVIDIA Alpamayo 2 Edge 在 AGX Thor 上以 10 Hz 的频率运行,实现实时规划。”——Hans Salomonsson,Embedl 联合创始人兼首席执行官

视频 2. Alpamayo 2 Edge 在 PyTorch 与 Embedl 优化版本下的并排对比,展示两者在规划速度、延时和推理输出方面的差异

Alpamayo 2 Edge 资源库中的推理脚本展示了模型的运行方式:模型接收一段时间内的环视摄像头观测数据、导航文本和自车运动历史,并生成因果链推理轨迹及未来行驶轨迹。

import torch
import transformers

from alpamayo2_edge.checkpoint import load_model
from alpamayo2_edge.load_physical_aiavdataset import load_physical_aiavdataset
from alpamayo2_edge.helper import prepare_model_inputs, to_device
from alpamayo2_edge.models.utils import fuse_traj_tokens

data = load_physical_aiavdataset(**clip)
model, loading_info = load_model("nvidia/Alpamayo2-Edge")

settings = dict(
    seed=43,
    top_p=0.98,
    top_k=None,
    temperature=0.6,
    num_traj_sets=1,
    num_traj_samples=1,
    max_generation_length=256,
    diffusion_kwargs={"inference_step": 10},
)

prepared = prepare_model_inputs(data, model.config, model.tokenizer)
prepared = to_device(prepared, device="cuda")

"""Seed text and diffusion sampling, then run the model on prepared inputs."""
torch.manual_seed(settings["seed"])
generator = torch.Generator(device="cuda").manual_seed(settings["seed"])
with (
    torch.inference_mode(),
    torch.autocast(
        device_type=torch.device("cuda").type,
        dtype=model.dtype,
        enabled=model.dtype != torch.float32,
    ),
):
    xyz, rot, _, extra = model.sample_trajectories_from_data(
        prepared,
        num_traj_sets=settings["num_traj_sets"],
        num_traj_samples=settings["num_traj_samples"],
        top_p=settings["top_p"],
        top_k=settings["top_k"],
        temperature=settings["temperature"],
        max_generation_length=settings["max_generation_length"],
        diffusion_kwargs={**settings["diffusion_kwargs"], "generator": generator},
        return_extra=True,
    )

特别需要注意的是,模型有时会输出特殊的 <NOMINAL> Token,而不是推理轨迹,这表明当前处于常规驾驶状态,从而节省推理算力。

在部署过程中保持模型质量

从 Hugging Face 下载模型时,Alpamayo 2 Edge 的权重默认采用 BF16 格式,可直接作为 PyTorch 模型在任何受支持的 NVIDIA GPU 上运行。不过,要在 DRIVE AGX Thor 上实现实时运行,还需要进一步对 Alpamayo 2 Edge 进行推理优化。

Alpamayo Developer Hub 提供了 DRIVE AGX Thor 部署工作流的方法:准备 Alpamayo 2 Edge checkpoint 和 DFlash2 草稿模型,标定 FP8 缩放因子,导出 ONNX 图,使用 TensorRT Edge-LLM 插件构建 TensorRT 引擎,并运行 Python 推理脚本。该方法的参考配置在 DRIVE AGX Thor-X 上测得,环境为 DRIVE OS 7.2.7.0、CUDA 13.4 和 TensorRT 11.3.1.9。

按照 Alpamayo 2 Edge 部署方法准备好模型、评估输入和引擎后,使用以下命令运行该软件包:

python -m alpamayo2edge_edgellm.runtime.run \
  --engines "$WORK/engines" \
  --model "$MODEL" \
  --reference "$INPUTS" \
  --dflash2 \
  --rolling \
  --warmup 1 \
  --repeat 5 \
  --output "$WORK/results.json"

该方法记录了模型导出、构建、校准来源、主板要求以及各阶段的测量结果,以便开发者在自己的 DRIVE AGX Thor 配置上复现延时测试和配对质量检查。作为参考,优化后模型的像素到轨迹推理延时为 160 毫秒至 190 毫秒,具体取决于推理内容的多少。该方法检查还会将优化模型的输出与 BF16 PyTorch 参考模型进行比较,两者使用完全相同的输入和固定动作噪声。

使用 AlpaJudge 评估推理能力

轨迹指标能够描述模型如何规划或驾驶。推理评估则增加了另一个维度:模型的解释是否识别出了相关场景上下文,以及是否能够为其所描述的决策提供合理依据。AlpaJudge 为 Alpamayo 2 Edge 及此前模型的开发提供了经人工校准的评判模型。以下工作流将介绍如何开展这类评估,并利用评估结果改进模型。

根据可用输入选择评判模型

AlpaJudge 提供两种 checkpoint 版本。开发者应根据待评估样本所具备的依据,选择相应版本。

版本 所需输入 返回的评估结果
AlpaJudge-RB,基于参考答案 问题、参考答案和候选答案;无需图像 一个取值范围为 [0, 1] 的对齐概率
AlpaJudge-RF,无参考答案 三帧前向广角画面和三帧前向长焦画面、自车元动作(Meta-Action)历史与未来信息,以及候选推理文本 五项评估标准对应的概率,以及动作、组成部分和总体评分

表 1. AlpaJudge 的不同版本使用不同依据评估候选推理文本

RB 衡量的是候选内容与所提供参考答案的一致程度,而不是独立检查场景本身。RF 无需参考推理文本,但需要同步的视觉依据,以及格式化的元动作上下文。

工作流 1:在 PhysicalAI-AV 样本上运行 AlpaJudge

Notebook 示例提供了一个良好的起点,可视化与 PhysicalAI-AV 样本相关的数据、元动作上下文、候选推理文本和参考推理文本。随后,可以使用策略模型生成的因果链推理轨迹对同一条记录重新评分。请在输出中保留片段 ID、时间戳、摄像头名称和动作上下文,以便在评分较低时追溯对应场景。

在开环评估中,可以将候选解释和轨迹与记录的标注数据进行比较。在闭环评估中,则可以根据每次决策时来自该次推演的观测数据和动作上下文,对相应解释进行评分。较高的推理评分表明推理文本符合评判模型的评估标准;而碰撞、驶离道路、近距离遭遇以及轨迹等指标,则反映驾驶行为的不同方面。应结合这些指标进行综合报告。

步骤 1:配置软件包并打开 Notebook

在 AlpaJudge 资源库根目录下,安装锁定版本的运行环境,完成模型和 PhysicalAI-AV 数据集的身份验证,然后打开示例 Notebook:

uv sync --locked --dev
hf auth login
uv run jupyter lab examples/alpajudge_pai.ipynb

该 Notebook 使用的片段 ID 为 030c760c-ae38-49aa-9ad8-f5650a545d26,对应时间点为 5.1 秒。它会解码前视广角和前视长焦镜头在 −1.0 秒、−0.5 秒和 0.0 秒时的画面,并按照从早到晚的顺序排列。示例中的推理文本和元动作字符串均为手动编写,摄像头画面则由数据集提供。如果要使用其他时间点的数据,请同时替换所有文本字段。

步骤 2:下载两个评判模型 checkpoints

Notebook 只需下载一次 nvidia/alpajudge,随后选择其中的 reference-based/ 和 reference-free/ 子文件夹。这两个文件夹对应独立的 checkpoint,需要使用各自的加载器。Notebook 中的快照下载调用会将范围限定为这两个文件夹;为确保运行结果可复现,请将 ALPAJUDGE_MODEL_REVISION 设置为不可变的版本标识。加载模型需要使用 CUDA GPU,且在计算激活值之前,模型权重就约占用 5 GB 显存。

checkpoint_root = snapshot_download(
    repo_id="nvidia/alpajudge",
    revision=MODEL_REVISION,
    allow_patterns=["reference-based/*", "reference-free/*"],
)

步骤 3:为样本评分并检查两种输出

首先运行 Notebook 中固定的施工区域样本。在使用其记录的 checkpoint 和输入时,冒烟测试的结果为:RB 对齐评分 0.999,RF 总体评分 0.842。RF 的五项子评分分别评估:动作与参考动作的一致性、动作安全性、各组成部分的依据充分性、各组成部分的完整性,以及因果一致性。RF 模型将 action 定义为 p_match × (1 + p_safe)/2,将 component 定义为 mean(p_grounded, p_complete, p_causal),再按 overall = 0.6 × action + 0.4 × component 合成总体评分。

Notebook 核心调用:

rb_model, rb_tokenizer = load_reference_based(
    str(checkpoint_root),
    subfolder="reference-based",
    device="cuda",
)
rb = score_reference_based(
    rb_model,
    rb_tokenizer,
    [{
        "question": QUESTION,
        "answer": REFERENCE_RATIONALE,
        "student": CANDIDATE_RATIONALE,
    }],
)[0].item()

rf_model, rf_processor = load_reference_free(
    str(checkpoint_root),
    subfolder="reference-free",
    device="cuda",
)
rf = score_reference_free(
    rf_model,
    rf_processor,
    front_wide_frames=front_wide_frames,
    front_tele_frames=front_tele_frames,
    meta_action_history=META_ACTION_HISTORY,
    meta_action_future=META_ACTION_FUTURE,
    rationale=CANDIDATE_RATIONALE,
)

print(rb, rf.overall, rf.subscores)

如果要评估 Alpamayo 2 Edge 本身,请在选定片段上运行其推理脚本,再到 output.json 的 text.cot 字段中查看生成的推理文本。加载 AlpaJudge-RF 所需的六帧图像时,应使用同一片段和相同的决策时间,并将 Notebook 中手动编写的推理文本替换为模型生成的字符串。还应提供与该决策相匹配的元动作历史和未来信息,而不是直接沿用 Notebook 中施工场景示例的数据。如果有专家提供的参考因果链推理轨迹,则可将其作为 answer 传入 RB,并将 Edge 生成的因果链作为 student。

工作流 2:筛选更高价值的训练样本

AlpaJudge 的评分可用于训练数据筛选,因为评分最高和最低的样本往往具有不同的用途。基于参考答案的评分非常低,可能意味着标签不匹配、推演失败,或样本本身确实具有较高难度。在剔除这些样本之前,应先进行检查;如果一概删除低分片段,也会丢失策略模型需要学习的罕见失败案例。评分非常高的样本则可能表明,当前模型已经能够稳定地解释相应场景,继续从这些样本中学习的价值有限。相比之下,中等评分区间往往包含对进一步训练信息量很高的数据。

要将这一方法应用于自己的数据集,首先需要为每个片段生成候选因果链推演结果,并使用固定版本的 AlpaJudge checkpoint。针对每个候选结果进行评分;如果使用 AlpaJudge-RB,则将其与对应的参考答案进行比较。记录评分、片段 ID 以及相关场景元数据,随后人工检查低分样本和安全关键样本。在开发集上设置筛选阈值,根据场景类型和驾驶操作对保留的数据进行分层,并确保留出的评估集不受影响。重新采样具有较高信息价值的片段,用于进一步训练,然后使用相同的基线集,对新的 checkpoint 进行比较评估。

工作流 3:将推理评分用于后训练

公开的 Alpamayo 强化学习方法提供了在开环 GRPO 训练中加入推理奖励的具体方案。先生成多组策略推演,解码每组推演中的因果链和轨迹,计算轨迹误差与舒适度,再调用一个可插拔的推理评分器,最后将各项指标合并为一个标量奖励。当每个样本都有参考推理轨迹时,AlpaJudge-RB 可以充当评分器:传入固定的驾驶问题,将参考推理轨迹作为 answer,将采样得到的因果链作为 student,再把返回的对齐概率作为推理信号。

通过将文本对批量传入 score_reference_based,适配器即可实现该方法中的 BaseReasoningGrader.score(predictions, references) -> Tensor[N] 接口约定。将该适配器注册到 GRADER_REGISTRY,并在推理奖励配置中指定对应的 checkpoint。奖励函数应保留轨迹门控机制,并记录各组成部分的评分,以降低策略模型仅凭流畅却错误的驾驶解释获得较高总奖励的可能性。

开始使用 Alpamayo 2 Edge 和 AlpaJudge

上述工作流构成了一个可重复执行的开发闭环:运行车端模型,结合轨迹和安全指标评估其推理能力,筛选具有较高信息价值的片段,并将下一版候选模型与初始基线进行比较。对于同时使用强化学习训练策略模型的团队,还可以通过上述适配器等方式,利用 AlpaJudge 提供推理奖励。

欢迎在 Hugging Face 上探索 Alpamayo 2 Edge 和 AlpaJudge。如需参与讨论或咨询开发者相关问题,请访问 Alpamayo 开发者论坛。如需了解更多信息,请参阅:

标签