AI 智能体在复杂的芯片设计工作流程中显著提高了生产力，但其倾向于产生看似合理但错误的伪影，从而使可靠性成为生产采用的主要障碍。在多阶段工程工作流程中，设置初期未检测到的错误会悄无声息地传播至下游阶段并生成最终成品。根据经过验证的最终输出 (而非孤立的中间步骤) 评估和完善这些智能体对构建可信自动化至关重要。
NVIDIA NeMo Gym 是一个开放库，用于评估和改进使用环境的模型和智能体，可应对这一挑战。NeMo Gym 代理式评估环境旨在诊断故障模式并追踪错误在复杂的多阶段工作流程中的传播。通过建立特定于领域的验证器来根据已验证的参考伪影检查最终输出，NeMo Gym 使工程师能够追踪完整的推出轨迹，并找出细微错误背后的根本原因。
本文将介绍如何使用 Siemens Fuse EDA AI Agent 在调用表征工具时的可靠性。Siemens Fuse 团队使用 NeMo Gym 来扩展评估，并根据已知引用和追踪验证生成的 Liberty (.lib) 文件，包括每次推出时常见和罕见的故障。这些发现为智能体的技能和模型上下文协议 (MCP) 工具描述的变化提供了指导，在代表性标准单元特征任务的基准测试中，已测量的基准综合评分从约 55% 提高到约 95%，同时减少了周转和输出 token。
Siemens 的工作为芯片设计团队和 EDA 开发者提供了一个实际示例，说明如何利用 NVIDIA AI 软件堆栈和开放库来改善智能体的可靠性和芯片设计工作流程。
自动化标准细胞表征
标准单元表征是在各种操作条件下为逻辑单元生成准确的定时、功率和噪声模型的过程。它是芯片设计的基础，每当半导体代工厂发布新的工艺设计套件 (PDK) 时都需要它。每款新的 PDK 均包含 SPICE 晶体管模型、设计规则以及工艺、电压和温度 (PVT) 定义，可将制造流程与设计工具相连接。当代工厂更新 PDK 时，现有的表征数据集可能不再能够准确描述更新后的设备。然后，必须为每个受影响的单元重新生成时间和功率模型，并根据输入偏移、输出负载和 PVT 条件的组合进行验证。
Solido Characterization Suite 智能体可自动执行此过程。该智能体通过 Siemens Fuse EDA AI 智能体 编排更广泛的 Solido Characterization Suite 工具，使 MCP 服务器和技能能够使用常见的编码工具，包括 Claude Code、Codex 和 Cursor。
MCP 接口可让工程智能体访问这些加速工具，同时其技能可指导其在表征工作流中的使用。更快的模拟可帮助智能体更快完成工程迭代，而 NVIDIA NeMo Gym 可帮助开发者衡量和改进智能体如何可靠、高效地编排这些工具。
Solido Characterization Suite 智能体必须执行工具设置、大规模 SPICE 模拟、分布式计算、Liberty 文件生成、调试和最终验证 (图 1) 。错误通常会产生合理的输出，而非纯粹的故障，从而隐藏错误的值、缺失角落或不完整的单元。由于这些阶段相互依赖，早期设置错误可能会扩散到接下来的每个步骤中。定义严格的评估协议是让 Solido Characterization Suite 智能体为生产工作流做好准备的关键步骤。
使用 NeMo Gym 测量和提高智能体可靠性
作为 NVIDIA NeMo 智能体专用化和优化开放库集合的一部分，NeMo Gym 在受控评估循环中集成了标准单元特征流 (图 2) 。它定义了每次发布的任务、工具、状态和验证器，以便尝试从一个干净的状态开始，并产生可比的结果。它还会记录思考痕迹、输入和输出消息以及工具操作。
这使得工程师能够运行以下优化循环：
- 在自定义 NeMo Gym 环境中使用版本化任务和验证器运行基准部署
- 检查轨迹、失败的工具调用和验证器诊断
- 识别不明确的指令、无效的操作和错误的工具选择
- 优化智能体的技能和 MCP 工具描述
- 在相同的评估条件下重复相同的任务
- 比较每个成功结果的验证结果和效率
奖励设计和伪影验证
在团队分析智能体轨迹时，端到端评估发现了中间检查漏掉的故障。例如，最终 Liberty 验证会暴露缺失的单元和操作条件、错误的倾斜值以及超出允许范围的计时或功率值。这些发现说明了为什么必须根据最终构件而非单个工具调用来评估工程智能体。
为使工作具有可重复性，该团队实施了验证器，根据以下指标提供最终的综合奖励分数：
- 覆盖范围：智能体是否生成每个预期细胞和 PVT 角落。
- 有效性：交付的 Liberty 文件是否格式正确，是否可通过验证工具使用。
- 相对验证：输出所引入的故障是否超出参考中已存在的故障。
- 准确性：预期计时和功率值在定义容差范围内的百分比。
- 完整性：表征工作流程是否生成完整结果，而非重复使用、截断或重新格式化现有值。
奖励分数定义为：
\(R=\mathbf{1}\left[\text{Coverage}\right]\times\mathbf{1}\left[\text{Validity}\right]\times\mathbf{1}\left[\text{Relative Validation}\right]\times\mathbf{1}\left[\text{Integrity}\right]\times\frac{X_{\text{tol}}}{X_{\text{total}}}\)
在此处，\(X_{\mathrm{tol}}\) 是输出中允许范围内的值数量，\(X_{\mathrm{total}}\) 是输出值的总数。其比率表示容差内输出值的百分比。
每个指示器 \(\mathbf{1}[\cdot]\) 在其对应门通过时等于 \(1\)，在失败时等于 \(0\)。如果某个门出现故障，奖励为零。
使用此验证器，团队系统地评估和调整了智能体在多个迭代中的性能。
优化智能体
该团队使用开源 GF180MCU PDK对代理的Liberty-file生成进行基准测试。该数据集包含229个标准单元，分布在36个PVT角上，使用用于SPICE仿真的。
使用 NeMo Gym 构建自定义代理环境。在每次运行中，表征流仅限于两个单元 (跨越 36 个 PVT 角) ，因为这个较小的子集足以调整智能体工作流。每次运行大约需要 1.5 到 2 小时，团队使用在克劳德代码中运行的克劳德作品 4.8 作为固定模型和智能体工具，进行了大约 25 次推广。
在连续几轮评估中，该团队改进了智能体的特征技能和 MCP 工具描述。为了改进工具选择，它们简化了重叠的文件和 shell 接口，并使用显式 JSON 架构定义了工具输入，使智能体能够更轻松地调用表征工具。
经过这些改进后，经过评估的产品的平均综合验证分数从大约 55% 提高到 95%。改进后的工作流程还需要更少的代理周转和输出 token。智能体周转率从 155 个下降到 53 个，减少了约 66%，而输出 token 从约 8.1 万个下降到 2.9 万个，减少了约 64%。
| 模型 | 基准综合评分 | 转弯 | 平均。token 的输出 |
| Claude Opus 4.8 | + 55%~+ 95% | 155 53 | + 81K+ 29K |
使用相同方法开发其他领域可靠的智能体
相同的评估方法适用于 EDA、CAE 和其他工程领域的工程智能体：
- 评估最终的工程构件，而不仅仅是评估单个工具调用是否成功。
- 编写特定领域的分级/ 验证器，用于检测缺失、截断、重新格式化或重复使用的结果，以防止智能体作弊。
- 收集大量部署，通过优化的技能和 MCP 工具界面提高可靠性。
开始使用 NeMo Gym
使用 NeMo Gym 快速入门指南 运行初始评估。然后，将本文中概述的方法应用于一项具有代表性的任务：定义有效的最终成品、构建特定领域的验证器、检查发布失败、完善技能和工具描述，并在一致的评估条件下重新运行。
如需详细了解 Solido Fuse 如何将生成式和代理式 AI 引入 Solido Characterization Suite 智能体，请观看自验证、长期运行的代理表征工作流演示。
详细了解 NVIDIA 与西门子之间的合作。
致谢
我们想感谢 NVIDIA 的 Gunjan Shah 以及西门子的 Tim Wheler、Lakshminarayanan Ramesh 和 Carl Hofmeister，他们为开发智能体和建立评估方法做出了重要贡献。
