[Paper] SimuAgent：基于LLM的Simulink建模助手，强化学习增强

Source: arXiv - 2601.05187v1

（请提供您希望翻译的正文内容，我将按照要求保留链接并进行简体中文翻译。）

概览

本文介绍了 SimuAgent，一个由大型语言模型（LLM）驱动的助手，帮助工程师创建和仿真 Simulink 模型。通过用紧凑的字典式 Python 表示取代 Simulink 笨重的 XML 文件，SimuAgent 大幅降低了 token 使用量，加快了进程内仿真，并使模型生成流水线更加友好于开发者。

关键贡献

• Compact Python DSL for Simulink – 用轻量级、可读的字典格式取代冗长的 XML，将 token 数量降低一个数量级。
• Two‑stage plan‑execute training – 首先教授低层 Simulink API 技能，然后进行高层设计推理，从而产生更稳健的智能体。
• Reflection‑GRPO (ReGRPO) – 一种新颖的强化学习算法，将自我反思轨迹作为中间奖励注入，解决长时域建模任务中的稀疏奖励问题。
• SimuBench – 一个包含 5,300 个多领域 Simulink 建模问题的新基准套件，用于系统评估。
• On‑premise, privacy‑preserving deployment – 整个训练和推理流水线在普通硬件上本地运行，避免云端数据泄露和高额 API 成本。

方法论

1. 表示层 – SimuAgent 将 Simulink 图转换为 Python 字典，例如：

   {
       "blocks": [...],
       "connections": [...]
   }

   该表示对 LLM 来说在 token 使用上高效，并且可以直接通过 Simulink 的 Python API 执行。

2. 计划‑执行架构

   • 计划：LLM 生成高级设计计划（要添加哪些块、参数选择、连接策略）。
   • 执行：一个轻量运行时引擎读取该计划，调用 Simulink 的 API 构建模型，进行快速仿真，并返回诊断信息。

3. 两阶段课程

   • 阶段 1：在低层 API 调用和基础块创建任务上微调 LLM。
   • 阶段 2：让模型面对来自 SimuBench 的完整设计问题，鼓励层次化推理。

4. ReGRPO 强化学习循环

   • 代理与 SimuBench 任务交互，获得稀疏的最终奖励（模型正确性）。
   • 每个回合结束后，LLM 生成 自我反思轨迹（哪些有效、哪些失败、原因）。
   • 这些轨迹被视为密集的中间奖励，输入 Group Relative Policy Optimization (GRPO)，加速策略更新并稳定学习。

结果与发现

• 训练效率 – 使用 SimuAgent 微调的 Qwen2.5‑7B 模型相较于原始 GRPO 和 PPO 基线，RL 步数减少约 30 %。
• 建模准确率 – 在 SimuBench 上，SimuAgent 达到 84 % 的正确模型生成（在容差范围内），相比之下最佳基线为 71 %，few‑shot GPT‑4o 提示为 78 %。
• Token 节省 – Python DSL 将平均 token 长度从约 12 k（XML）降低至约 1.1 k，提升了上下文窗口大小并降低推理成本。
• 消融洞察 – 移除两阶段课程会导致准确率下降约 6 分；省略抽象‑重构数据增强（随机打乱块顺序）会使对未见领域的泛化下降约 4 分。
• 硬件占用 – 训练在单节点 8‑GPU（A100 40 GB）且内存 < 150 GB 的环境下完成，推理在消费级 RTX 4090 上每个模型耗时 < 2 秒。

实际意义

• 更快的原型设计 – 工程师可以用自然语言描述系统需求，并在几秒钟内获得可直接运行的 Simulink 模型，从而省去数周的手动块连线。
• 成本效益高的 AI – 通过本地部署并使用紧凑的 DSL，企业可以避免昂贵的云端大语言模型 API 费用，并保护专有设计数据。
• 易于集成 – Python 字典格式可直接嵌入现有的 CI 流水线；生成后可添加自动回归测试步骤。
• 领域扩展 – 由于该方法与模型无关，可为其他图形化工具（如 LabVIEW、Modelica）构建类似的代理，从而为跨行业的 AI 辅助模型驱动工程打开道路。
• 教育应用 – 在控制系统或信号处理课程教学中，可利用 SimuAgent 自动生成示例模型，让学生专注于分析而非繁琐的图表绘制。

限制与未来工作

• 基准偏差 – SimuBench 虽然范围广泛，但仍是合成的；真实工业模型可能包含未覆盖的自定义块或遗留组件。
• 长期一致性 – 当前的计划‑执行循环处理单次任务；扩展到多迭代设计周期（例如迭代调优）需要更复杂的状态跟踪。
• 模型规模 – 更大的语言模型（例如 70 B）可能进一步提升推理能力，但会增加硬件需求，挑战“modest‑hardware” 的说法。
• 可解释性 – 虽然自我反思轨迹有助于训练，但将这些轨迹暴露给终端用户用于调试仍是一个未解决的用户体验问题。

作者

• Yanchang Liang
• Xiaowei Zhao

论文信息

• arXiv ID: 2601.05187v1
• 分类: cs.AI
• 发布: 2026年1月8日
• PDF: 下载 PDF