[Paper] 可推广框架用于在数据稀缺情况下构建可执行的领域特定 LLM：半导体 TCAD 仿真示例

Source: arXiv - 2601.10128v1

概述

本文提出了一种 schema‑first 对齐框架，使开发者能够创建紧凑的、特定领域的大型语言模型（LLMs），即使只有少量真实示例，也能生成 可执行代码。作者通过构建 TcadGPT——一种能够编写正确 TCAD（Technology Computer‑Aided Design）仿真脚本的 LLM——来验证该方法，并展示了相同的配方同样适用于有限元求解器（Elmer）。

关键贡献

• Synthetic QA generation from expert docs – 一个流水线，能够自动将手册、标准和参考指南转化为 150 万对问答，为模型提供坚实的“知识库”，无需人工标注。
• Code‑centric IR → DPO workflow – 将已验证的工具集转换为 intermediate representation (IR)，在保持语义不变的前提下进行多样化，并生成用于 Direct Preference Optimization (DPO) 的 preference pairs，直接奖励语法有效性和工具可编译性。
• Controlled RAG evaluation – 证明 Retrieval‑Augmented Generation 能帮助通用 LLM，但对已经进行领域对齐的模型可能略有负面影响，凸显正确对齐的重要性。
• Empirical validation on two domains – 在 TCAD（半导体器件仿真）和 Elmer（开源 FEM 求解器）两个领域进行实证验证，取得相对于最先进通用模型（如 GPT‑4o）的显著提升。
• Open‑source release – 所有数据集、基准测试和代码（包括 P1、P2 以及 IR → DPO 模块）均已公开，以确保可复现性。

方法论

1. Schema‑First 数据合成

   • 从供应商手册和研究论文中提取结构化知识（表格、参数定义、命令语法）。
   • 使用提示工程将每个 schema 条目转换为问答对（例如 “What is the default doping concentration for a p‑type region?” → answer）。
   • 这产生一个庞大、低成本的合成语料库，教会模型该领域的 词汇 和 概念。

2. 中间表示 (IR) 与多样化

   • 获取一个 verified TCAD deck（在仿真工具中成功运行的脚本），并将其解析为语言无关的 IR，捕获逻辑流程（mesh creation → material assignment → biasing）。
   • 应用 equivalence‑preserving transformations（例如，重新排序独立语句、重命名变量），生成大量语义相同但语法多样的变体。

3. 直接偏好优化 (DPO)

   • 对每个原始‑IR 脚本，配对一个 less‑optimal 变体（例如，缺少必需的标志）。
   • 使用 DPO 训练 LLM，使其在收到相同自然语言指令时倾向于选择更高质量、可执行的版本。

4. 检索增强生成 (RAG) 研究

   • 比较三种设置：(a) vanilla LLM，(b) LLM + RAG，(c) domain‑aligned LLM + RAG。
   • 在保留的测试套件上测量语义正确性和语法通过率。

结果与发现

• Synthetic QA alone 已经显著提升了性能，证实可以在无需人工策划数据的情况下注入领域知识。
• IR‑driven DPO 在语义和语法指标上额外提升约 7 %，表明直接针对 executability 进行优化比通用的指令遵循损失函数更有效。
• RAG 提升了基线 GPT‑4o（+4 % 语义），但当模型已经高度对齐时，会使 TcadGPT 的性能下降约 1 %，这表明检索在模型内部化模式后收益递减。

实际意义

• 快速原型化领域特定助手 – 工程师只需使用手册和少量经过验证的脚本，就能为任何拥有完善文档化命令集的工具（例如 CAD、CFD、线路仿真器）搭建一个“代码编写” LLM。
• 降低对昂贵标注的依赖 – 合成问答流水线消除了对大型人工策划数据集的需求，将上手时间从数月缩短至数周。
• 提升生产流水线的可靠性 – 由于模型专门训练生成 可编译 脚本，可集成到仿真作业的 CI/CD 中，依据高层设计意图自动生成或调整脚本。
• 跨领域可移植性 – 同一框架已在开源 FEM 求解器上验证，表明任何具备确定性执行引擎的工程技术栈都能受益。
• 推动开源生态系统 – 随着已发布的 IR 架构和 DPO 代码，社区可以贡献领域适配器，扩展可执行 LLM 的库。

限制与未来工作

• 依赖稳定的 IR – 该方法假设目标工具可以被解析为无损的中间表示；对于具有高度动态或未文档化语法的工具，可能需要自定义解析器。
• 合成数据偏差 – 虽然规模庞大，问答集仍然反映了源手册的风格；文档未覆盖的边缘案例行为仍可能被遗漏。
• 验证的可扩展性 – 生成偏好对需要运行工具以确认可执行性，对于大规模仿真而言成本可能很高。
• 作者提出的未来方向 包括：
  1. 为黑盒工具自动化提取 IR。
  2. 融入基于真实仿真结果（例如收敛指标）的强化学习。
  3. 探索多模态输入（图形、示意图）以丰富知识库。

作者

• Di Wang
• Zhenhua Wu
• Yu Liu
• Kai Chang
• Shaohua Wu

论文信息

• arXiv ID: 2601.10128v1
• 分类: cs.CE, cond-mat.mtrl-sci, cs.SE
• 出版日期: 2026年1月15日
• PDF: 下载 PDF