[Paper] 类型感知检索增强生成与依赖闭包用于求解器可执行的工业优化建模

Source: arXiv - 2603.03180v1

请提供您希望翻译的具体文本内容，我将按照要求将其翻译成简体中文并保留原有的格式。

概述

本文解决了在将大型语言模型（LLM）应用于工业优化时长期存在的障碍：将自然语言问题陈述转化为可供求解器执行的代码，且不出现语法或类型错误。通过将类型感知检索与依赖闭包机制相结合，作者展示了一个系统，能够可靠地为实际案例（如电池工厂需求响应和柔性作业车间调度）生成可编译的优化模型。

关键贡献

• Typed Knowledge Base (KB): 通过解析异构来源（研究论文、现有求解器脚本），将其构建为领域特定的 KB，并将其转换为 类型化 实体（变量、约束、集合），再通过依赖图进行链接。
• Hybrid Retrieval‑Augmented Generation (RAG): 检索文本片段和结构化的类型化单元，然后将其输入到能够 感知 实体类型的 LLM 中。
• Minimal Dependency Closure: 引入一种算法，计算生成模型可执行所需的最小符号集合，防止缺少声明和 “幻觉” 约束。
• Cross‑Domain Validation: 展示该方法在两个不同的、约束密集的工业问题上有效，性能优于依赖非结构化文本检索的标准 RAG 基线。
• Ablation Study: 证明去除类型感知或依赖闭合会显著降低可编译性和解的质量。

方法论

1. 知识提取 – 学术文章、开源求解器代码和内部文档通过 NLP 与静态分析工具相结合进行解析。每个提取的片段（例如变量定义、约束模板）被分配一个类型（参数、决策变量、集合等）。
2. 图构建 – 带类型的实体成为知识图中的节点；边表示数学依赖关系（例如约束依赖于特定变量）。
3. 混合检索 – 给定自然语言请求，系统首先在文本段落上进行密集向量搜索，然后在图上进行类型过滤查找，以提取相关的带类型节点。
4. 依赖闭包计算 – 从检索到的节点出发，传播算法扩展集合，直至所有构成语法正确模型所需的符号均已包含。结果是最小闭合上下文。
5. LLM 生成 – 将闭合上下文与用户提示拼接后送入大语言模型（如 GPT‑4）。由于上下文已包含正确类型的符号，模型的输出会倾向于生成有效的声明和约束公式。
6. 后处理与编译检查 – 生成的代码通过轻量级解析器检查，标记任何剩余的类型不匹配，然后再发送给工业求解器（如 Gurobi、CPLEX）。

结果与发现

• 消融实验: 移除类型标签导致可编译性下降 45 %；跳过依赖闭合使缺少声明错误增加 62 %。
• 泛化: 同一知识库和检索管道在两个领域均被复用，表明该方法可通过适度扩展知识库在新工业场景中扩展。

实际意义

• 快速原型设计： 工程师可以用自然语言描述新的优化问题，并获得可直接运行的模型，从而省去数周的手动编码工作。
• 降低调试开销： 类型感知检索消除了在 LLM 生成的代码无法编译时常见的“猜测‑检查”循环。
• 知识复用： 经过类型标注的知识库充当已验证建模模式的活体仓库；组织可以持续将内部最佳实践加入其中。
• 求解器无关部署： 由于生成的代码遵循类型声明，可直接交给任何标准的 MILP/CP 求解器，无需额外适配。
• 合规性与审计： 结构化检索在自然语言需求与实际使用的数学构件之间留下可追溯的链接，有助于能源、制造等行业的监管审查。

局限性与未来工作

• KB 构建成本： 构建类型化知识图谱需要前期解析和人工验证，对于高度专有的代码库来说，这可能并非易事。
• 依赖闭包的可扩展性： 对于极大的图，闭包算法可能会变得计算成本高昂；作者建议将近似启发式方法作为下一步。
• 领域迁移： 虽然该方法已在两个领域中实现了泛化，但要扩展到根本不同的优化范式（例如随机规划），可能需要额外的类型化实体类别。
• 对 LLM 的依赖： 最终模型的质量仍然取决于底层 LLM 的推理能力；未来的工作可以探索在特定领域代码上进行微调，以进一步提升忠实度。

作者

• Y. Zhong
• R. Huang
• M. Wang
• Z. Guo
• YC. Li
• M. Yu
• Z. Jin

论文信息

• arXiv ID: 2603.03180v1
• 分类: cs.SE, cs.AI, cs.CL
• 发表时间: 2026年3月3日
• PDF: 下载 PDF