[Paper] Solver-Executable Industrial Optimization Modeling을 위한 Dependency Closure 기반 Type-Aware Retrieval-Augmented Generation

Source: arXiv - 2603.03180v1

개요

The paper tackles a long‑standing obstacle in applying large language models (LLMs) to industrial optimization: turning natural‑language problem statements into solver‑executable code without syntax or type errors. By marrying type‑aware retrieval with a dependency‑closure mechanism, the authors demonstrate a system that reliably generates compilable optimization models for real‑world use cases such as battery‑factory demand‑response and flexible job‑shop scheduling.

주요 기여

• Typed Knowledge Base (KB): 이질적인 소스(연구 논문, 기존 솔버 스크립트)를 파싱하여 타입이 지정된 엔터티(변수, 제약조건, 집합)로 구성하고, 이를 의존성 그래프로 연결해 도메인‑특화 KB를 구축합니다.
• Hybrid Retrieval‑Augmented Generation (RAG): 텍스트 스니펫과 구조화된 타입드 유닛을 모두 검색한 뒤, 엔터티 타입을 인식하는 LLM에 전달합니다.
• Minimal Dependency Closure: 생성된 모델을 실행 가능하게 만들기 위해 필요한 최소한의 심볼 집합을 계산하는 알고리즘을 도입하여, 선언 누락 및 “환상” 제약조건을 방지합니다.
• Cross‑Domain Validation: 두 개의 서로 다른 제약이 많은 산업 문제에 대해 접근법이 작동함을 입증하고, 비구조화 텍스트 검색에 의존하는 기존 RAG 베이스라인보다 우수한 성능을 보여줍니다.
• Ablation Study: 타입 인식 또는 의존성 폐쇄를 제거하면 컴파일 가능성 및 솔루션 품질이 크게 저하된다는 것을 실증합니다.

Methodology

1. Knowledge Extraction – 학술 논문, 오픈‑소스 솔버 코드, 내부 문서를 NLP와 정적 분석 도구를 결합해 파싱합니다. 추출된 각 조각(예: 변수 정의, 제약 템플릿)은 type (파라미터, 의사결정 변수, 집합 등)으로 지정됩니다.
2. Graph Construction – 타입이 지정된 엔터티는 지식 그래프의 노드가 되고, 간선은 수학적 의존성을 나타냅니다(예: 특정 변수에 의존하는 제약).
3. Hybrid Retrieval – 자연어 요청이 주어지면 시스템은 먼저 텍스트 구절에 대한 밀집 벡터 검색을 수행하고, 그 다음 그래프에서 타입‑필터링된 조회를 통해 관련된 타입 노드를 끌어옵니다.
4. Dependency Closure Computation – 검색된 노드에서 시작해 전파 알고리즘이 집합을 확장하여 구문적으로 올바른 모델에 필요한 모든 기호가 포함될 때까지 진행합니다. 결과는 최소 폐쇄 컨텍스트입니다.
5. LLM Generation – 폐쇄 컨텍스트를 사용자 프롬프트와 결합해 대형 언어 모델(예: GPT‑4)에 입력합니다. 컨텍스트에 이미 올바른 타입의 기호가 포함되어 있기 때문에 모델의 출력이 유효한 선언 및 제약식으로 유도됩니다.
6. Post‑Processing & Compilation Check – 생성된 코드는 경량 파서에 전달되어 남아 있는 타입 불일치를 표시하고, 이후 산업용 솔버(예: Gurobi, CPLEX)로 전송됩니다.

결과 및 발견

• 소거 실험: 타입 태그를 제거하면 컴파일 가능성이 45 % 감소; 의존성 클로저를 건너뛰면 선언 누락 오류가 62 % 증가.
• 일반화: 동일한 KB와 검색 파이프라인을 두 도메인 모두에 재사용했으며, 이는 방법이 적당한 KB 확장으로 새로운 산업 환경에도 확장 가능함을 나타냄.

Practical Implications

• Rapid Prototyping: 엔지니어는 새로운 최적화 문제를 일상 영어로 설명하고 바로 실행 가능한 모델을 얻을 수 있어, 수 주간의 수동 코딩을 절감한다.
• Reduced Debugging Overhead: 타입 인식 검색은 LLM이 생성한 코드가 컴파일되지 않을 때 흔히 발생하는 “추측‑검증” 사이클을 없앤다.
• Knowledge Reuse: 타입이 지정된 지식베이스는 검증된 모델링 패턴의 살아있는 저장소 역할을 하며, 조직은 내부 모범 사례를 지속적으로 추가해 풍부하게 만들 수 있다.
• Solver‑Agnostic Deployment: 생성된 코드가 타입 선언을 준수하기 때문에 추가 수정 없이도 표준 MILP/CP 솔버에 그대로 전달할 수 있다.
• Compliance & Auditing: 구조화된 검색은 자연어 요구사항과 사용된 정확한 수학적 구성 요소 사이에 추적 가능한 연결 고리를 남겨, 에너지나 제조와 같은 분야에서 규제 검토를 지원한다.

제한 사항 및 향후 연구

• KB 구축 비용: 타입이 지정된 지식 그래프를 구축하려면 사전 파싱 및 수동 검증이 필요하며, 이는 고도로 독점적인 코드베이스에서는 간단하지 않을 수 있습니다.
• 종속성 클로저의 확장성: 매우 큰 그래프의 경우 클로저 알고리즘이 계산 비용이 많이 들 수 있으며, 저자들은 다음 단계로 근사 휴리스틱을 제안합니다.
• 도메인 전이: 이 방법은 두 도메인에 걸쳐 일반화되었지만, 근본적으로 다른 최적화 패러다임(예: 확률적 프로그래밍)으로 확장하려면 추가적인 타입 엔티티 카테고리가 필요할 수 있습니다.
• LLM 의존성: 최종 모델의 품질은 여전히 기본 LLM의 추론 능력에 달려 있으며, 향후 연구에서는 도메인 특화 코드를 대상으로 파인튜닝을 탐색하여 충실도를 더욱 높일 수 있습니다.

저자

• Y. Zhong
• R. Huang
• M. Wang
• Z. Guo
• YC. Li
• M. Yu
• Z. Jin

논문 정보

• arXiv ID: 2603.03180v1
• 분류: cs.SE, cs.AI, cs.CL
• 발행일: 2026년 3월 3일
• PDF: PDF 다운로드