[논문] LLM 기반 전력 시스템 코드 생성을 위한 지식 경계 탐색 및 요구 기반 개입

Source: arXiv - 2605.31478v1

Overview

대형 언어 모델(LLM)이 전력 시스템 시뮬레이션 코드를 작성하도록 활용되고 있지만, 유틸리티 기업은 보안·규정 준수 문제로 모델을 사내에 직접 배치해야 하는 경우가 많다. 이 논문은 “첫 번째 시도” 코드 생성이 가장 많이 실패하는 이유가 모델의 추론 능력 부족이 아니라 API‑지식 경계(예: 함수명을 임의로 만들거나 라이브러리 매개변수를 잘못 사용하는) 때문에 발생한다는 점을 밝혀낸다. 저자들은 벤치마크, 탐색 프레임워크, 그리고 미세조정 없이도 오픈‑웨이트 LLM의 신뢰성을 크게 높이는 가벼운 “요구‑가이드” 개입 방식을 제시한다.

Key Contributions

• PowerCodeBench: 자연어 질의와 실제 pandapower 코드 및 수치적 정답을 짝지은 실행 검증 벤치마크.
• Documentation‑driven probing (L0‑L3): 버전이 관리되는 시뮬레이션 API에 대한 각 모델의 지식을 단계별로 매핑하는 체계적인 절차로, 환각이 발생하는 지점을 드러낸다.
• Boundary‑aware intervention: 두 단계 기법으로 (1) 질의에 필요한 API 호출을 추정하고, 간결하고 목표 지향적인 문서를 프롬프트에 삽입하며, (2) 생성된 코드가 여전히 API 계약을 위반하면 반응형 수정 단계를 적용한다.
• Comprehensive evaluation: 2 000개의 작업을 10개의 오픈‑웨이트 LLM(1.5 B–480 B 파라미터)과 4개의 상용 중급 API에 대해 테스트했으며, 7 B 파라미터 이상 모델에서 32–56 포인트의 일관된 정확도 향상을 보였다.
• Efficiency gains: 개입은 모델의 전체 컨텍스트 추론을 유지하면서 프롬프트 토큰 사용량을 순수 “전체 문서” 프롬프트 대비 약 41 % 수준으로 감소시킨다.

Methodology

1. Benchmark Construction – 저자들은 현실적인 운영자 질의(예: “버스 5에 대한 단락‑단락 분석을 실행해줘”)를 수집하고, 각각에 대해 손수 만든 pandapower 스크립트와 기대되는 수치 출력을 매칭시켰다. 모든 스크립트를 실행해 정답 여부를 검증함으로써, 이 벤치마크는 순수 텍스트 매치가 아닌 실행 기반 정답 검사가 된다.

2. API Knowledge Probing – 4단계(L0‑L3) 탐색 사다리를 이용해 모델에 pandapower 라이브러리에 관한 점점 구체적인 질문을 던진다(예: “create_bus 함수는 어떤 인자를 받나요?”). 답변을 공식 문서와 비교해 각 모델의 지식 프로파일을 만든다.

3. Demand‑Guided Intervention –

   • Demand Estimation: 가벼운 분류기가 사용자의 질의에 필요한 pandapower 함수들을 예측한다.
   • Proactive Injection: 관련된 공식 API 문서 조각만을 프롬프트에 추가해 토큰 예산을 최소화한다.
   • Reactive Correction: 모델이 코드를 생성한 뒤, 서명 검증과 같은 간단한 정적 검사를 수행해 불일치를 탐지한다. 발견되면 2단계 프롬프트를 통해 모델에게 특정 오류를 수정하도록 요청한다.

4. Evaluation Loop – 각 모델은 2 000개의 작업을 두 번 실행한다(베이스라인 vs. 개입 적용). 생성된 스크립트를 실행하고, 수치 결과가 엄격한 허용 오차 내에 일치하는지를 성공 여부로 측정한다.

Results & Findings

*Accuracy = 생성된 코드가 올바른 수치 결과를 산출한 작업 비율.

• 70 B–120 B 범위의 오픈‑웨이트 모델이 이제 상용 중급 API와 동등한 성능을 보인다.
• 개입은 눈에 띄는 지연을 추가하지 않는다(추가 검증 단계가 200 ms 미만 소요)며, 전체 API 레퍼런스를 모두 전달하는 경우에 비해 프롬프트 비용을 ~59 % 절감한다.
• 가장 큰 모델(405 B/480 B)도 여전히 이득을 얻으며, 모델 규모만으로는 API‑경계 오류를 해결할 수 없다는 점을 시사한다.

Practical Implications

• 온‑프레미스 배포가 현실화: 유틸리티 기업은 70 B 오픈‑웨이트 모델을 로컬에서 실행해 상용 수준의 코드 생성 신뢰성을 확보하고, 클라우드 추론 비용이나 미세조정 비용을 절감할 수 있다.
• 엔지니어링 부담 감소: 요구‑가이드 프롬프트를 얇은 “LLM‑assistant” 라이브러리로 래핑하면, 적절한 문서만 자동 삽입되어 개발자는 고수준 분석에 집중하고 생성된 스크립트 디버깅에 쏟는 시간을 줄일 수 있다.
• 비용 효율적 확장: 요청당 전체 문서가 아닌 일부만 전송하므로, 토큰 기반 과금(호스팅 API)이나 로컬 추론 시 메모리 대역폭 사용량이 크게 낮아져 대규모 배치 시뮬레이션도 경제적으로 수행 가능하다.
• 안전·규정 준수: 실행 검증된 코드 생성은 그 코드가 알려진 정답과 비교해 실행된 사실을 남겨, 전력 운영 환경에 배포될 때 규제 감사 추적을 만족한다.
• 전이 가능성: 탐색 + 개입 파이프라인은 pandapower에 국한되지 않는다. 버전이 관리되고 문서화된 파이썬(또는 기타) API를 갖는 모든 분야(예: 전력 흐름 라이브러리, 제어 시스템 툴킷)에서 동일한 접근법을 적용할 수 있다.

Limitations & Future Work

• Benchmark scope: PowerCodeBench는 pandapower에 초점을 맞추었으며, OpenDSS, GridLAB‑D 등 다른 전력 시스템 도구는 서로 다른 API 패턴을 가질 수 있어 별도의 탐색이 필요하다.
• Static verification only: 반응형 수정 단계는 서명만 검사하고 코드를 실제로 실행하지 않는다; 단위 일관성 같은 더 깊은 의미론적 검증이 추가되면 미묘한 버그를 잡을 수 있다.
• Model‑agnostic demand estimator: 현재 추정기는 동일 벤치마크 데이터로 학습되었다; 향후 작업‑특정 학습 없이도 제로샷으로 요구를 예측할 수 있는 방법을 모색해야 한다.
• Fine‑tuning vs. prompting: 논문은 프롬프트만으로도 좋은 성과를 보였지만, 경량 미세조정과 결합하면 특히 유틸리티 고유 확장에 대해 정확도를 더욱 높일 수 있다.

전반적으로 이 연구는 오픈‑웨이트 LLM을 전력 시스템 엔지니어를 위한 신뢰할 수 있는 코드 어시스턴트로 전환하는 실용적인 배포‑시 레시피를 제공한다. 최첨단 AI 연구와 실제 전력망 운영 사이의 격차를 메우는 데 기여한다.

Authors

• Hui Wu
• Xiaoyang Wang
• Zhong Fan

Paper Information

• arXiv ID: 2605.31478v1
• Categories: cs.SE, cs.CL, eess.SY
• Published: May 29, 2026
• PDF: Download PDF