[Paper] Offline Multi-Task Multi-Objective Data-Driven Evolutionary Algorithm with Language Surrogate Model 및 Implicit Q-Learning

Source: arXiv - 2512.15149v1

개요

이 논문은 Q‑MetaSur라는 플러그‑인‑플레이 대리‑모델링 프레임워크를 소개합니다. 이 프레임워크는 다중 작업, 다중 목표 최적화(MTMOO)를 언어‑모델 문제로 전환합니다. 대형 언어 모델(LLM)과 암시적 Q‑학습을 활용함으로써, 저자들은 비용이 많이 드는 오프라인 최적화 시나리오에서 보다 정확한 목표 예측과 더 빠른 수렴을 달성했으며, 이는 엔지니어들이 비용이 많이 드는 시뮬레이션 없이 복잡한 설계 공간을 다루는 방식을 혁신적으로 바꿀 수 있습니다.

주요 기여

• 언어 모델링을 통한 통합 대리 모델 – MTMOO를 시퀀스‑투‑시퀀스(seq2seq) 작업으로 재구성하여 단일 LLM이 다수의 작업에서 여러 목표를 예측할 수 있게 함.
• 2단계 오프라인 학습 – 정적 데이터셋에 대한 지도 미세조정과 강화학습(RL) 미세조정(암시적 Q‑학습)을 결합하여 보이지 않는 의사결정 변수에 대한 일반화를 향상시킴.
• 플러그‑앤‑플레이 통합 – Q‑MetaSur를 기존 진화 알고리즘(EA)에 재설계 없이 바로 삽입할 수 있음.
• 실증적 우수성 – CEC‑2019 MTMOO 벤치마크에서 기존 Kriging, Random Forest, 신경망 대리 모델보다 높은 대리 정확도와 더 우수한 파레토 프론트 품질을 보여줌.
• 다수의 하위 목표에 대한 확장성 – 전통적으로 대리 모델에 부담을 주는 고차원 목표 벡터를 처리함.

방법론

1. MTMOO 인스턴스의 토큰화 – 각 최적화 문제(작업, 의사결정 변수, 알려진 목표값)는 코드나 자연어가 LLM을 위해 토큰화되는 방식과 유사하게 텍스트 시퀀스로 직렬화됩니다.
2. Seq2seq 대리 모델 – 사전 학습된 LLM(예: GPT‑style transformer)이 인코더‑디코더 역할을 합니다:
   • Encoder는 작업의 토큰화된 설명과 후보 의사결정 벡터를 입력받습니다.
   • Decoder는 토큰 단위로 예측된 목표값을 자동회귀적으로 생성합니다.
3. 두 단계 오프라인 학습
   • 지도 튜닝: 모델은 비용이 많이 드는 시뮬레이션으로 수집된 오프라인 데이터셋을 사용해 입력 시퀀스를 실제 목표 토큰에 매핑하는 방법을 학습합니다.
   • RL 파인튜닝(암시적 Q‑학습): 대리 모델을 예측 오류에 기반한 보상을 받는 정책으로 간주합니다; Q‑함수는 암시적으로 학습되어 하위 EA 성능을 향상시키는 예측을 장려합니다.
4. EA와의 통합 – 학습된 대리 모델은 표준 EA(예: NSGA‑II, MOEA/D) 내부의 비용이 많이 드는 목표 평가자를 대체합니다. EA는 적합도 평가를 위해 대리 모델에 질의하고, 가끔 실제 평가를 수행하여 탐색이 기반을 유지하도록 합니다.

Results & Findings

• 정확도 향상: Q‑MetaSur는 최고의 전통 서러게이트에 비해 예측 오류를 대략 절반 수준으로 감소시킵니다.
• 파레토 품질: Q‑MetaSur가 안내하는 진화적 실행은 훨씬 큰 하이퍼볼륨을 달성하여 보다 다양하고 최적에 가까운 솔루션 집합을 나타냅니다.
• 빠른 수렴: 서러게이트가 더 신뢰할 수 있기 때문에 EA는 실제 파레토 앞면에 접근하기 위해 필요한 세대 수가 적습니다.

저자들은 또한 seq2seq 구성과 RL 미세조정이 모두 성능 향상에 의미 있게 기여한다는 것을 보여주는 소거 실험을 수행했습니다.

실용적 함의

• Reduced simulation budget – Companies that rely on costly CFD, FEM, or hardware‑in‑the‑loop tests can replace many evaluations with a language‑model surrogate, cutting time and cloud‑compute costs.
• Rapid prototyping for multi‑disciplinary design – Automotive, aerospace, and semiconductor teams often juggle dozens of objectives (weight, cost, performance, reliability). Q‑MetaSur’s unified model handles them without building separate surrogates per objective.
• Plug‑in for existing pipelines – Since the surrogate follows the standard EA API, teams can adopt it with minimal code changes, preserving their CI/CD and automated optimization workflows.
• Potential for “code‑as‑surrogate” – The seq2seq approach opens the door to training on raw source‑code or configuration files, enabling surrogate predictions directly from design specifications.

제한 사항 및 향후 연구

• 대규모 오프라인 데이터셋에 대한 의존 – LLM 대리 모델을 학습하려면 여전히 고충실도 평가가 많이 필요하며, 데이터가 희소한 경우 성능이 저하될 수 있습니다.
• 대리 모델의 계산 오버헤드 – 트랜스포머를 이용한 추론은 Kriging 모델보다 무겁기 때문에 실시간 또는 임베디드 애플리케이션에서 병목이 될 수 있습니다.
• 분포 외 작업에 대한 일반화 – 논문에서는 테스트 작업이 학습 분포와 크게 다를 경우 예측 품질이 떨어진다고 언급하며, 지속 학습 메커니즘이 필요함을 시사합니다.
• 제안된 향후 연구 방향은 다음과 같습니다:
  1. 실제 평가를 선택적으로 요청하기 위해 능동 학습을 통합한다.
  2. 엣지 배포를 위한 경량 트랜스포머 변형을 탐색한다.
  3. 목표 함수 지형이 시간에 따라 변하는 동적(온라인) 최적화로 프레임워크를 확장한다.

저자

• Xian‑Rong Zhang
• Yue‑Jiao Gong
• Zeyuan Ma
• Jun Zhang

논문 정보

• arXiv ID: 2512.15149v1
• 분류: cs.NE, cs.AI
• 발행일: 2025년 12월 17일
• PDF: PDF 다운로드