[Paper] 알고리즘 진화를 넘어: LLM 기반 스웜 인텔리전스 최적화 알고리즘과 프롬프트의 공동 진화를 위한 프레임워크

Source: arXiv - 2512.09209v1

개요

이 논문은 공동 진화 프레임워크를 소개합니다. 이 프레임워크는 대형 언어 모델(LLM)이 스웜‑인텔리전스 최적화 알고리즘을 동시에 개선하고, 이를 이끄는 텍스트 프롬프트도 함께 다듬을 수 있게 합니다. 프롬프트를 설계 루프의 일차적인 요소로 취급함으로써, 가장 비싼 LLM에 의존하지 않고도 고전적인 NP‑hard 문제에서 모델에 구애받지 않는 강력한 성능을 달성할 수 있음을 보여줍니다.

주요 기여

• 통합 공동 진화 루프: 단일 LLM이 스웜‑인텔리전스 알고리즘(예: PSO, 개미 군집)과 해당 프롬프트 템플릿을 반복적으로 개선합니다.
• 프롬프트‑템플릿 평가 지표: 프롬프트가 알고리즘을 얼마나 잘 안내하는지를 정량화하는 가볍고 해석 가능한 점수 방법으로, 진화 과정에서 빠른 선택을 가능하게 합니다.
• 모델‑중립적 견고성: 다양한 LLM(GPT‑4o‑mini, Qwen‑3‑32B, GPT‑5)에서 일관된 향상을 입증하여 고비용 모델에 대한 의존도를 낮춥니다.
• 실증적 우수성: 기존 자동 설계 시스템(EoH, FunSearch, Reevo)과 비교했을 때 NP‑complete 벤치마크군에서 최첨단 결과를 달성합니다.
• 소거 실험 및 궤적 분석: 프롬프트와 알고리즘을 동시에 진화시킬 때, 어느 하나만 진화시킬 때보다 현저히 더 좋은 해를 얻는다는 것을 보여줍니다.

방법론

1. 초기 개체군 – 서로 다른 연산자와 파라미터 설정을 가진 스웜‑인텔리전스 알고리즘 변형들을 무작위로 생성하고, 이에 대응하는 프롬프트 템플릿(최적화 과제에 대한 자연어 설명)도 함께 생성합니다.
2. LLM‑구동 생성 – 각 알고리즘‑프롬프트 쌍을 LLM에 입력하면 변이를 제안합니다(예: 속도 업데이트 규칙을 조정하거나 프롬프트를 다시 표현).
3. 평가
   • 알고리즘 적합도: 벤치마크 인스턴스에서 알고리즘을 실행하고 해의 품질·실행 시간을 기록합니다.
   • 프롬프트 적합도: 저자들이 제시한 가벼운 지표를 사용해 프롬프트가 LLM으로부터 유용한 추론을 얼마나 효과적으로 이끌어내는지 측정합니다(예: 생성된 탐색 방향의 일관성).
4. 선택 및 재조합 – 상위 성능 개체를 유지하고, 구성 요소를 재조합하여(프롬프트와 알고리즘을 섞어‑맞춤) 일정 세대 수만큼 루프를 반복합니다.
5. 최종 선택 – 최고 점수를 받은 쌍을 “공동 진화”된 솔루션으로 출력합니다.

전체 파이프라인은 후보당 LLM 호출을 한 번만 수행하므로, 비교적 저사양 하드웨어에서도 계산 비용이 감당 가능합니다.

결과 및 발견

• 테스트한 모든 NP 문제에서 공동 진화 접근법이 기존 자동 설계 방법보다 5–10 % 높은 해 품질을 기록했습니다.
• 기본 LLM을 교체했을 때(Qwen‑3‑32B vs. GPT‑5), 진화 궤적이 달라졌습니다: 작은 모델이 만든 프롬프트는 보다 명시적인 경향을 보였고, 큰 모델은 더 추상적이고 고수준의 프롬프트를 생성했습니다. 그럼에도 두 모델 모두 고성능 알고리즘‑프롬프트 쌍에 수렴했으며, 이는 프레임워크의 모델‑중립성을 확인시켜 줍니다.
• 소거 실험: 프롬프트 진화를 제외하면 성능이 6–8 % 감소했으며, 이는 프롬프트 정제가 단순한 부가 요소가 아니라 성공의 핵심 동인임을 강조합니다.

실용적 시사점

• 비용 효율적인 AI‑보조 최적화 – 기업은 저비용 LLM(예: 오픈소스 30B 모델)을 활용해 거의 최첨단 수준의 최적화 성능을 얻을 수 있어 클라우드 비용을 크게 절감할 수 있습니다.
• 플러그‑인 최적화기 – 프레임워크는 바로 실행 가능한 스웜 알고리즘과 간결한 프롬프트를 함께 출력하므로, 개발자는 이를 스케줄링, 라우팅, 자원 할당 등 파이프라인에 손쉽게 삽입해 휴먼이 만든 휴리스틱을 별도로 설계할 필요가 없습니다.
• 새 도메인에 대한 신속 프로토타이핑 – 도메인‑특화 제약을 프롬프트 템플릿에 넣으면, 공동 진화 루프가 자동으로 맞춤형 스웜 행동을 발견해 물류, 금융, 바이오인포매틱스 등 분야의 R&D 속도를 가속화합니다.
• 설명 가능성 향상 – 프롬프트‑템플릿 평가 지표는 특정 알고리즘 변형이 왜 작동하는지에 대한 인간이 읽을 수 있는 추적 정보를 제공해 디버깅 및 규제 감사를 돕습니다.

제한점 및 향후 연구

• 초대형 문제 인스턴스에 대한 확장성 – 실험은 중간 규모 NP 벤치마크에 한정됐으며, 산업 규모 데이터셋에 대한 성능 검증이 필요합니다.
• 프롬프트 탐색 공간 설계 – 현재 템플릿 문법은 수작업으로 만든 것이며, 보다 풍부하고 계층적인 프롬프트 표현이 추가적인 향상을 이끌 수 있습니다.
• 다중모달 확장 – 저자들은 시각적 또는 코드 기반 “프롬프트”(예: 프로그램 스케치)를 알고리즘과 함께 공동 진화시키는 가능성을 언급했으며, 이는 향후 연구 과제로 남겨두었습니다.

전반적으로 이 논문은 LLM‑구동 자체 최적화 휴리스틱이라는 새로운 길을 제시합니다. 알고리즘적 엄밀함과 자연어의 유연성을 결합한 접근법은 지능형 최적화 서비스를 구축하는 방식을 크게 바꿀 잠재력을 가지고 있습니다.

저자

• Shipeng Cen
• Ying Tan

논문 정보

• arXiv ID: 2512.09209v1
• 분류: cs.NE
• 발표일: 2025년 12월 10일
• PDF: Download PDF