[논문] MLEvolve: 자동 머신러닝 알고리즘 발견을 위한 자체 진화 프레임워크
개요
대규모 언어 모델(LLM) 에이전트는 과학적 발견 및 머신러닝 엔지니어링(MLE)과 같은 장기 과제에 점점 더 많이 적용되고 있으며, 지속적인 자기 진화가 핵심 역량이 되고 있다. 그러나 기존 MLE 에이전트는 가지 간 정보 격리, 메모리 없는 탐색, 계층적 제어 부재 등의 문제로 장기 최적화를 방해한다. 우리는 MLEvolve라는 LLM 기반 자기 진화 멀티 에이전트 프레임워크를 제시한다. 이는 엔드‑투‑엔드 머신러닝 알고리즘 발견을 목표로 한다.
트리 탐색을 Progressive MCGS로 확장함으로써, MLEvolve는 그래프 기반 레퍼런스 엣지를 통해 가지 간 정보 흐름을 가능하게 하고, 엔트로피 영감을 받은 진행 스케줄을 사용해 탐색을 넓은 탐색에서 집중적인 활용으로 점진적으로 전환한다. 에이전트가 축적된 경험과 함께 진화하도록 하기 위해 Retrospective Memory를 도입했으며, 이는 콜드 스타트 도메인 지식 베이스와 동적 전역 메모리를 결합해 작업별 경험을 검색하고 재사용한다. 안정적인 장기 반복을 위해 전략적 계획과 코드 생성을 적응형 코딩 모드로 분리한다.
MLE‑Bench에서의 평가 결과, MLEvolve는 평균 메달 비율 및 12시간 예산(표준 실행 시간의 절반) 하에서의 유효 제출 비율 등 여러 측면에서 최첨단 성능을 달성한다. 또한 수학 알고리즘 최적화 작업에서 AlphaEvolve와 같은 특화된 알고리즘 발견 방법보다 우수한 성과를 보여, 강력한 도메인 간 일반화를 입증한다. 코드는 https://github.com/InternScience/MLEvolve에서 확인할 수 있다.
핵심 기여
- 연구 분야: cs.AI, cs.CL
방법론
자세한 방법론은 전체 논문을 참고하십시오.
실용적 함의
이 연구는 cs.AI 분야의 발전에 기여합니다.
저자
- Shangheng Du
- Xiangchao Yan
- Jinxin Shi
- Zongsheng Cao
- Shiyang Feng
- Zichen Liang
- Boyuan Sun
- Tianshuo Peng
- Yifan Zhou
- Xin Li
- Jie Zhou
- Liang He
- Bo Zhang
- Lei Bai
논문 정보
- arXiv ID: 2606.06473v1
- 분류: cs.AI, cs.CL
- 출판일: 2026년 6월 4일
- PDF: Download PDF