[논문] 변이 없이 변이: LLM 기반 프로그램 진화의 수렴 동역학

Source: arXiv - 2606.05408v1

개요

LLM이 프로그램을 반복적으로 변형할 때, 새로운 형태를 탐색하는가, 아니면 같은 형태로 되돌아가는가? 우리는 도메인‑특화 언어 내에서 선택 압력 없이 LLM 기반 변형 체인을 분석함으로써 이 질문을 조사한다. 프롬프트 설계, 모델 패밀리, 그리고 확률적 복제 방식을 다양하게 바꾸어 실험한다. 그 결과, LLM 기반 변형은 프로그램 공간의 제한된 끌어당김 영역으로 일관되게 수렴한다는 것을 발견했다. 특히 구조적 수준에서 수렴 현상이 두드러지는데, 87%의 체인에서 93% 이상의 변형이 이전에 본 구조적 형태를 다시 방문했으며, 대부분의 변이는 반복되는 템플릿 내에서 말단 치환에 국한된다. 사이클 분석 결과, 짧은 사이클과 자기 루프가 전이 구조를 지배한다. 수렴 속도는 프롬프트 표현과 모델 선택에 따라 달라지지만, 이 현상은 다양한 조건에서도 견고하게 나타난다. 고전적인 GP 서브트리 변형 연산자는 유사한 수렴을 보이지 않아, 이 효과가 LLM 변형 파이프라인에 내재된 것임을 시사한다. 이러한 발견은 LLM 기반 프로그램 진화의 핵심에 존재하는 긴장을 드러낸다: 의미를 인식하는 프로그램 변형을 가능하게 하는 동일한 능력이 구조적 동질성으로 향하는 체계적 편향을 동반하며, 이러한 시스템이 개방형 탐색을 지속하려면 이를 고려해야 한다. 소스 코드는 https://github.com/can-gurkan/lmca 에서 확인할 수 있다.

주요 기여

이 논문은 다음 분야의 연구를 제시한다:

• cs.AI
• cs.NE

방법론

자세한 방법론은 전체 논문을 참고하라.

실용적 함의

이 연구는 cs.AI 분야의 발전에 기여한다.

저자

• Can Gurkan
• Forrest Stonedahl
• Uri Wilensky

논문 정보

• arXiv ID: 2606.05408v1
• 분류: cs.AI, cs.NE
• 발표일: 2026년 6월 3일
• PDF: PDF 다운로드