[논문] MOSS: 자율 에이전트 시스템의 소스 레벨 재작성으로 자가 진화

Source: arXiv - 2605.22794v1

개요

이 논문은 MOSS라는 프레임워크를 소개한다. MOSS는 자율 에이전트가 프로덕션에서 발생하는 실패를 고치기 위해 스스로의 소스 코드를 재작성할 수 있게 한다. 적응 계층을 편집 가능한 텍스트 아티팩트(프롬프트, 설정)에서 실제 프로그램 코드로 옮김으로써, 라우팅 로직, 훅 순서, 상태 불변식 등에 뿌리내린 버그와 같은 훨씬 넓은 범위의 결함을 인간이 업데이트를 내릴 때까지 기다릴 필요 없이 해결할 수 있다.

주요 기여

• 소스 수준 자체 진화: 에이전트가 자체 컴파일된 코드를 안전하게 수정할 수 있음을 보여준다. 이는 모든 텍스트 기반 적응 기법을 포괄하는 튜링 완전 매체이다.
• 결정론적 다단계 파이프라인: 엄격히 순서가 정해진 워크플로(증거 수집 → 코드 생성 → 후보 검증 → 롤아웃)를 제공해 재현성을 보장하고 “통제 불능” 재작성을 방지한다.
• 플러그인 가능한 코딩‑에이전트 인터페이스: MOSS는 실제 편집 생성을 외부 LLM 기반 코딩 에이전트에 CLI를 통해 위임함으로써 핵심 오케스트레이션을 언어에 구애받지 않게 만든다.
• 안전 우선 배포: 일시적인 트라이얼 워커를 이용한 재생 테스트, 헬스‑프로브 기반 컨테이너 교체, 사용자 동의 체크포인트를 사용해 재작성이 오작동할 경우 롤백이 가능하도록 설계했다.
• 실제 시스템에서의 경험적 향상: OpenClaw 벤치마크(네 가지 서로 다른 작업)에서 단일 자체 진화 사이클만으로 평균 채점 점수를 0.25 → 0.61 로 끌어올렸으며 인간 개입이 전혀 없었다.

방법론

1. 실패 증거 수집 – MOSS는 프로덕션 실행을 지속적으로 모니터링하며, 오류 로그·낮은 점수의 작업 결과 등 실패한 인터랙션을 자동으로 배치 형태로 수집한다.
2. 프롬프트 구성 및 코드 생성 – 수집된 배치를 코딩‑에이전트에 전달한다(코드를 출력할 수 있는 LLM이면 무엇이든 가능). 에이전트는 실패 상황과 현재 코드베이스를 설명하는 결정론적 프롬프트를 받고 후보 패치를 반환한다.
3. 후보 검증 – 패치를 새로운 컨테이너 이미지에 적용한 뒤, MOSS는 격리된 트라이얼 워커에서 정확히 같은 실패 배치를 재생해 기능 정확성과 부작용 안전성을 헬스 프로브를 통해 확인한다.
4. 가드레일을 갖춘 롤아웃 – 후보가 통과하면 MOSS는 사용자 동의 게이트 아래에서 라이브 컨테이너를 새 이미지와 교체한다. 헬스 프로브는 계속 실행되며, 회귀가 감지되면 자동 롤백이 이루어진다.
5. 반복 루프 – 전체 파이프라인이 반복되어 연속적인 자체 진화가 시간이 지남에 따라 개선을 축적한다.

파이프라인은 결정론적으로 설계되었다: 각 단계의 순서, 입력, 판정이 모두 로그에 남겨져 프로세스가 감사 가능하고 재현 가능하도록 만든다.

결과 및 발견

• 성능 급증: OpenClaw 스위트에서 단일 진화 사이클만으로 평균 채점 점수가 0.25에서 0.61로 두 배 이상 상승했다.
• 인간 개입 제로: 실패 탐지부터 프로덕션 롤아웃까지 전체 사이클에 코드 편집이나 배포 작업이 전혀 필요하지 않았다.
• 견고성: 헬스‑프로브 기반 롤백 메커니즘 덕분에 테스트 중에 서비스 품질이 저하된 상태가 최종 사용자에게 전달되지 않았다.
• 범용성: 접근 방식이 소스 수준에서 작동하기 때문에 프롬프트‑전용·설정‑전용 적응으로는 보이지 않는 버그(예: 잘못된 async 처리, 누락된 예외 분기)를 수정할 수 있다.

실용적 함의

• 빠른 버그 수정: 프로덕션 에이전트가 개발자가 패치를 푸시하기까지 며칠을 기다릴 필요 없이 몇 분 안에 치명적인 실패를 스스로 치유한다.
• 운영 부담 감소: 자동 검증 및 롤백으로 수동 인시던트 대응과 사후 디버깅 작업이 크게 줄어든다.
• AI 기반 서비스 신뢰성 향상: 챗봇, 추천 파이프라인, 로보틱 프로세스 자동화 등 자율 에이전트에 의존하는 서비스가 가동 시간과 사용자 경험을 높일 수 있다.
• 확장 가능한 생태계: MOSS는 코딩‑에이전트 CLI만 필요하므로 팀은 선호하는 LLM(OpenAI, Anthropic, 로컬 모델 등)을 자유롭게 연결하고 기존 CI/CD 파이프라인을 그대로 유지할 수 있다.
• 컴플라이언스·감사: 각 재작성에 대한 결정론적 로그가 AI‑구동 코드 변경에 대한 규제·내부 감사 요구사항을 충족시키는 데 도움이 된다.

제한점 및 향후 연구

• LLM 품질 의존: 생성된 패치의 정확성은 코딩 에이전트가 코드베이스를 얼마나 잘 이해하느냐에 달려 있다. 부실한 프롬프트나 모델 환각은 안전하지 않은 변경을 초래할 수 있다.
• 변경 범위: 소스 수준 재작성은 강력하지만 현재 시스템은 스키마 마이그레이션이나 데이터베이스 변경과 같은 구조적 리팩터링을 지원하지 않는다.
• 사용자 동의 오버헤드: 안전이 중요한 분야에서는 필수적인 사용자 동의 단계가 루프를 느리게 만들 수 있다. 향후 연구에서는 저위험 패치에 대해 위험 기반 자동화를 탐색할 예정이다.
• 다언어 일반화: 프로토타입은 단일 언어·런타임에 초점을 맞추었으며, 마이크로서비스 메쉬와 같은 다언어 환경으로 확장하는 것이 남은 과제이다.
• 장기 진화 안정성: 논문에서는 수개월·수년 동안 연속적인 자체 진화가 코드 유지보수성 및 기술 부채에 미치는 영향을 체계적으로 조사할 필요가 있음을 언급한다.

핵심 요약: MOSS는 자율 에이전트가 엄격한 안전 가드레일 하에서 자체 소스 코드를 재작성할 수 있게 함으로써 프로덕션 AI 시스템의 자체 복구 속도를 크게 가속화한다. AI‑구동 서비스를 구축하는 개발자에게 “배포 후 정적”이 아닌 “지속적 자기 최적화”를 구현할 설득력 있는 청사진을 제공한다.

저자

• Qianshu Cai
• Yonggang Zhang
• Xianzhang Jia
• Wei Xue
• Jun Song
• Xinmei Tian
• Yike Guo

논문 정보

• arXiv ID: 2605.22794v1
• 분류: cs.AI, cs.LG
• 발표일: 2026년 5월 21일
• PDF: Download PDF