[Paper] Large Language Models 시대의 Model Merging: 방법, 응용, 그리고 미래 방향

Source: arXiv - 2603.09938v1

개요

모델 병합을 사용하면 여러 개의 파인튜닝된 대형 언어 모델(LLM)을 하나의 즉시 실행 가능한 모델로 결합할 수 있습니다—전체 재학습 비용이나 앙상블의 지연 없이. 송과 정이 수행한 이 조사에서는 FUSE 분류법(Foundations, Unification Strategies, Scenarios, Ecosystem)을 소개하고 빠르게 변화하는 연구 환경을 지도화하여, 예산이 제한된 개발자들이 특화된 LLM 기능을 구성할 수 있는 실용적인 로드맵을 제공합니다.

주요 기여

• FUSE taxonomy – 모델 병합과 관련된 이론, 알고리즘, 사용 사례 및 도구를 조직하는 4차원 프레임워크.
• Theoretical grounding – 손실 지형 기하학, 모드 연결성, 그리고 단순 가중치 평균이 작동하는 이유를 설명하는 Linear Mode Connectivity (LMC) 가설에 대한 명확한 설명.
• Comprehensive algorithmic survey – 가중치 평균, 작업 벡터 연산, 희소화 강화 병합, 전문가 혼합(MoE) 하이브리드, 그리고 진화 최적화 방법을 다룸.
• Application matrix – 각 병합 전략을 다중 작업 학습, 안전 정렬, 도메인 특화 적응, 다국어 전이, 연합 학습과 같은 구체적인 다운스트림 작업에 매핑.
• Ecosystem overview – 오픈소스 라이브러리(예: mergekit, lm‑merge, Hugging Face adapters), 커뮤니티 벤치마크 및 모범 사례 가이드라인을 정리.
• Future‑direction checklist – 이론, 확장성, 표준화와 같은 열린 연구 과제를 강조하여 학계와 산업 모두를 안내.

방법론

저자들은 분류‑별 설문조사 접근 방식을 채택합니다:

1. 기초 – 신경망 손실 표면의 기하학을 검토하면서, 미세 조정된 모델이 종종 연결된 분지에 위치하여 선형 보간을 해도 손실이 크게 증가하지 않음을 보여줍니다.
2. 통합 전략 – 각 병합 알고리즘을 핵심 공식(예: 가중치의 단순 산술 평균, 혹은 기본 모델에 “작업 벡터”를 추가)과 실용적 보강(희소성 마스크, MoE 라우팅, 혹은 진화적 탐색)으로 나눕니다.
3. 시나리오 – 이러한 전략을 실제 배포 환경에 매핑하고, 컴퓨팅 예산, 지연 시간, 프라이버시와 같은 제약 조건을 논의합니다.
4. 생태계 – 기존 도구, 벤치마크 스위트, 커뮤니티 리소스를 평가하여 사용 용이성, 확장성, 재현성을 기준으로 등급을 매깁니다.

이 설문조사는 체계적인 문헌 검토(2024년 초까지 arXiv, ACL, NeurIPS 및 주요 학회 논문을 검색)와 대표적인 방법들을 오픈 LLM 체크포인트(예: LLaMA‑7B, Mistral‑7B)에서 직접 검증한 결과를 기반으로 합니다.

결과 및 발견

* 향상은 동일 실험 설정에서 가장 강력한 단일 파인튜닝 모델에 대한 상대적인 값입니다.

전체적으로, 조사 결과 단순 평균이 모델이 모드 연결될 때 놀라울 정도로 강력한 베이스라인이라는 것이 밝혀졌으며, 보다 정교한 전략(희소화, MoE, 진화적 탐색)은 다양한 체크포인트에 대해 더 큰 향상을 제공합니다.

실용적인 시사점

• 빠른 프로토타이핑 – 개발자는 몇 개의 도메인‑특화 어댑터(예: 법률, 코드, 의료)를 몇 분 안에 병합하여 “슈퍼‑모델”을 만들 수 있어, 비용이 많이 드는 파인‑튜닝 파이프라인을 피할 수 있습니다.
• 비용 효율적인 확장 – 모델 병합은 대규모 앙상블의 필요성을 줄여 추론 지연 시간과 GPU 메모리를 최대 70 %까지 절감하면서 다중 작업 역량을 유지합니다.
• 연합 및 프라이버시‑보호 AI – 원시 데이터를 공유할 수 없는 환경에서 각 참여자는 로컬 LLM을 학습한 뒤 가중치를 병합함으로써 데이터 이동 없이 집합적인 지식을 얻을 수 있습니다.
• 안전성 및 정렬 – 기본 모델에 전용 정렬 체크포인트를 병합함으로써 전체 모델을 재학습하지 않아도 정책 준수를 강제할 수 있습니다.
• 툴링 통합 – mergekit와 같은 라이브러리는 CLI를 제공해 Hugging Face 파이프라인에 바로 연결할 수 있어, 기존 CI/CD 워크플로에 병합을 한 줄 코드만 추가하면 됩니다.
• 제품 로드맵 – “AI‑as‑a‑service” 플랫폼을 구축하는 기업은 “능력 번들”(예: “재무 + 요약”)을 사전 병합된 모델 형태로 제공함으로써 라이선스 관리와 배포를 단순화할 수 있습니다.

제한 사항 및 향후 연구

• 이론적 공백 – 모드 연결성이 많은 성공을 설명하지만, 병합이 언제 실패할지(예: 매우 다른 아키텍처 간) 예측하는 통합 이론은 아직 없습니다.
• 확장성 – 진화 기반 및 MoE 기반 병합은 여전히 대형 LLM에 대해 여러 번 순전파를 필요로 하며, 30 B 파라미터 이상의 모델에는 비용이 크게 부담됩니다.
• 표준화 – 병합된 모델에 대한 평가 벤치마크에 대한 합의가 없으며, 커뮤니티는 임시적인 태스크 스위트에 의존해 재현성이 어렵습니다.
• 안전성 우려 – 병합 과정에서 구성 모델들의 바람직하지 않은 행동이 의도치 않게 결합될 수 있으며, 체계적인 감사 도구는 아직 초기 단계에 있습니다.
• 강조된 향후 방향은 다음과 같습니다:
  1. 하위 손실 표면을 고려하는 gradient‑aware 병합 기법 개발.
  2. 공정한 비교를 위한 벤치마크 스위트 구축(예: “MergeBench”).
  3. 새로운 파인튜닝 체크포인트가 도착할 때마다 통합 모델을 업데이트하는 지속적 병합 파이프라인 탐색.

저자

• Mingyang Song
• Mao Zheng

논문 정보

• arXiv ID: 2603.09938v1
• 분류: cs.CL
• 출판일: 2026년 3월 10일
• PDF: Download PDF