재활용 LoRA의 매력과 현실: Adaptive Merging

Source: Hacker News

Abstract

미세 조정된 LoRA 모듈이 오픈 사전 학습 모델에 널리 제공되면서, 성능을 향상시키기 위해 LoRA를 적응적으로 병합하는 방법에 대한 관심이 높아졌습니다. 이러한 방법은 일반적으로 풀(pool)에서 LoRA를 선택하고 작업‑특정 데이터셋을 기반으로 병합 계수를 조정하는 방식을 포함합니다.

적응적 병합 방법이 일부 설정에서 개선을 보여주었지만, Hugging Face Hub와 같은 모델 저장소에서 “자연스럽게” 발견된 LoRA를 재활용하려는 시도는 이전 연구에서 이루어지지 않았습니다. 이 격차를 메우기 위해, 우리는 Llama 3.1 8B‑Instruct 언어 모델을 기반으로 사용자가 기여한 거의 1,000개의 LoRA 풀에서 재활용하는 방안을 고려합니다.

우리의 실증 연구는 다양한 적응형 및 비적응형 병합 방법과, 방법론 설계 공간을 넓게 탐색하여 설계된 새로운 방법을 포함합니다. 우리는 적응형 병합 방법이 기본 모델보다 성능을 향상시킬 수 있지만, 병합 계수를 설정하는 데 사용된 동일한 데이터로 새 LoRA를 학습하는 것에 비해 제한적인 이득만을 제공한다는 것을 보여줍니다.

또한, 병합할 LoRA의 구체적인 선택은 큰 중요성을 갖지 않으며, 무작위 초기화된 파라미터 값을 가진 LoRA를 사용해도 유사한 성능을 얻는다는 것을 발견했습니다. 이는 재활용된 LoRA를 이용한 적응형 병합이 긍정적인 교차‑작업 전이보다는 일종의 정규화 효과에 의해 주로 작동할 가능성을 시사합니다.

과거 연구가 성공한 이유를 더 잘 이해하기 위해, 풀에 매우 관련성이 높은 LoRA가 존재할 경우 긍정적인 전이가 실제로 가능함을 확인했습니다. 우리는 모델 체크포인트와 코드를 온라인으로 공개합니다.