[논문] TailLoR: 파라미터 효율적 지속 학습에서 주성분 보호

출처: arXiv - 2606.06494v1

개요

스펙트럼 분해에 기반한 파라미터 효율적인 파인튜닝 방법은 지속 학습(Continual Learning)에서 진전을 이끌어 왔습니다. 본 논문에서는 사전 학습된 가중치의 특이 기반 (U)와 (V)를 고정된 기준 프레임으로 활용하고, 특이값 행렬에 저랭크 업데이트를 적용하는 TailLoR을 제안합니다. 부드러운 스펙트럼 페널티는 지배적인 특이 방향과 정렬된 업데이트를 억제하여 간섭을 감소시키고, 미세한 적응을 매우 유연한 롱테일 스펙트럼 좌표로 라우팅합니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다.

• cs.LG

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여합니다.

저자

• Marius Dragoi
• Ioana Pintilie
• Alexandra Dragomir
• Antonio Barbalau
• Florin Brad

논문 정보

• arXiv ID: 2606.06494v1
• 분류: cs.LG
• 발표일: 2026년 6월 4일
• PDF: PDF 다운로드