[논문] 동적 등거리성으로 지속 학습의 가소성 보존

출처: arXiv - 2606.09762v1

개요

비정상적인 환경에서 딥 뉴럴 네트워크를 지속적으로 학습시키면 플라스틱성이 점진적으로 손실되어 결국 추가 학습이 제한됩니다. 우리는 플라스틱성을 경험적 Neural Tangent Kernel과 연결하고, 층별 Jacobian 특이값이 1에 가깝게 유지되는 조건인 동적 등거리성(dynamical isometry)이 지속 학습에서 플라스틱성을 보존하는 핵심 메커니즘임을 확인했습니다. 거의 모든 위치에서 등거리성을 유지하면서도 보편적인 Lipschitz 함수 근사기를 제공하는 네트워크 클래스를 재조명하여, 근접 동적 등거리성이 표현력이 풍부한 비선형 표현과 양립할 수 있음을 보여줍니다. 일반적인 아키텍처에 대해서는 효율적인 등거리성 촉진 정규화 방식을 제안하고, 이를 통해 휴면 상태였던 ReLU 유닛을 재활성화할 수 있는 새로운 메커니즘을 규명했습니다. 이를 바탕으로 AdamW와 유사하게 등거리성 정규화를 그래디언트 업데이트와 분리하는 Adam 스타일 적응형 옵티마이저인 AdamO를 도입했습니다. 또한 기존 플라스틱성 보존 방법들을 동적 등거리성 관점에서 재해석하여, 이들이 등거리성의 일부 측정치만을 목표로 함을 밝혀냈습니다. 플라스틱성 손실을 유도하도록 설계된 감독 학습 및 강화 학습 지속 학습 벤치마크 전반에 걸쳐, 우리의 방법은 기존 접근법과 동등하거나 이를 능가하는 성능을 일관되게 보여줍니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다:

• cs.LG
• cs.AI

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여합니다.

저자

• Andries Rosseau
• Robert Müller
• Ann Nowé

논문 정보

• arXiv ID: 2606.09762v1
• 분류: cs.LG, cs.AI
• 발표일: 2026년 6월 8일
• PDF: PDF 다운로드