[논문] 피드백 정렬의 랭크 붕괴 극복

Source: arXiv - 2606.11123v1

개요

역전파(Backpropagation, BP)는 오류 전파를 위해 피드백 가중치가 순전파 가중치의 전치이어야 한다는 점 때문에 생물학적으로 실현 가능하지 않다고 널리 여겨진다. 이 문제를 피하기 위해 고정된 무작위 피드백 가중치를 사용해 네트워크를 학습시키면, 학습 과정에서 순전파 가중치가 피드백 가중치와 정렬되어 역전파된 오류 신호가 BP에서 사용되는 표준 그래디언트의 근사치가 된다. 이 현상을 **피드백 정렬(Feedback Alignment, FA)**이라고 하며, MLP와 매우 얕은 CNN에서는 발생하지만 깊은 구조로 확장하기는 어렵다. 본 연구에서는 CIFAR‑10으로 학습된 BP와 FA 모델 간의 차이를 조사했으며, 특히 신호의 유효 랭크(effective rank)에 초점을 맞추었다. FA 오류는 BP에 비해 랭크가 현저히 낮아 낮은 차원의 부분공간에 제한되므로 파라미터 공간 탐색이 제한된다는 것을 발견했다. 이러한 관찰에 기반해 FA의 유효 차원을 높이는 두 가지 메커니즘을 평가했다: 가중치 업데이트를 직교화하는 옵티마이저 Muon과 활성화 직교성을 촉진하는 숨은 활성화 정규화(hidden activity normalization). 더 큰 아키텍처와 벤치마크에서 이 방법들은 FA 베이스라인을 일관되게 개선했으며, 예를 들어 ResNet‑18을 사용한 CIFAR‑100에서는 정확도가 9% 포인트 상승했다. 우리의 결과는 저차원 그래디언트 역학이 FA 확장의 주요 장애물임을 밝히고, 고차원 업데이트 기하학을 유도하는 것이 역전파 대안의 확장을 위한 유망한 방향임을 시사한다.

주요 기여

이 논문은 다음 분야의 연구를 제시한다:

• cs.LG

방법론

자세한 방법론은 전체 논문을 참고하시기 바란다.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여한다.

저자

• Gauthier Boeshertz
• Razvan Pascanu
• Claudia Clopath

논문 정보

• arXiv ID: 2606.11123v1
• 분류: cs.LG
• 발표일: 2026년 6월 9일
• PDF: PDF 다운로드