[Paper] Backpropagation-Free Feedback-Hebbian Network에 대한 Continual Learning Dynamics
Source: arXiv - 2601.06758v1
개요
This paper explores whether a tiny neural network that doesn’t use back‑propagation can still exhibit the kinds of learning dynamics needed for continual learning—i.e., acquiring new tasks without catastrophically forgetting old ones. By wiring a simple feed‑forward predictor together with a dedicated feedback pathway that re‑creates past activity, the author shows that purely local Hebbian updates can produce interpretable patterns of retention and forgetting on a controlled association task.
핵심 기여
- Back‑propagation‑free 아키텍처: 두 개의 feed‑forward 레이어와 두 개의 feedback 레이어로 구성된 컴팩트한 prediction‑reconstruction 네트워크를 도입하며, 모든 레이어가 단일 로컬 학습 규칙으로 학습됩니다.
- 통합 Hebbian‑plus‑supervised 규칙: 중심화된 Hebbian 공분산, Oja‑style 가중치 안정화, 그리고 (타깃 라벨이 존재할 경우) 로컬 supervised drive를 결합하여 가중치 전송 없이 동작합니다.
- 지속 학습 다이내믹스: 순차 학습(A → B) 시 초기 연관성에 대한 LTD‑like 억제와 feedback 가중치에 “흔적”을 보존함을 보여줍니다.
- 교차 학습 행동: 결정적인 교차 방식(A, B, A, B, …)이 두 연관성을 동시에 유지하게 하며, 하나가 다른 것을 덮어쓰지 않음을 입증합니다.
- 소거 분석: feedback 경로와 학습 규칙 각 항목의 기여도를 분리하여, 재생성과 공동 유지가 발생하는 이유를 명확히 합니다.
- 투명한 메커니즘 통찰: 레이어별 활동 스냅샷과 가중치 궤적 시각화를 제공하여 학습 과정을 쉽게 해석할 수 있게 합니다.
방법론
-
네트워크 레이아웃
- Feed‑forward stack: 입력 → 은닉 → 출력 (두 층)으로, 입력‑대‑레이블 직접 매핑을 학습합니다.
- Feedback stack: 현재 은닉 활동을 받아 이전 은닉 상태를 재구성하고, 이를 은닉 층에 additive temporal context 로 다시 추가하는 두 층입니다.
-
학습 스케줄
- Sequential: 연관 A를 수렴할 때까지 학습한 뒤, 연관 B로 전환합니다.
- Deterministic interleaving: 학습 전 과정에서 A와 B의 단일 예시를 교대로 제시합니다.
-
학습 규칙 (시냅스당)
[ \Delta w = \eta\big[,\underbrace{(x-\bar{x})(y-\bar{y})}_{\text{centered Hebbian}}
- \underbrace{\lambda w}_{\text{Oja stabilization}}
- \underbrace{\gamma,\text{target_drive}}_{\text{local supervised term}},\big] ]
- 전역 오류 신호 없이, 그래디언트 역전파도 없으며, 별도의 전방/후방 가중치 복사본도 없습니다.
-
지표
- Connectivity snapshots: 학습 단계별 각 가중치 행렬의 행/열 평균.
- Retention index: 두 번째 연관을 학습한 후 원래 연관이 얼마나 보존되는지를 정규화한 측정값.
- Activity visualizations: 에포크에 걸쳐 각 입력에 대한 은닉 층의 반응.
결과 및 발견
| Training regime | Forward‑output weights | Feedback weights | Retention index |
|---|---|---|---|
| Sequential A → B | A와 관련된 출력 가중치가 강한 LTD‑유사 감소를 보이며 (B를 학습함에 따라 약해짐). | A와 관련된 흔적이 피드백 가중치에 남아 있어 A의 잠재적 기억을 제공한다. | A에 대해 낮음(큰 망각), B에 대해 높음. |
| Deterministic interleaving | A와 B 모두와 관련된 출력 가중치가 최고값 근처를 유지한다. | 피드백 가중치에 두 작업의 혼합된 흔적이 포함된다. | A와 B 모두에 대해 높음(공동 유지). |
| Ablations | 피드백을 제거하면 A의 흔적이 사라져 순차 모드에서 완전한 망각이 발생한다. | 지도 항을 없애면 출력 선택성이 감소하여 두 작업이 서로 섞이게 된다. | — |
시각화 결과는 피드백 경로가 이전 숨겨진 표현의 완화된 버전을 재주입하여 새로운 데이터가 들어와도 해당 출력 시냅스를 안정화시킴을 보여준다. Oja 항은 가중치의 폭주적 증가를 방지하여 시스템을 수치적으로 안정하게 유지한다.
실용적 함의
- Edge AI & Tiny Devices: 전체 학습 파이프라인이 국부적, 시냅스별 업데이트로 실행되므로 메모리 대역폭과 에너지가 제한된 하드웨어(예: 뉴로모픽 칩, 마이크로‑컨트롤러)에 적합합니다.
- Continual‑learning without Replay: 피드백 연결에 잠재적인 흔적을 보존함으로써, 네트워크는 비용이 많이 드는 경험 재생 버퍼의 필요성을 회피합니다. 이는 온‑디바이스 학습에서 흔히 발생하는 병목 현상입니다.
- Interpretability: 각 가중치 업데이트가 투명한 규칙을 따르기 때문에, 개발자는 왜 망각이 발생하는지 추론하고 (예: Oja 감쇠 조정) 개입할 수 있습니다.
- Hybrid Systems: 이 아키텍처는 기존 딥넷 위에 쌓아 사용할 수 있어, 국부 플라스티시티 모듈을 제공함으로써 빠른 적응을 담당하고, 나머지 네트워크는 오프라인에서 역전파로 학습된 상태를 유지합니다.
- Neuroscience‑inspired AI: 생물학적으로 타당한 학습(헵비안 + 피드백)이 기능적인 지속 학습 행동을 달성할 수 있음을 보여주며, AI 견고성을 위한 뇌 영감 메커니즘에 대한 연구를 촉진합니다.
제한 사항 및 향후 연구
- 규모: 실험은 작은 두 쌍 연관 작업에만 제한되어 있으며, 이 접근법이 고차원 데이터(예: 이미지, 언어)로 어떻게 확장되는지는 아직 불분명합니다.
- 작업 다양성: 정적 목표를 가진 감독 학습 분류만을 조사했으며, 지속적인 강화 학습이나 비지도 설정은 다루지 않았습니다.
- 피드백 용량: 피드백 경로는 단순한 선형 재구성으로 구성되어 있으며, 보다 풍부한 순환 또는 어텐션 기반 피드백이 추적 정확성을 향상시킬 수 있지만 복잡성이 증가합니다.
- 이론적 보장: 경험적 유지 지표는 보고되었지만, 망각이나 안정성에 대한 형식적인 경계는 제공되지 않았습니다.
- 하드웨어 검증: 실제 뉴로모픽 하드웨어에 대한 구현이 제시되지 않았으며, 향후 연구에서는 에너지 및 지연 이점을 벤치마크할 수 있습니다.
전체적으로, 이 논문은 전용 피드백을 갖춘 국소 Hebbian 학습이 지속 학습 역학을 지원할 수 있음을 보여주는 설득력 있는 개념 증명을 제공하며, 경량화되고 해석 가능한 적응형 AI 시스템으로 나아가는 길을 열어줍니다.
저자
- Josh Li
논문 정보
- arXiv ID: 2601.06758v1
- Categories: cs.NE, cs.LG
- Published: 2026년 1월 11일
- PDF: Download PDF