[Paper] CogniSNN: 스파이킹 뉴럴 네트워크에서 무작위 그래프 아키텍처를 활용한 뉴런 확장성, 경로 재사용성 및 동적 구성 가능성 구현

Source: arXiv - 2512.11743v1

개요

본 논문은 CogniSNN이라는 새로운 종류의 스파이킹 신경망(SNN)을 소개한다. 기존의 층‑별 “체인” 구조를 포기하고, 생물학적 뉴런 연결 방식을 모방한 무작위 그래프 연결을 채택한다. 이를 통해 저자들은 뇌와 유사한 세 가지 특성—Neuron‑Expandability, Pathway‑Reusability, Dynamic‑Configurability—을 달성하면서, 최신 SNN들의 벤치마크 성능과 동등하거나 더 나은 결과를 얻었다고 주장한다.

주요 기여

• Random Graph Architecture (RGA) for SNNs: 확률적 신경 배선을 모방하여 경로의 유연한 확장 및 재사용을 가능하게 함.
• Pure spiking residual blocks와 adaptive pooling 방식을 도입해 깊은 무작위 그래프에서 발생할 수 있는 신호 감소와 차원 불일치를 방지.
• Key Pathway‑based Learning without Forgetting (KP‑LwF): 중요한 경로를 재사용하여 다중 작업 학습 시 이전 지식을 유지하는 지속 학습 전략.
• Dynamic Growth Learning (DGL) 알고리즘: 추론 중 시간 차원에 따라 뉴런과 시냅스를 성장시켜 간섭을 감소시키고, 뉴로모픽 칩의 고정 타임스텝 제약을 완화.
• 광범위한 실증 검증: DVS‑CIFAR10, N‑Caltech101, Tiny‑ImageNet 등 뉴로모픽 데이터셋에서 선도적인 SNN 모델들과 경쟁하거나 우수한 정확도를 달성함을 입증.

방법론

1. Random Graph Generation – 층을 쌓는 대신, 네트워크를 방향성 비순환 무작위 그래프로 구성한다. 각 노드는 스파이킹 뉴런 그룹이며, 엣지 확률은 설정 가능한 분포에 따라 결정돼 하드웨어 예산에 맞게 그래프를 조밀하거나 희소하게 만든다.
2. Spiking Residual Connections – 많은 홉을 거쳐도 신호 크기가 안정적으로 유지되도록 고전적인 residual shortcut을 스파이크 전용으로 구현한다(부동소수점 우회 없음). 이를 통해 깊은 SNN에서 흔히 발생하는 “vanishing spike” 문제를 방지한다.
3. Adaptive Pooling – 각 그래프 블록 뒤에 풀링 연산자를 두어 현재 스파이크 활동에 따라 적절한 공간 해상도를 동적으로 선택한다. 이는 병렬 경로를 병합할 때 형태 불일치를 방지한다.
4. KP‑LwF – 다중 작업 학습 시, 시스템은 “핵심 경로”(작업 손실에 가장 크게 기여하는 서브‑그래프)를 식별하고 이를 고정한 채 다른 경로는 자유롭게 적응시켜, 재앙적 망각 없이 이전 지식을 보존한다.
5. Dynamic Growth Learning – 시퀀스를 처리하는 동안, 시간적 맥락이 더 높은 용량을 요구하면 네트워크가 실시간으로 새로운 뉴런이나 시냅스를 생성한다. 성장 결정은 정확도 향상과 하드웨어 비용을 균형 있게 고려하는 스파이크 기반 유틸리티 메트릭에 의해 이루어진다.

모든 구성 요소는 표준 스파이킹 원시 연산(Leaky‑Integrate‑and‑Fire 뉴런, surrogate gradient 역전파)으로 구현되어 기존 SNN 툴킷(BindsNET, Norse 등)과 호환된다.

결과 및 발견

• Pathway‑Reusability: 순차 다중 작업 실험(CIFAR‑10 → CIFAR‑100 → Tiny‑ImageNet)에서 CogniSNN은 초기 작업 성능을 90 % 이상 유지했지만, 기존 SNN은 70 % 이하로 급락했다.
• Dynamic Growth: 1 ms 타임스텝 예산이 엄격한 뉴로모픽 칩 시뮬레이션에서 DGL은 추론 지연 시간을 약 15 % 감소시키면서 정적 버전 대비 정확도 손실을 0.5 % 이내로 유지했다.
• Resource Efficiency: 약 30 % 적은 시냅스로 구성된 무작위 그래프가 밀집 피드‑포워드 SNN과 동등한 정확도를 달성했으며, 이는 하드웨어 전력 절감 가능성을 시사한다.

실용적 함의

• 뉴로모픽 하드웨어 배포 – 무작위 그래프 레이아웃은 교차바 배열에 자연스럽게 매핑되며, 희소성을 활용해 에너지 소비를 낮출 수 있다. DGL 메커니즘은 많은 SNN 가속기에서 문제시되는 고정 타임스텝 병목을 직접 해결한다.
• 엣지 디바이스에서의 지속 학습 – KP‑LwF는 새로운 제스처 클래스 추가와 같은 현장 업데이트를 전체 재학습 없이 가능하게 하여 IoT 센서에 유용하다.
• 확장 가능한 아키텍처 설계 – 개발자는 그래프 밀도와 성장 정책을 조정해 지연 시간, 전력, 메모리 제약을 세밀하게 맞출 수 있어, 전통적인 “층‑크기” 조절보다 더 정교한 트레이드‑오프가 가능하다.
• 툴체인 호환성 – 저자들이 표준 surrogate‑gradient 학습을 기반으로 구현했기 때문에 기존 PyTorch 기반 SNN 파이프라인에 최소한의 코드 변경만으로 CogniSNN을 적용할 수 있다.

제한점 및 향후 연구

• 그래프 생성 오버헤드 – 무작위 그래프 구성 및 라우팅 로직이 컴파일 시 약간의 비용을 추가하지만, 자동 하드웨어 매핑 도구에 대한 탐색은 부족하다.
• 대규모 데이터셋에 대한 확장성 – 실험은 Tiny‑ImageNet까지 진행했으며, 전체 ImageNet이나 비디오 스트림에 대한 적용 가능성은 아직 검증되지 않았다.
• 생물학적 타당성 vs. 엔지니어링 트레이드‑오프 – 구조는 더 뇌에 가깝지만, surrogate‑gradient 학습은 여전히 비스파이킹 역전파에 의존한다는 점을 저자들은 인정한다.
• 향후 방향: (1) 하드웨어 인식 그래프 합성 통합, (2) 평생 학습을 위한 시냅스 프루닝을 지원하는 DGL 확장, (3) 무작위 그래프 SNN 코어와 기존 딥러닝 모듈을 결합한 하이브리드 ANN‑SNN 파이프라인 탐색.

저자

• Yongsheng Huang
• Peibo Duan
• Yujie Wu
• Kai Sun
• Zhipeng Liu
• Changsheng Zhang
• Bin Zhang
• Mingkun Xu

논문 정보

• arXiv ID: 2512.11743v1
• Categories: cs.NE, cs.AI
• Published: December 12, 2025
• PDF: Download PDF