[Paper] 파라미터 효율적인 하이브리드 스파이킹-퀀텀 컨볼루션 신경망 with surrogate gradient and quantum data-reupload

Source: arXiv - 2512.03895v1

개요

이 논문은 SQDR‑CNN이라는 하이브리드 스파이킹‑양자 컨볼루션 신경망을 소개한다. 이 모델은 일반적인 역전파(back‑propagation)만으로 끝‑끝(end‑to‑end) 학습이 가능하다. 스파이킹 신경망(SNN)과 양자 데이터‑재업로드 회로를 결합함으로써, 매우 작은 완전 학습 가능한 모델이 기존 SNN 대비 파라미터는 극히 적게 사용하면서도 비전 벤치마크에서 거의 최첨단(SOTA) 수준의 정확도를 달성한다.

주요 기여

• 공동 학습 가능한 하이브리드 아키텍처 – 컨볼루션 SNN 인코더와 변분 양자 회로(VQC)를 하나의 미분 가능한 파이프라인에 통합한 최초 설계로, 사전 학습된 스파이킹 인코더가 필요하지 않다.
• 양자 데이터‑재업로드 레이어 – 고전적인 활성화를 얕은 VQC에 반복적으로 주입하는 재사용 가능한 양자 특징 인코딩 방식을 도입해 회로 깊이를 늘리지 않고 표현력을 강화한다.
• 대리 그라디언트 역전파 – 대리 그라디언트 방법을 적용해 스파이킹 비선형성과 양자 레이어를 동시에 통해 오류를 전파한다.
• 파라미터 효율성 – 가장 작은 경쟁 스파이킹 모델 파라미터의 **0.5 %**만 사용하면서도 최고 SNN 정확도의 약 **86 %**를 달성한다.
• 양자 노이즈에 대한 강인성 – 현실적인 노이즈가 포함된 양자 시뮬레이터에서 모델을 평가하여 완만한 성능 저하를 보이며 근시일 내 양자 하드웨어에서의 실현 가능성을 확인한다.

방법론

1. 컨볼루션 스파이킹 프론트‑엔드 – 입력 이미지는 몇 개의 2‑D 컨볼루션 레이어와 누설 적분‑발화(LIF) 뉴런을 거쳐 처리된다. 스파이킹 활동은 부드러운 대리 함수로 근사되어 그라디언트 흐름을 가능하게 한다.
2. 양자 데이터‑재업로드 블록 – 스파이크 기반 특징 맵을 평탄화하여 큐비트 회전 각도로 인코딩한다. 얕은 VQC(보통 2–3층의 파라미터화된 단일 큐비트 회전 및 얽힘 CNOT) 를 반복 실행하며, 각 라운드마다 동일 데이터를 업데이트된 파라미터와 함께 “재업로드”한다. 이는 회로 깊이를 낮게 유지하면서 더 깊은 네트워크를 모방한다.
3. 하이브리드 손실 및 최적화 – 양자 측정에서 얻은 출력 확률을 교차 엔트로피 손실에 입력한다. 전체 시스템(CNN, 스파이킹 동역학, VQC)은 Adam으로 최적화되며, 스파이크에 대해서는 대리 그라디언트, 양자 게이트에 대해서는 파라미터‑시프트 규칙을 사용한다.
4. 노이즈 모델링 – 디포라라이징 및 읽기 오류를 양자 시뮬레이터에 주입해 NISQ‑시대 하드웨어를 에뮬레이션하고, 현실적인 조건에서의 안정성을 평가한다.

결과 및 발견

• 파라미터 감소: SQDR‑CNN은 가장 작은 SNN 베이스라인 파라미터의 **≈0.5 %**만 사용하면서도 경쟁력 있는 정확도를 달성한다.
• 학습 안정성: 공동 역전파가 스파이킹 인코더의 사전 학습 없이도 수렴하며, 기존 SQNN 연구가 고정된 SNN에 의존했던 점과 차별화된다.
• 노이즈 내성: 디포라라이징 노이즈 1 %가 추가될 경우 정확도 감소가 < 3 %에 머물러 얕은 양자 회로가 근시일 하드웨어의 불완전성을 견딜 수 있음을 보여준다.

실용적 함의

• 초저메모리 엣지 AI – 극단적인 파라미터 효율성 덕분에 웨어러블, IoT 센서 등 메모리 제한이 심한 디바이스에서 양자 블록을 클라우드 기반 양자 프로세서에 오프로드하는 형태로 활용하기에 매력적이다.
• 하이브리드 추론 파이프라인 – 개발자는 대부분의 연산을 클래식 GPU(스파이킹 CNN)에서 수행하고, 최종 분류 단계에서만 가벼운 양자 서비스를 호출함으로써 양자 실행 시간과 비용을 최소화할 수 있다.
• 에너지 인식 뉴로모픽 시스템 – 스파이킹 인코더는 이벤트 기반이며 전력 소모가 적다; 여기에 작은 양자 회로를 결합하면 밀집 CNN 대비 추론당 에너지를 더욱 낮출 수 있다.
• 양자 강화 모델의 빠른 프로토타이핑 – 대리 그라디언트 + 파라미터‑시프트 학습 루프를 기존 PyTorch/TensorFlow 워크플로에 바로 삽입할 수 있어, 양자 프로그래밍 전문 지식이 부족한 ML 엔지니어도 양자 레이어 실험이 가능하다.

제한 사항 및 향후 연구

• 대규모 데이터셋에 대한 확장성 – 현재 실험은 비교적 작은 비전 벤치마크에 국한되어 있다. ImageNet 수준의 작업으로 확장하려면 더 깊은 클래식 백본이나 보다 정교한 양자 인코딩이 필요할 수 있다.
• 하드웨어 접근성 – 연구는 시뮬레이션된 노이즈 양자 디바이스에 의존했으며, 실제 NISQ 하드웨어에서의 성능은 캘리브레이션 오류와 제한된 큐비트 수 때문에 차이가 날 수 있다.
• 회로 깊이 vs. 표현력 트레이드‑오프 – 데이터‑재업로드가 깊이를 완화하지만 얕은 VQC의 표현력은 여전히 제한적이다. 향후 적응형 회로 구조나 하이브리드 양자‑클래식 어텐션 메커니즘을 탐색할 수 있다.
• 에너지 예산 분석 – 양자 통신 오버헤드까지 포함한 전체 에너지 소비에 대한 상세 비교가 아직 부족하며, 이는 엣지 배포 시 필수적인 평가 항목이다.

핵심 요약: SQDR‑CNN은 신중히 설계된 스파이킹‑양자 하이브리드가 파라미터를 극소화하면서도 SOTA 수준의 성능을 제공할 수 있음을 보여준다. 이는 저자원 환경에서 양자 강화 AI를 실험하려는 개발자들에게 실용적인 길을 열어준다.

저자

• Luu Trong Nhan
• Luu Trung Duong
• Pham Ngoc Nam
• Truong Cong Thang

논문 정보

• arXiv ID: 2512.03895v1
• Categories: cs.NE
• Published: December 3, 2025
• PDF: Download PDF