[Paper] 이진 신경망의 훈련 및 정규화를 위한 Quadratic Unconstrained Binary Optimisation

Source: arXiv - 2601.00449v1

Overview

새로운 연구에서는 이진 신경망(BNN)의 학습을 이차 무제한 이진 최적화(QUBO) 문제로 변환하는 방법을 제시하여, 빠른 이징 머신 하드웨어를 딥러닝 작업에 활용할 수 있는 길을 열었습니다. QUBO 공식화를 모든 네트워크 토폴로지에 확장하고 두 가지 새로운 정규화 기법을 도입함으로써, 저자들은 작은 이미지 분류 작업에서 일반화 성능이 측정 가능한 향상을 보였으며, 이는 엣지 디바이스에서 에너지 효율적인 AI를 구현할 실용적인 경로를 시사합니다.

주요 기여

• 일반화된 QUBO 공식화는 임의의 레이어 구조(얕은 네트워크나 피드‑포워드 네트워크에 국한되지 않음)에서도 작동하는 BNN 훈련을 가능하게 함.
• 마진 최대화 정규화는 뉴런 사전 활성값을 0에서 멀어지게 하여 보다 결정적인 이진 결정을 유도함.
• 반복적인 드롭아웃 스타일 정규화는 축소된 서브네트워크를 훈련하고 가중치에 대한 선형 페널티를 동적으로 조정함.
• GPU 기반 이징 머신 구현은 결과 QUBO 문제를 효율적으로 해결하여 일반 하드웨어에서도 실현 가능함을 보여줌.
• 실증적 검증은 이진 이미지 분류 벤치마크에서 새로운 정규화를 적용했을 때 테스트 세트 정확도가 향상됨을 보여줌.

방법론

1. Binary Network Encoding – BNN의 각 가중치와 편향은 이진 변수(±1)로 표현됩니다. 손실(예: 교차 엔트로피) 및 모든 정규화 항은 이러한 이진 변수들의 이차 함수로 표현되어 QUBO 행렬 Q를 생성합니다.
2. Extending to Arbitrary Topologies – 각 층의 선형 변환과 활성화를 위한 Q‑블록을 체계적으로 구성함으로써, 저자들은 깊이와 스킵 연결 여부에 관계없이 전체 네트워크를 포착하는 전역 Q를 조립합니다.
3. Regularisation Strategies
   • Margin regularisation 은 작은 절대값 사전 활성화를 벌점으로 추가하여 각 뉴런의 결정 마진을 효과적으로 넓힙니다.
   • Iterative dropout regularisation 은 무작위로 선택된 뉴런을 제외한 작은 QUBO들을 반복적으로 풀고, 얻어진 해를 사용해 선형 페널티 계수를 업데이트함으로써 드롭아웃의 확률적 정규화 효과를 모방합니다.
4. Solving the QUBO – Q 행렬을 GPU 가속 시뮬레이션 어닐링 이징 솔버에 입력하면, 낮은 에너지의 이진 구성(즉, 네트워크 파라미터 집합)을 탐색합니다. 이 과정은 여러 학습 에포크에 걸쳐 반복되며, 현재 해에서 도출된 새로운 그래디언트와 유사한 정보를 사용해 Q 행렬을 업데이트합니다.

결과 및 발견

• 이진 MNIST‑스타일 분류 작업(10‑클래스, 28×28 이미지 이진화)에서, 기본 QUBO‑학습 BNN은 ≈84 % 테스트 정확도를 달성했습니다.
• 마진 정규화기를 추가하면 정확도가 **≈87 %**로 상승하여 보이지 않는 입력에 대한 강인성이 향상됨을 보여줍니다.
• 반복 드롭아웃 정규화기도 비슷한 상승 효과(≈86 %)를 보였으며, 작은 학습 세트에서 과적합을 감소시켰습니다.
• 두 정규화기를 모두 결합하면 가장 높은 성능(≈88 %)을 얻었으며, 이들이 시너지 효과를 발휘함을 확인했습니다.
• GPU 기반 이징 솔버는 에포크당 몇 초 내에 수렴했으며, QUBO‑기반 학습이 소규모 문제에 대해 기존의 그래디언트 기반 방법과 경쟁할 수 있음을 입증했습니다.

실용적 시사점

• Edge AI 배포 – BNN을 바이너리 공간에서 직접 학습함으로써, 결과 모델은 마이크로컨트롤러, FPGA, 혹은 신흥 이징‑칩 가속기에서 초저전력 추론을 위해 이미 양자화되어 있습니다.
• 하드웨어 인식 최적화 – 개발자는 이제 조합 최적화 단계를 특수 이징 머신(예: D‑Wave, Fujitsu의 Digital Annealer)이나 고처리량 GPU에 오프로드할 수 있어, 부동소수점 역전파에 비해 학습 에너지를 수십 배 줄일 수 있습니다.
• 마진을 통한 견고성 – 마진 정규화는 센서 데이터의 노이즈에 덜 민감한 네트워크를 만들며, 이는 로보틱스, IoT, 자율 시스템에 유용한 특성입니다.
• 확률적 그래디언트 없이 드롭아웃 스타일 정규화 – 반복적인 스킴은 드롭아웃의 정규화 효과를 결정론적으로 구현해, 안전이 중요한 파이프라인에서 분석 및 디버깅이 더 용이합니다.
• 툴체인 통합 – QUBO 구성은 알고리즘화되어 있어 기존 딥러닝 프레임워크(PyTorch, TensorFlow)에 커스텀 옵티마이저로 래핑할 수 있으며, 개발자가 필요에 따라 경사 하강법과 QUBO 해결을 전환하는 하이브리드 워크플로우를 가능하게 합니다.

제한 사항 및 향후 작업

• Scalability – 실험은 매우 작은 네트워크에만 제한되어 있으며, QUBO 크기는 이진 파라미터 수에 따라 제곱적으로 증가하므로, 순진한 공식화는 현대 딥넷에 대해 금방 다루기 어려워집니다.
• Solver dependence – 성능은 기본 Ising 솔버의 품질과 속도에 달려 있으며, 하드웨어 제약이나 솔버 휴리스틱이 재현성에 영향을 줄 수 있습니다.
• Training dynamics – 현재 접근 방식은 에포크당 Q 행렬을 한 번만 업데이트하며, 표준 역전파의 세밀한 피드백 루프가 부족해 복잡한 작업에서 수렴을 방해할 수 있습니다.
• Future directions suggested by the authors include: 더 큰 아키텍처를 다루기 위한 계층적 QUBO 분해, BNN 훈련을 위한 맞춤형 ASIC Ising 가속기 공동 설계, 그리고 정규화 아이디어를 다비트 양자화 네트워크로 확장하는 것.

저자

• Jonas Christoffer Villumsen
• Yusuke Sugita

논문 정보

• arXiv ID: 2601.00449v1
• 분류: math.OC, cs.NE
• 출판일: 2026년 1월 1일
• PDF: PDF 다운로드