[Paper] 딥 뉴럴 네트워크의 Second-order Training을 In-memory Analog Matrix Computing으로 최초 시연

Source: arXiv - 2512.05342v1

Overview

이 논문은 저항성 RAM(RRAM)을 이용한 아날로그 인‑메모리 매트릭스‑컴퓨팅(AMC) 엔진 위에 구축된 진정한 2차 최적화기의 첫 번째 하드웨어 구현을 제시한다. 비용이 많이 드는 매트릭스 역전 단계를 단일 아날로그 연산으로 오프로드함으로써, 저자들은 기존의 1차 방법인 SGD‑momentum 및 Adam에 비해 컨볼루션 네트워크의 학습 속도가 크게 빨라지고 에너지 효율이 향상됨을 보여준다.

Key Contributions

• 아날로그 매트릭스‑역전 프리미티브: 헤시안 근사 매트릭스를 RRAM 크로스바에서 직접 한 단계 역전시켜 O(N³) 디지털 비용을 없앤다.
• 엔드‑투‑엔드 2차 학습 루프: 아날로그 INV 블록을 전방/역방향 전파, 그래디언트 누적, 파라미터 업데이트와 통합하여 프로토타입 칩에서 구현한다.
• 실증적 속도 향상: 손글씨 문자 분류를 위한 2‑계층 CNN에서, 아날로그 2차 최적화기는 SGD‑momentum 대비 26 % 적은 epoch, Adam 대비 61 % 적은 epoch에 수렴한다.
• 시스템 수준 이득: 더 큰 벤치마크에서 AMC 기반 트레이너는 최신 디지털 AI 가속기에 비해 처리량 5.9배, 에너지 효율 6.9배를 달성한다.
• 확장성 시연: 아날로그 매트릭스 컴퓨팅이 현대 딥러닝 곡률 근사(예: 블록‑대각 또는 크로네커‑분해 헤시안)의 전형적인 매트릭스 크기를 처리할 수 있음을 보여준다.

Methodology

1. 곡률 근사: 최적화기는 헤시안을 블록‑대각(또는 크로네커‑분해) 형태로 근사하여 RRAM 크로스바에 들어갈 만큼 작지만 유용한 2차 정보를 유지한다.
2. 인‑메모리 아날로그 연산:
   • RRAM 크로스바에 근사 매트릭스를 전도값으로 저장한다.
   • 전압 벡터를 크로스바에 인가하면 아날로그 영역에서 매트릭스‑벡터 곱이 발생한다(옴의 법칙).
   • 크로스바를 역전도 네트워크로 구성하면 동일 하드웨어가 x = H⁻¹ g를 직접 계산한다. 여기서 g는 그래디언트 벡터이다.
3. 학습 루프:
   • 전방 패스와 손실 계산은 기존 디지털 프로세서에서 수행한다.
   • 그래디언트는 AMC 블록으로 스트리밍되고, 전처리된 업데이트 방향을 반환한다.
   • 디지털 컨트롤러가 모델 파라미터에 업데이트를 적용하고 반복한다.
4. 프로토타입 칩: 저자들은 64 × 64 RRAM 어레이(≈ 4 kB 아날로그 저장소)를 제작하고, 데이터 이동 및 제어 로직을 담당하는 마이크로컨트롤러와 통합했다.

전체 파이프라인은 소프트웨어 개발자에게 투명하도록 설계되었으며, 최적화기는 표준 API(예: optimizer = AnalogSecondOrder())를 통해 호출될 수 있다.

Results & Findings

• 수렴: 아날로그 2차 방법은 목표 정확도에 도달하는 데 SGD‑momentum 대비 약 40 % 적은 epoch, Adam 대비 약 60 % 적은 epoch가 필요하다.
• 처리량: 매트릭스 역전이 단일 아날로그 단계이므로, 시스템은 유사 2차 알고리즘을 실행하는 고성능 GPU보다 ≈ 6배 빠르게 업데이트를 처리한다.
• 에너지: 아날로그 연산은 비용이 큰 디지털 곱셈을 없애며, 학습 단계당 에너지 7배 감소를 제공한다.

이 결과는 하드웨어 가속 곡률 정보가 알고리즘 효율성과 실제 학습 속도 사이의 격차를 메울 수 있음을 입증한다.

Practical Implications

• AI 가속기: 칩 설계자는 기존 데이터 경로를 전면 재설계하지 않고도 곡률 전처리를 위한 소규모 RRAM 크로스바를 추가하여 기존 학습 파이프라인의 성능을 크게 향상시킬 수 있다.
• 엣지 및 저전력 학습: 온‑디바이스 학습이 필요한 장치(예: 적응형 키보드, IoT 센서)는 제한된 전력 예산 내에서 2차 업데이트를 실행해 빠른 개인화를 구현할 수 있다.
• 프레임워크 통합: 최적화기는 torch.optim이나 tf.keras.optimizers의 대체품으로 래핑될 수 있어, 모델 코드를 재작성하지 않고도 2차 학습을 실험할 수 있다.
• 클라우드 비용 절감: 빠른 수렴은 대규모 모델 파인‑튜닝에 필요한 GPU‑시간을 감소시켜 클라우드 기반 ML 서비스의 운영 비용을 낮춘다.

전반적으로 이 연구는 가장 비용이 많이 드는 선형대수 연산인 매트릭스 역전을 아날로그 메모리에서 수행함으로써 실용적인 2차 학습을 가능하게 하는 새로운 AI 하드웨어 클래스를 제시한다.

Limitations & Future Work

• 매트릭스 크기: 현재 RRAM 어레이는 약 4 kB의 곡률 데이터만 지원한다; 매우 큰 모델의 전체 헤시안을 다루려면 계층적 또는 블록‑단위 전략이 필요하다.
• 정밀도 및 노이즈: 아날로그 역전은 양자화 및 열 노이즈를 도입한다; 저자들은 보정으로 이를 완화하지만, 고감도 작업에서는 여전히 정확도 차이가 남는다.
• 소자 변동성: RRAM 전도도 드리프트가 역전 품질에 영향을 미칠 수 있어, 주기적인 재프로그래밍이나 적응형 보정 스킴이 요구된다.
• 소프트웨어 스택: 주류 딥러닝 프레임워크와의 통합은 아직 프로토타입 수준이며, 견고한 드라이버와 컴파일러 지원이 예정되어 있다.

향후 연구 방향은 더 큰 크로스바 패브릭, 아날로그 역전과 디지털 정밀화가 결합된 혼합 정밀도 스킴, 그리고 2차 정보가 더욱 가치 있는 트랜스포머 계열 아키텍처에의 적용을 포함한다.

Authors

• Saitao Zhang
• Yubiao Luo
• Shiqing Wang
• Pushen Zuo
• Yongxiang Li
• Lunshuai Pan
• Zheng Miao
• Zhong Sun

Paper Information

• arXiv ID: 2512.05342v1
• Categories: cs.ET, cs.AR, cs.NE
• Published: December 5, 2025
• PDF: Download PDF