[Paper] 실시간 잠재력을 갖춘 Spike-Driven Video Transformer를 이용한 외과 장면 분할

Source: arXiv - 2512.21284v1

개요

이 논문은 실시간 외과 장면 분할을 위해 설계된 스파이크‑구동 비디오 트랜스포머인 SpikeSurgSeg를 소개합니다. 스파이킹 신경망(SNN)과 트랜스포머 백본을 결합함으로써, 저자들은 무거운 ANN 모델에 필적하는 분할 품질을 달성하면서 지연 시간과 전력 소비를 크게 줄였습니다—이를 통해 수술실에서 저전력, 비‑GPU 하드웨어에 배포하는 것이 가능해졌습니다.

주요 기여

• 수술용 최초 스파이크 기반 비디오 Transformer – 비디오 프레임을 희소 스파이크 스트림으로 처리하는 새로운 아키텍처로, 기존 CNN/Transformer 파이프라인의 무거운 연산 없이도 시간적 컨텍스트를 보존합니다.
• 수술 장면 마스크 자동 인코딩 사전 학습 – 스파이크의 시공간 “튜브”를 마스킹하는 자체 지도 학습 방식으로, 제한된 라벨 데이터로부터 강인한 표현을 학습하도록 백본을 강제합니다.
• 경량 스파이크 기반 세그멘테이션 헤드 – 추론 지연 시간을 초저 수준으로 유지하면서 시간적으로 일관된 마스크를 생성합니다.
• 엣지 하드웨어에서 실시간 성능 – 최신 ANN 모델 대비 ≥ 8배 낮은 지연 시간과 대형 파운데이션 모델 대비 > 20배 빠른 속도를 달성했으며, 평균 Intersection‑over‑Union (mIoU) 손실 없이 구현했습니다.
• 광범위한 검증 – 공개 EndoVis18 벤치마크와 자체 SurgBleed 데이터셋에서 실험을 수행했으며, SOTA와 몇 포인트 차이 수준의 경쟁력 있는 정확도(mIoU)와 크게 감소된 연산량을 보여줍니다.

Methodology

1. Spike‑driven backbone – 저자들은 Vision Transformer (ViT)를 기반으로 시작하지만, 표준 밀집 활성화를 leaky‑integrate‑and‑fire (LIF) 뉴런에 의해 생성된 이진 스파이크로 교체합니다. 이를 통해 공간과 시간 모두에서 자연스럽게 희소한 이벤트‑형 데이터가 생성됩니다.
2. Masked autoencoding pre‑training – MAE에서 영감을 받아, 스파이크 활동의 연속적인 “튜브”(여러 프레임에 걸친 공간 패치)를 무작위로 마스킹합니다. 네트워크는 누락된 스파이크를 복원하도록 학습함으로써, 픽셀‑레벨 라벨 없이도 장거리 시공간 패턴을 포착하도록 장려됩니다.
3. Layer‑wise tube masking – 마스킹은 트랜스포머 레이어를 따라 점진적으로 적용되어, 초기 레이어는 저수준 움직임 단서에 집중하고, 깊은 레이어는 고수준 의미론을 포착합니다.
4. Segmentation head – 작은 스파이크 기반 디코더(몇 개의 선형 레이어와 스파이크‑소프트맥스)를 사용해 트랜스포머 출력을 픽셀‑레벨 클래스 점수로 업샘플링합니다. 이전 프레임의 스파이크 상태를 현재 단계에 입력함으로써 시간적 일관성을 강제하고, 부드러운 마스크 궤적을 생성합니다.
5. Training pipeline – 자체 지도 사전 학습 후, 제한된 외과 영상 분할 라벨을 사용해 백본을 표준 교차 엔트로피 손실로 미세 조정합니다. 이때 스파이킹 다이내믹은 변경되지 않습니다.

결과 및 발견

• 정확도: 스파이크 기반 모델은 최고 ANN 기준보다 mIoU가 약 1–2 %포인트 낮아 하드웨어 절감 효과를 고려하면 무시할 수 있는 차이입니다.
• 지연 시간: 일반적인 엣지 CPU(예: Intel i5)에서 엔드‑투‑엔드 파이프라인은 프레임당 15 ms 이하로 실행되어 실시간(> 60 fps) 요구 사항을 충족합니다.
• 전력: 스파이크는 이진이며 대부분의 뉴런이 정지 상태이므로, 추정 에너지 소비량은 밀집 ANN 추론보다 한 차례 정도 낮습니다.
• 견고성: 시간 일관성 지표(예: 비디오 IoU)는 프레임 단위 ANN 기준에 비해 약 5 % 향상됩니다. 이는 재귀적인 스파이크 상태 덕분입니다.

실용적 함의

• OR(수술실)에서의 엣지 배포 – 외과 의사들은 전용 GPU 없이도 컴팩트하고 배터리 구동 장치(예: Jetson Nano 또는 신경 가속기가 탑재된 마이크로컨트롤러)에서 고품질 장면 분할을 실행할 수 있습니다.
• 비용 절감 및 쉬운 통합 – 병원은 기존 복강경 타워에 저렴한 컴퓨팅 모듈을 추가 장착하여 AI 지원 안전 기능(출혈 감지, 기구 추적, 해부학 라벨링)의 도입을 가속화할 수 있습니다.
• 에너지 인식 로봇공학 – 장시간 수술에 투입되는 자율 외과 로봇은 전력 소모 감소로 배터리 수명이 연장되고 열 부하가 감소하는 이점을 얻습니다.
• 데이터 효율적인 학습 – 마스크드 자동인코딩 사전학습은 주석이 달린 외과 영상의 지속적인 부족을 완화하여 개발자가 비교적 작은 데이터셋으로 모델을 초기화할 수 있게 합니다.
• 오픈소스 가능성 – 스파이크 기반 트랜스포머 아키텍처는 인기 있는 SNN 프레임워크(예: BindsNET, SpykeTorch)로 포팅될 수 있어, 커뮤니티가 외과 분야를 넘어 산업 검사, AR/VR 등 저지연 비디오 AI를 실험할 수 있게 합니다.

Limitations & Future Work

• Hardware specificity – 저자들은 CPU에서 벤치마크를 수행했지만, 실제로 전용 뉴로모픽 칩(Loihi, TrueNorth)에서 배포할 경우 스파이크 병렬성을 완전히 활용하기 위해 추가적인 엔지니어링이 필요할 수 있습니다.
• Generalization to other procedures – 이 연구는 복강경 출혈 및 EndoVis 작업에 초점을 맞추었으며, 개방 수술 영상이나 초음파와 같은 다른 모달리티에 대한 성능은 아직 테스트되지 않았습니다.
• Spike quantization overhead – 기존 비디오 스트림을 스파이크로 변환하는 과정은 전력 소모가 극히 낮은 장치에서 병목 현상이 될 수 있는 전처리 단계를 도입합니다.
• Future directions – 저자들은 하이브리드 SNN‑ANN 파이프라인을 탐색하고, 마스크드 오토인코더를 도구 운동학과 같은 멀티모달 입력으로 확장하며, 접근 방식을 전신 외과 로봇 시나리오로 확장하는 것을 제안합니다.

저자

• Shihao Zou
• Jingjing Li
• Wei Ji
• Jincai Huang
• Kai Wang
• Guo Dan
• Weixin Si
• Yi Pan

논문 정보

• arXiv ID: 2512.21284v1
• 분류: cs.CV
• 출판일: 2025년 12월 24일
• PDF: PDF 다운로드