[Paper] TopoLoRA-SAM: 얇은 구조와 교차 도메인 이진 의미 분할을 위한 토폴로지 인식 파라미터 효율 적응 기반 파운데이션 세그멘터

Source: arXiv - 2601.02273v1

개요

이 논문은 TopoLoRA‑SAM이라는 가볍고 토폴로지 인식 적응 레이어를 소개합니다. 이 레이어를 사용하면 대규모 Segment Anything Model (SAM)을 망막 혈관, 폴립, SAR 해양‑육지 탐지와 같은 이진 의미 분할 작업에 재활용할 수 있습니다. SAM의 방대한 Vision Transformer (ViT) 백본을 고정하고 전체 파라미터 중 몇 퍼센트만 학습함으로써, 저자들은 얇은 구조와 잡음이 많은 모달리티 데이터셋에서 최첨단 정확도를 달성하면서도 계산 및 메모리 사용량을 낮게 유지합니다.

주요 기여

• 파라미터 효율적 적응: 동결된 ViT 인코더에 Low‑Rank Adaptation (LoRA) 모듈을 삽입하여 SAM 파라미터의 약 ~5.2 % (~4.9 M)만 학습합니다.
• 위상 인식 감독: 옵션인 미분 가능한 clDice 손실을 추가하여 위상 오류를 명시적으로 패널티하고, 혈관과 같은 얇은 구조에 필수적입니다.
• 하이브리드 어댑터 설계: LoRA와 경량 공간 컨볼루션 어댑터를 결합하여 전역 컨텍스트(ViT를 통해)와 지역 디테일(컨볼루션을 통해) 모두를 포착합니다.
• 포괄적 벤치마킹: 다섯 개의 다양한 이진 분할 데이터셋(망막 혈관, 폴립, SAR 해양/육지)에서 평가하고, 강력한 베이스라인(U‑Net, DeepLabV3+, SegFormer, Mask2Former)을 능가합니다.
• 오픈소스 구현: 재현 가능한 코드와 사전 학습된 어댑터를 제공하여 빠른 실험을 가능하게 합니다.

Methodology

1. Freeze the SAM backbone: 사전 학습된 ViT 인코더와 마스크 디코더는 그대로 유지하여 SAM의 제로샷 지식을 보존합니다.
2. Insert LoRA adapters: ViT의 각 선형 투영에 저차원 행렬 쌍(ΔW = A Bᵀ)이 추가됩니다. 학습 중에는 A와 B만 업데이트되어 학습 가능한 가중치 수가 크게 감소합니다.
3. Add a spatial convolutional adapter: 작은 3 × 3 컨볼루션 블록이 ViT 출력 뒤에 배치되어, 순수 트랜스포머 레이어가 놓칠 수 있는 지역성을 주입합니다.
4. Topology‑aware loss (optional): 미분 가능한 clDice 지표가 스켈레톤화된 예측과 실제 정답의 겹침을 측정하여 얇고 길쭉한 구조의 보존을 장려합니다. 전체 손실은 표준 binary cross‑entropy + Dice + λ·clDice (사용 시) 로 구성됩니다.
5. Training pipeline: 표준 SGD/Adam 옵티마이저를 사용해 대상 데이터셋에서 어댑터만 미세 조정합니다. 나머지 SAM은 고정된 상태이므로 GPU 메모리 사용량은 보통 CNN을 학습하는 수준과 비슷합니다.

Results & Findings

• Parameter efficiency: SAM 파라미터 중 5.2 %만 업데이트되었지만, 평균 Dice 향상은 기준 대비 +2.3 %입니다.
• Thin‑structure boost: CHASE_DB1에서 clDice‑augmented 버전은 일반 LoRA‑only 변형에 비해 손상된 혈관 오류를 약 30 % 감소시킵니다.
• Cross‑domain robustness: 동일한 어댑터 세트가 광학, 내시경, 레이더 모달리티 전반에 걸쳐 아키텍처 변경 없이 작동합니다.

Practical Implications

• Rapid domain adaptation: 개발자는 사전 학습된 SAM 모델을 가져와, 보통 GPU에서 몇 시간만에 의료 영상, 원격 탐사, 혹은 산업 검사용 전문 이진 세그멘터를 얻을 수 있다.
• Lower compute cost: 백본을 고정시킨 상태이므로, 학습 메모리와 시간이 작은 CNN을 학습하는 것과 비슷해, 소비자 등급 하드웨어나 CI 파이프라인에서도 실행 가능하다.
• Plug‑and‑play for thin structures: 토폴로지‑인식 손실을 켜거나 끌 수 있어, 팀이 구조적 충실도(예: 혈관 추적, 도로망 추출)를 우선시하면서 네트워크를 재설계할 필요가 없다.
• Unified codebase: 오픈‑소스 어댑터와 함께, 팀은 단일 SAM‑기반 추론 서비스를 유지하고 작업‑특정 어댑터를 즉시 교체할 수 있어 배포와 버전 관리를 단순화한다.
• Potential for continual learning: 어댑터만 업데이트되므로, 새로운 도메인을 점진적으로 추가할 수 있어 이전에 학습한 작업을 망각하는 위험이 적다.

제한 사항 및 향후 작업

• 이진 초점: 현재 프레임워크는 이진 마스크를 대상으로 합니다; 다중 클래스 세그멘테이션으로 확장하려면 어댑터 헤드와 손실 가중치를 재설계해야 합니다.
• SAM 사전학습 편향 의존성: 목표 도메인이 SAM의 학습 분포와 크게 다를 경우(예: 고광대역 영상), 어댑터를 사용하더라도 고정된 백본이 성능을 제한할 수 있습니다.
• 위상 손실 오버헤드: clDice를 계산하면 훈련 중에 약간의 실행 시간 비용이 추가됩니다; 대규모 데이터셋에 대한 구현 최적화는 아직 해결되지 않은 과제입니다.
• 향후 방향: 저자들은 계층적 작업을 위한 어댑터 스태킹 탐색, 프롬프트 엔지니어링(예: 포인트 또는 박스 프롬프트) 통합을 통해 주석 작업을 더욱 줄이고, OCT 또는 CT 스캔과 같은 3‑D 부피 데이터에 대한 평가를 제안합니다.

저자

• Salim Khazem

논문 정보

• arXiv ID: 2601.02273v1
• 카테고리: cs.CV, cs.AI, cs.LG
• 발행일: 2026년 1월 5일
• PDF: PDF 다운로드