[Paper] 의료 영상에서 VLM 기반 분포적 OOD 탐지를 위한 Wasserstein-Aligned Localisation

Source: arXiv - 2605.05161v1

Overview

의료 영상에서 질병‑특정 학습 데이터 없이 희귀 병변을 탐지하는 것은 AI‑지원 방사선학의 성배와도 같습니다. 이 논문은 WALDO (Wasserstein‑Aligned Localisation for VLM‑Based Distributional OOD Detection)를 소개합니다. 이는 훈련이 필요 없는 프레임워크로, 제로‑샷 이상 탐지를 비교적인 추론 문제로 전환합니다. 환자 스캔을 신중히 선택된 “정상” 레퍼런스 패치 집합과 매칭함으로써, WALDO는 대형 비전‑언어 모델(VLMs)이 뇌 MRI 스캔에서 비정상 영역을 정확히 찾아내는 능력을 크게 향상시킵니다.

핵심 기여

• 비교 추론 공식화 – 제로‑샷 로컬라이제이션을 쿼리 이미지와 건강한 해부학 분포 간의 구조화된 비교로 재구성합니다.
• 엔트로피‑가중 슬라이스 워셔스테인 선택 – DINOv2 패치 임베딩에 대한 최적‑수송 거리(optimal‑transport distances)를 사용해 대규모 라벨이 없는 풀(pool)에서 해부학적으로 관련된 레퍼런스 패치를 선택합니다.
• 골디락스 존 샘플링 – 이론적·실험적으로 쿼리와 보통 수준의 유사성을 가진 레퍼런스(너무 가깝지도, 너무 멀지도 않음)가 이상 탐지에 최적의 편향‑분산 트레이드‑오프를 제공함을 보여줍니다.
• 자기‑일관성 집계 – 가중 비최대 억제(weighted non‑maximum suppression)를 통해 다중 비교 점수를 결합, 파인‑튜닝 없이도 강인한 로컬라이제이션 맵을 생성합니다.
• 최첨단 제로‑샷 성능 – NOVA 뇌‑MRI 벤치마크에서 WALDO는 Qwen2.5‑VL‑72B의 mAP@30을 약 36 %에서 43.5 % 로 끌어올려 19 % 상대 향상을 달성하고, GPT‑4o와 Qwen3‑VL‑32B에서도 일관된 개선을 제공합니다.
• 오픈‑소스 공개 – 전체 코드와 데모를 제공하여 즉시 실험할 수 있도록 합니다.

Source: …

Methodology

1. Patch embedding extraction – 입력 MRI(또는 任意 2‑D 슬라이스)를 겹치는 패치로 나눕니다. 각 패치는 고정된 비전 인코더(예: DINOv2)로 인코딩되어 고차원 특징 벡터를 얻습니다.
2. Reference pool construction – 동일한 방식으로 처리된 대규모 건강한 뇌 스캔 컬렉션을 구축하여 정상 패치 임베딩의 분포를 생성합니다.
3. Entropy‑weighted Sliced Wasserstein distance – 각 쿼리 패치에 대해 WALDO는 레퍼런스 분포와의 sliced Wasserstein 거리를 계산하고, 해당 DINOv2 토큰의 엔트로피로 각 슬라이스를 가중합니다. 엔트로피가 높은 패치(보다 “정보량이 많은” 패치)는 거리에 더 크게 영향을 미쳐 해부학적 관련성을 보장합니다.
4. Goldilocks zone sampling – 가장 가까운 레퍼런스(편향될 위험)나 가장 먼 레퍼런스(노이즈를 유발) 대신, WALDO는 유사도가 중간 “Goldilocks” 범위에 속하는 레퍼런스를 선택합니다. 저자들은 이 범위가 비교 추정기의 기대 오류를 최소화한다는 것을 증명했습니다.
5. Comparative scoring with VLM – 선택된 각 레퍼런스를 쿼리 패치와 짝지어 고정된 VLM(예: Qwen2.5‑VL‑72B)에 입력합니다. 모델은 레퍼런스가 쿼리를 얼마나 잘 설명하는지를 나타내는 유사도 점수를 출력합니다.
6. Self‑consistency aggregation – 여러 레퍼런스에서 얻은 점수를 가중 비최대 억제(NMS) 방식으로 합칩니다. 이 과정은 레퍼런스 간 합의를 강조하고 이상치를 억제하여 최종 이상치 히트맵을 생성합니다.
7. Zero‑shot localisation – 히트맵을 임계값 처리하여 픽셀 수준의 이상치 마스크를 얻으며, 이는 전혀 작업‑특화 학습이 필요하지 않습니다.

결과 및 발견

• 통계적 유의성: 짝지은 McNemar 검정에서 모든 개선에 대해 p < 0.01.
• 소거 연구: 엔트로피 가중치 또는 Goldilocks 샘플링을 제거하면 성능이 약 5–7 % 감소하여 각 구성 요소의 기여를 확인한다.
• 교차 모델 견고성: 동일한 레퍼런스 선택 파이프라인이 다양한 크기와 아키텍처의 VLM 전반에 걸쳐 작동하며, 이 이점이 특정 모델이 아니라 비교 프레임워크에서 비롯된다는 것을 나타낸다.

실용적 함의

• 저자원 환경에서의 신속한 배포: WALDO는 파인튜닝이 필요 없으므로 병원은 기존 상용 VLM을 바로 연결해 즉시 희귀 이상을 감지할 수 있다.
• 새로운 영상 modality에 대한 확장성: 파이프라인은 건강한 샘플 풀만 있으면 되며, CT, X‑ray, 조직병리학 등으로 확장하는 것은 라벨이 없는 정상 스캔을 수집하는 것에 불과하다.
• 방사선 전문의를 위한 보조 도구: 히트맵이 의심 부위를 강조하여 임상의가 검토 영역을 좁히게 함으로써 판독 시간과 놓치는 병변을 줄일 수 있다.
• 규제 친화성: 학습이 필요 없는 방법은 참조 풀을 기관 내에 보관하고 외부로 유출되지 않게 할 수 있어 데이터 프라이버시 문제를 회피한다.
• 하이브리드 AI 시스템의 기반: WALDO의 비교 추론을 경량 다운스트림 분류기(예: 작은 CNN)와 결합하면, 후보 영역을 먼저 표시하고 이후 진단을 정교화하는 2단계 파이프라인을 구성할 수 있다.

제한 사항 및 향후 연구

• 참조 품질 의존성: 건강한 풀에 해부학적 다양성(예: 연령, 스캐너 종류)이 충분히 포함되지 않으면 Wasserstein 거리값이 정상 변이를 잘못 파악하여 false positive가 발생할 수 있습니다.
• 계산 오버헤드: 모든 패치에 대해 sliced Wasserstein 거리를 계산하고 여러 참조를 샘플링하는 것은 비용이 많이 들 수 있습니다; 저자들은 근사 OT 솔버를 사용해 속도를 높이는 방안을 제시합니다.
• 2‑D 슬라이스 중심: 실험은 2‑D 뇌 MRI 슬라이스에만 국한되어 있으며, 전체 3‑D 볼륨으로 확장하고 슬라이스 간 일관성을 유지하는 문제는 아직 해결되지 않은 과제입니다.
• VLM의 도메인 이동: 여러 VLM에 대해 방법이 작동하지만, 극단적인 도메인 차이(예: 비의료 이미지)는 VLM의 비교 점수 능력을 저하시킬 수 있습니다. 향후 연구에서는 도메인에 맞춘 프롬프트나 경량 어댑터를 탐색할 수 있습니다.
• 사용자 연구: 논문에는 방사선과 전문의에 대한 사용성 테스트가 포함되지 않았으며, 임상의가 WALDO의 히트맵과 어떻게 상호작용하는지를 평가하는 것이 실제 적용을 위해 중요합니다.

WALDO는 최적 전송 이론과 비교 추론을巧妙하게 활용함으로써 대형 비전‑언어 모델의 제로‑샷 잠재력을 의료 이상 탐지에 활용할 수 있음을 보여줍니다—이는 의료 분야에서 보다 유연하고 데이터 효율적인 AI 도구로 나아가는 길을 열어줍니다.

저자

• Bernhard Kainz
• Johanna P Mueller
• Matthew Baugh
• Cosmin Bercea

논문 정보

• arXiv ID: 2605.05161v1
• 분류: cs.CV
• 출판일: 2026년 5월 6일
• PDF: PDF 다운로드