[Paper] SurgMLLMBench: 외과 장면 이해를 위한 다중모달 대형 언어 모델 벤치마크 데이터셋

Source: arXiv - 2511.21339v1

Overview

이 논문은 SurgMLLMBench라는 새로운 벤치마크를 소개한다. 이 벤치마크는 복강경, 로봇 보조, 미세 수술 절차 전반에 걸쳐 픽셀‑레벨 기구 분할과 구조화된 시각‑질문‑답변(VQA) 데이터를 하나로 결합한다. 이러한 모달리티를 단일 분류 체계 아래 통합함으로써, 연구자들은 수술 장면을 “볼 수” 있고 “말할 수” 있는 멀티모달 대형 언어 모델(LLM)을 일관된 방식으로 학습하고 평가할 수 있다.

Key Contributions

• 통합 멀티모달 데이터셋: 고해상도 비디오 프레임, 픽셀‑단위 기구 마스크, 그리고 세 가지 수술 분야(복강경, 로보틱스, 미세 수술)를 위한 VQA 쌍을 결합하였다.
• MAVIS 서브‑데이터셋(Micro‑surgical Artificial Vascular anastomosIS) – 상세한 분할 및 추론 주석이 포함된 최초의 공개 미세 수술 비디오 세트.
• 표준화된 분류 체계: 기구, 행동, 해부학적 구조에 대한 체계를 정의하여 이전 수술 VQA 코퍼스에서 발생하던 분류 체계의 변동을 없앴다.
• 베이스라인 실험: 단일 멀티모달 LLM을 전체 벤치마크에 대해 학습시켜도 각 도메인에서 경쟁력 있는 성능을 유지하며, 보지 못한 수술 데이터셋에 대해서도 강력한 일반화를 보였다.
• 오픈‑소스 공개 계획: 재현성을 촉진하고 인터랙티브 수술 AI 연구를 가속화한다.

Methodology

1. 데이터 수집 및 주석 – 저자들은 실제 복강경 및 로봇 보조 수술 비디오 프레임 수천 개와 새로 촬영한 미세 수술 영상을 수집했다. 교육받은 주석자들은 다음을 제작했다:
   • 분할 마스크: 보이는 모든 기구 픽셀에 대해.
   • VQA 쌍(질문, 답변): 기구 식별, 절차 단계, 해부학적 맥락 등을 포함.
2. 분류 체계 설계 – 계층적 라벨 스키마(예: Instrument → Type → Tip; Action → Grasp → Cut)를 정의하고 모든 도메인에 일관되게 적용했다.
3. 모델 학습 – 멀티모달 LLM(비전 인코더 + 언어 디코더)을 결합 데이터셋에 대해 공동 손실 함수를 사용해 미세조정했다. 이 손실은 분할(픽셀‑단위 교차 엔트로피)과 VQA(답변 토큰에 대한 교차 엔트로피)를 균형 있게 조절한다.
4. 평가 프로토콜 – 벤치마크는 다음을 보고한다:
   • 분할 IoU(intersection‑over‑union) 각 기구 클래스별.
   • VQA 정확도(정확히 일치)와 자유형 답변에 대한 BLEU/ROUGE.
   • 도메인 간 전이 테스트: 모델이 학습되지 않은 도메인에서 평가될 때의 성능.

Results & Findings

• 통합 모델은 세 도메인 전체에서 ≈78 % 평균 IoU를 달성했으며, 이는 도메인‑특화 베이스라인과 동등하거나 이를 능가한다.
• VQA 성능은 ≈71 % 정확히 일치 정확도에 도달했으며, 특히 “왜 외과의가 도구를 교체하고 있나요?”와 같은 추론 질문에서 큰 향상을 보였다.
• 외부 복강경 데이터셋(학습에 사용되지 않음)에서 테스트했을 때 모델은 ≈75 % IoU와 ≈68 % VQA 정확도를 유지하여 강력한 일반화를 입증했다.
• 소거 실험(ablation study)에서는 분할과 VQA를 동시에 학습한 경우가 VQA만 별도로 학습한 경우보다 더 높은 VQA 점수를 얻는 것으로 확인돼, 시각적 기반의 이점이 강조된다.

Practical Implications

• 보조 인트라오퍼레이티브 도구: 외과의는 실시간 AI 어시스턴트에 “현재 보이는 기구는 무엇인가요?” 혹은 “혈관이 완전히 클립되었나요?”와 같이 질의하고, 텍스트 설명과 함께 강조된 마스크를 받을 수 있다.
• 교육 시뮬레이터: 의료 교육자는 모델을 VR/AR 플랫폼에 삽입해 기구 사용 및 절차 단계에 대한 즉각적인 피드백을 제공할 수 있다.
• 자동 문서화: 수술 후 보고서는 녹화된 영상을 통해 주요 행동과 기구 사용을 추출함으로써 자동으로 생성될 수 있다.
• 크로스‑플랫폼 AI 개발: 벤치마크가 복강경, 로보틱스, 미세 수술을 모두 포괄하므로 개발자는 다양한 하드웨어 환경에서 동작하는 단일 모델을 구축해 엔지니어링 비용을 절감할 수 있다.

Limitations & Future Work

• 데이터셋 다양성: 세 도메인을 다루지만 여전히 제한된 병원과 외과 팀에 의존하므로 문화적·장비적 변이성을 충분히 반영하지 못할 수 있다.
• 실시간 제약: 베이스라인 모델은 오프라인에서 평가되었으며, 인트라오퍼레이티브 배포를 위한 지연 시간 및 하드웨어 요구사항은 아직 해결되지 않았다.
• 주석 세분성: 현재 VQA 쌍은 고수준 추론에 초점을 맞추고 있어, 힘 추정이나 조직 변형과 같은 미세 질문은 포함되지 않는다.
• 향후 방향: 저자들은 벤치마크를 ENT, 정형외과 등 더 많은 전문 분야로 확장하고, 오디오·촉각 데이터와 같은 멀티모달 정보를 추가하며, 온‑디바이스 추론을 위한 경량 모델 아키텍처를 탐구할 계획을 제시한다.

Authors

• Tae-Min Choi
• Tae Kyeong Jeong
• Garam Kim
• Jaemin Lee
• Yeongyoon Koh
• In Cheul Choi
• Jae-Ho Chung
• Jong Woong Park
• Juyoun Park

Paper Information

• arXiv ID: 2511.21339v1
• Categories: cs.CV, cs.AI
• Published: November 26, 2025
• PDF: Download PDF