[Paper] NeRFscopy: Neural Radiance Fields를 이용한 in‑vivo 시간 변동 조직의 내시경 영상

Source: arXiv - 2602.15775v1

Overview

이 논문은 NeRFscopy라는 자체 지도 학습 파이프라인을 소개합니다. 이는 신경 방사장(NeRF)을 내시경 분야에 도입한 것으로, 단일 카메라 비디오로 촬영된 부드럽고 움직이는 조직을 제어 가능한 3‑D 모델로 변환합니다. 이를 통해 저자들은 임상의와 외과의에게 더 풍부한 시각적 단서를 제공하면서도 하드웨어 요구 사항은 최소화하는 것을 목표로 합니다.

주요 기여

• 의료 비디오용 변형 가능한 NeRF – 고전적인 정적 장면 NeRF 공식에 시간에 따라 변하는 변형 필드를 추가하여 지속적으로 움직이는 조직의 재구성을 가능하게 함.
• SE(3) 기반 변형 매개변수화 – 6자유도 강체 변환 시퀀스를 사용해 국부 조직 움직임을 모델링하고, 최적화를 다루기 쉽고 해석 가능하게 유지함.
• 완전 자가 지도 학습 – 사전 학습된 모델, 템플릿, 외부 마커가 필요 없으며, 시스템이 원시 내시경 비디오에서 직접 학습함.
• 견고한 색상 일관성 손실 – 내시경 조명에서 흔히 나타나는 조명 변화와 반사 하이라이트를 처리하는 새로운 광도학적 항목.
• 최첨단 뷰 합성 – 기존 동적 장면 NeRF 및 고전적인 SLAM 기준선과 비교하여 여러 도전적인 인비보 데이터셋에서 우수한 새로운 뷰 렌더링 품질을 보여줌.

방법론

1. Canonical radiance field – 파이프라인은 먼저 조직을 “canonical” 자세(즉, 변형되지 않은 기준 프레임)로 나타내는 정적 NeRF를 학습합니다.
2. Deformation field – 각 비디오 프레임마다 별도의 SE(3) 변환 필드가 canonical 공간의 점들을 관측된 자세로 변형시켜 전역 카메라 움직임과 국부 조직 변형을 모두 포착합니다.
3. Self‑supervision – 모델은 변형된 radiance field를 이미지 평면에 다시 렌더링하고 실제 비디오 프레임과 비교하여 학습됩니다. 손실에는 다음이 포함됩니다:
   • Photometric loss – 픽셀 단위 색상 차이로, 반사광에 강인하도록 보강됩니다.
   • Temporal smoothness – 연속 프레임 간 SE(3) 파라미터의 급격한 변화를 벌합니다.
   • Depth‑consistency regularisation – 깊이 센서 없이도 타당한 기하학을 장려합니다.
4. Optimization loop – 결합 손실에 대한 경사 하강법을 사용해 canonical NeRF 가중치(다층 MLP)를 업데이트하고 프레임별 SE(3) 파라미터를 정제하는 과정을 번갈아 수행합니다.

전체 파이프라인은 단일 GPU에서 실행되며 입력으로 단일 모노큘러 비디오만 필요하므로 기존 내시경 장비에 실용적입니다.

결과 및 발견

• 새로운 시점 합성 – 정량적 지표(PSNR, SSIM)가 공개된 대장내시경 데이터셋에서 최고의 경쟁 동적‑NeRF 방법보다 15‑25 % 향상되었습니다.
• 기하학적 충실도 – 재구성된 표면이 미세한 점막 주름과 연동운동을 포착하며, 제한된 수의 수술 중 광류(Optical Flow) 실제값과 비교해 검증되었습니다.
• 조명에 대한 강인성 – 색상 일관성 항이 내시경의 움직이는 광원으로 인한 급격한 조명 변화를 성공적으로 처리합니다.
• 속도 – 학습 후(10초 클립에 대해 RTX 3090에서 약 30분), 새로운 시점을 렌더링하는 데 < 0.1 s가 소요되어 거의 실시간 미리보기가 가능합니다.

Practical Implications

• Enhanced intra‑operative navigation – 외과의는 조직의 임의 시점을 실시간으로 조회할 수 있어, 주름 뒤에 숨겨진 병변을 찾는 데 도움이 된다.
• Improved diagnostic imaging – 방사선 전문의는 추가 장비 없이 일반 내시경 녹화에서 3‑D 재구성을 생성할 수 있어, 병변 측정 및 문서화에 도움이 된다.
• Training and simulation – 고충실도, 환자 맞춤형 가상 내시경 환경이 가능해져, 기술 습득 및 수술 전 리허설을 지원한다.
• Integration with AI pipelines – 암시적 3‑D 표현은 폴립 검출, 조직 분류, 로봇 도구 경로 계획 등 하위 작업을 위한 공통 백본으로 활용될 수 있다.

제한 사항 및 향후 연구

• 강체 변형 모델 – SE(3)는 국부적으로 강체 움직임만을 포착하므로, 고탄성 변형(예: 극심한 연동운동)은 충분히 표현되지 않을 수 있다.
• 긴 시술에 대한 확장성 – 학습 시간은 영상 길이에 비례해 선형적으로 증가한다; 향후 연구에서는 계층적 또는 스트리밍 NeRF 업데이트를 탐색할 수 있다.
• 임상 검증 – 현재 실험은 ex‑vivo 팬텀과 소규모 in‑vivo 데이터셋에 한정되어 있으며, 진단적 영향을 평가하기 위해 더 큰 다기관 연구가 필요하다.
• 하드웨어 제약 – 추가 센서는 필요 없지만, 표준 수술실 워크스테이션에서 실시간 배포하려면 추가 최적화 또는 모델 압축이 요구된다.

NeRFscopy는 일상적인 내시경 영상을 인터랙티브한 3‑D 모델로 전환하는 유망한 길을 열어, 최첨단 신경 렌더링 연구와 실용적인 의료 영상 도구 사이의 격차를 메운다.

저자

• Laura Salort-Benejam
• Antonio Agudo

논문 정보

• arXiv ID: 2602.15775v1
• Categories: cs.CV
• Published: 2026년 2월 17일
• PDF: PDF 다운로드