[논문] Unpaired Image-to-Image Translation via a Self-Supervised Semantic Bridge

Source: arXiv - 2602.16664v1

개요

논문에서는 Self‑Supervised Semantic Bridge (SSB) 라는 새로운 방법을 소개한다. 이는 쌍을 이루는 예시나 대상 도메인에 대한 명시적 적대적 학습 없이도 이미지들을 도메인 간에 변환할 수 있게 한다. 기하학을 보존하는 의미 표현을 diffusion 기반 모델에 주입함으로써, SSB는 높은 충실도와 공간적으로 일관된 변환을 달성하며, 모델이 한 번도 본 적 없는 데이터에서도 작동한다—특히 의료 영상 및 텍스트 기반 편집에 매우 유용한 특성이다.

주요 기여

• 시맨틱 브리지 아키텍처는 자체 지도 학습 시각 인코더와 확산 “브리지” 모델을 결합하여, 외관에는 불변하지만 구조에는 민감한 공유 잠재 공간을 생성합니다.
• 교차 도메인 적대 손실 제거를 통해 모델이 보지 못한 목표 도메인에도 일반화할 수 있게 하며, 비용이 많이 드는 도메인‑특정 판별기의 필요성을 감소시킵니다.
• 향상된 역전 품질: 시맨틱 잠재 조건이 확산 과정을 안내하여, 확산‑역전 파이프라인에서 흔히 발생하는 흐림 및 아티팩트를 완화합니다.
• 도전적인 의료 영상 합성 작업(예: MRI ↔ CT, 병리 슬라이드)에서 강력한 실증 결과를 보여, 인‑도메인 및 아웃‑오브‑도메인 모두에서 우수한 성능을 입증합니다.
• 텍스트‑기반 편집으로의 간단한 확장을 구현하여, 동일한 브리지를 자연어 프롬프트만으로 재학습 없이도 제어할 수 있음을 시연합니다.

Methodology

1. Self‑supervised encoder – 대규모 이미지 컬렉션에 대해 대비 손실(e.g., SimCLR, MoCo)로 학습된 컨볼루션(또는 비전‑트랜스포머) 인코더입니다. 인코더는 색상, 텍스처, 조명이 변해도 안정적으로 유지되면서도 기본적인 레이아웃과 형태를 포착하는 semantic vector 로 이미지를 매핑하는 방법을 학습합니다.

2. Diffusion bridge – 두 개의 디퓨전 모델을 학습합니다: 하나는 소스 이미지를 잠재 노이즈 공간으로 매핑하고, 다른 하나는 그 노이즈로부터 타깃 이미지를 재구성합니다. 기존 디퓨전‑인버전과 달리, 이 브릿지는 1단계에서 얻은 semantic vector에 조건화됩니다.

3. Training without target‑domain adversaries – 필요한 감독은 self‑supervised semantic loss뿐이며, 디퓨전 모델은 semantic code에 조건화된 디노이징을 학습합니다. 따라서 타깃 도메인 샘플을 봐야 하는 GAN‑style discriminator가 필요하지 않습니다.

4. Inference – 이미지를 변환하려면 (a) 이미지를 인코딩해 semantic code를 얻고, (b) 순방향 디퓨전을 실행해 노이즈가 섞인 잠재 표현을 만들며, (c) 동일한 semantic code(또는 텍스트 프롬프트 등으로 수정된 코드)로 조건화된 역방향 디퓨전을 실행해 타깃 도메인 이미지를 생성합니다.

전체 파이프라인은 소스 이미지의 기하학적 정보를 도메인 간에 전달하고, 디퓨전 모델이 적절한 외관을 채워 넣는 “브릿지”로 시각화할 수 있습니다.

결과 및 발견

• 공간 충실도: 가장자리 보존 및 장기 형태 일관성이 기준 방법보다 현저히 높았으며, 정량적(SSIM, Dice) 및 방사선 전문의 시각 평가 모두에서 확인되었습니다.
• 일반화: 모델을 전혀 새로운 영상 모달리티(예: PET 스캔)에서 미세조정 없이 테스트했을 때 성능 저하가 약간만 발생했으며, 이는 의미 브리지의 견고함을 보여줍니다.
• 속도: 의미 인코더가 가볍고 확산 단계가 도메인 간에 공유되기 때문에 추론 시간은 최첨단 확산‑인버전과 비슷합니다(≈ RTX 3090 기준 256×256 이미지당 1 초).

Practical Implications

• Medical imaging pipelines can now synthesize missing modalities (e.g., generate CT from MRI) without collecting paired datasets, reducing patient exposure and acquisition costs. → 의료 영상 파이프라인은 이제 짝지어진 데이터셋을 수집하지 않고도 누락된 모달리티(예: MRI에서 CT 생성)를 합성할 수 있어 환자 노출 및 획득 비용을 감소시킵니다.
• Developers building cross‑domain style transfer tools (e.g., turning sketches into realistic renders) can leverage SSB to avoid training a separate GAN for each target style. → 크로스 도메인 스타일 전송 도구를 구축하는 개발자들(예: 스케치를 현실적인 렌더링으로 변환) 은 각 대상 스타일마다 별도의 GAN을 훈련할 필요 없이 SSB를 활용할 수 있습니다.
• Text‑to‑image editors gain a plug‑and‑play conditioning mechanism: swapping the semantic code with a text‑derived embedding yields controllable edits without retraining the diffusion model. → 텍스트‑투‑이미지 편집기는 플러그‑앤‑플레이 조건부 메커니즘을 얻습니다: 의미 코드를 텍스트 기반 임베딩으로 교체하면 확산 모델을 재훈련하지 않고도 제어 가능한 편집이 가능합니다.
• Deployment friendliness – Since the approach does not rely on adversarial training, it sidesteps stability issues and can be fine‑tuned on modest hardware, making it attractive for startups and research labs alike. → 배포 친화성 – 이 접근법은 적대적 훈련에 의존하지 않으므로 안정성 문제를 회피하고, 비교적 제한된 하드웨어에서도 미세 조정이 가능해 스타트업과 연구실 모두에게 매력적입니다.

제한 사항 및 향후 연구

• 의미 브리지의 품질은 자체 지도 학습 인코더에 달려 있습니다; 사전 학습 데이터에 특정 구조(예: 희귀 해부학적 변형)가 부족하면 모델이 이를 보존하는 데 어려움을 겪을 수 있습니다.
• 이 방법은 대상 도메인 데이터에 대한 의존도를 낮추지만, 인코더 사전 학습을 위해 여전히 충분히 큰 규모의 소스 도메인 이미지 코퍼스가 필요합니다.
• 현재 확산 백본은 중간 해상도(≤ 256 px)에서 작동합니다; 초고해상도 의료 스캔으로 확장하려면 메모리 효율적인 확산 변형이 필요합니다.
• 향후 연구 방향으로는 인코더와 확산 브리지를 공동 학습(두 단계 파이프라인 대신) 및 텍스트, 세그멘테이션 마스크, 임상 메타데이터를 결합한 다중모달 의미 코드 탐색이 포함되어 풍부한 조건 제어를 가능하게 합니다.

저자

• Jiaming Liu
• Felix Petersen
• Yunhe Gao
• Yabin Zhang
• Hyojin Kim
• Akshay S. Chaudhari
• Yu Sun
• Stefano Ermon
• Sergios Gatidis

논문 정보

• arXiv ID: 2602.16664v1
• 분류: cs.CV
• 출판일: 2026년 2월 18일
• PDF: PDF 다운로드