[논문] 결손 모달리티가 있는 다중모달 학습을 위한 잠재 세계 복원

출처: arXiv - 2606.12362v1

개요

우리는 결손된 모달리티가 존재하는 상황에서의 멀티모달 학습을 연구한다. 특히, 이질적인 모달리티가 의사결정 시점에 부분적으로만 제공되는 경우가 많은 생명과학 응용을 동기로 삼는다. 우리는 Latent World Recovery (LWR) 라는 프레임워크를 제안한다. LWR은 두 가지 핵심 아이디어에 기반한다: (i) 서로 다른 모달리티에서 얻은 모달리티별 임베딩을 공유 잠재 공간에 정렬하고, (ii) 훈련 및 추론 시 실제로 이용 가능한 모달리티들의 임베딩만을 융합하여 통합 표현을 만든다. 결손 모달리티를 보간하거나 고정된 모달리티 집합을 요구하는 대신, LWR은 각 모달리티를 잠재 상태에 대한 부분적인 인식으로 간주하고 관측된 모달리티만으로 가용성 인식 표현 학습을 수행한다. 이웃 기반 잠재 정렬과 가용성 인식 모달리티 융합의 결합은 결손 관측 하에서도 강인한 멀티모달 예측을 가능하게 하며, 결손 모달리티를 명시적으로 재구성함으로써 발생하는 오류 전파를 방지한다. 우리는 실제 불완전 멀티오믹스 벤치마크에 제안된 프레임워크를 평가하고, 암 표현형 분류 및 생존 예측과 같은 다운스트림 작업에 효과적인 접근법임을 입증한다.

주요 기여

이 논문은 다음 분야의 연구를 제시한다:

• cs.LG
• cs.AI

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 함의

본 연구는 cs.LG 분야의 발전에 기여한다.

저자

• Hui Wang
• Tianyu Ren
• Joseph Butler
• Christopher Baker
• Karen Rafferty
• Simon McDade

논문 정보

• arXiv ID: 2606.12362v1
• Categories: cs.LG, cs.AI
• Published: 2026년 6월 10일
• PDF: PDF 다운로드