[Paper] 고유한 삶, 공유된 세계: 단일-라이프 비디오에서 학습

Source: arXiv - 2512.04085v1

Overview

새로운 연구에서는 “single‑life” 학습을 제안합니다: 한 사람의 일상 생활에서 기록된 egocentric 비디오만으로 비전 모델을 학습하는 방식입니다. 단일 개인의 삶에서 자연스럽게 포착되는 다양한 시점을 활용함으로써, 저자들은 자기‑지도 인코더가 강인하고 기하학을 인식하는 표현을 학습하여 다양한 환경에 전이될 수 있으며, 방대한 웹 데이터셋으로 학습된 모델과 경쟁할 수 있음을 보여줍니다.

Key Contributions

• Single‑life paradigm – 단 한 사람의 egocentric 영상만으로도 보편적인 시각 이해를 획득할 수 있음을 입증합니다.
• Cross‑life alignment metric – 서로 다른 single‑life 모델들의 내부 표현이 기하학적으로 얼마나 일치하는지를 정량화하기 위해 cross‑attention 기반 측정을 도입합니다.
• Strong transfer performance – 단일 삶에서 학습된 인코더가 깊이 추정과 같은 다운스트림 작업에서 보지 못한 실내·실외 장면에서도 경쟁력 있는 결과를 달성함을 보여줍니다.
• Data efficiency – 한 사람의 일주일 동안 약 30 시간의 비디오가 이질적인 웹 비디오 약 30 시간과 동등한 성능을 내는 것을 발견했으며, 개인 라이프로그 데이터의 풍부함을 강조합니다.

Methodology

1. Data collection – 저자들은 여러 사람의 “삶”을 여러 날에 걸쳐 촬영한 egocentric 비디오 데이터셋을 수집했습니다(실내·실외 활동 모두 포함).
2. Self‑supervised training – 대비 학습 프레임워크를 사용해 모델이 두 비디오 클립이 시간적으로 인접한지 여부를 예측하도록 하여, 인코더가 피상적인 외관이 아니라 근본적인 3D 기하학을 포착하도록 유도합니다.
3. Cross‑attention alignment – 서로 다른 삶에서 학습된 모델을 비교하기 위해 두 인코더의 특징 공간 사이에 attention map을 계산하고, 학습된 기하학의 기능적 정렬을 반영하는 유사도 점수를 도출합니다.
4. Evaluation – 학습된 인코더를 고정하고 완전히 새로운 환경에서 다운스트림 작업(예: 단일 카메라 깊이 예측)을 미세조정하여 일반화 능력을 테스트합니다.

Results & Findings

• Geometric alignment – 완전히 다른 삶에서 학습된 인코더가 매우 높은 상관관계의 특징 공간을 생성합니다(평균 cross‑attention 유사도 > 0.85). 이는 세계에 대한 공유된 기하학적 이해를 나타냅니다.
• Depth transfer – 표준 깊이 벤치마크(NYU‑Depth V2)에서 미세조정했을 때, single‑life 모델은 대규모 웹 비디오 코퍼스로 사전 학습된 모델의 성능에 2–3 % 이내로 근접합니다.
• Data parity – 한 사람의 일주일 동안 30 시간을 사용한 학습이 다양한 인터넷 비디오 30 시간을 사용한 학습과 동일한 깊이 오차(RMSE)를 보이며, 개인 라이프로그 데이터가 놀라울 정도로 정보가 밀집해 있음을 확인합니다.
• Robustness across domains – 학습된 표현은 실내에서 실외 장면으로, 혹은 그 반대로 전이될 때도 효과적이며, 캡처된 기하학의 보편성을 강조합니다.

Practical Implications

• Personalized AI assistants – 개발자는 사용자의 착용형 카메라 영상 일주일만으로도 사용자의 시각 환경에 맞춘 비전 모델을 구축할 수 있어, 방대한 공용 데이터셋에 대한 의존도를 낮출 수 있습니다.
• Privacy‑preserving training – 데이터가 사용자 기기를 떠나지 않기 때문에, single‑life 학습은 AR 안경, 로봇, 스마트 홈 카메라 등을 위한 온‑디바이스 자기‑지도 사전 학습 경로를 제공합니다.
• Cost‑effective data collection – 기업은 고가의 크라우드소싱 비디오 라벨링 파이프라인 없이도 고품질 시각 표현을 부트스트랩할 수 있으며, 단일 참가자의 라이프로그만으로도 많은 다운스트림 작업을 수행할 수 있습니다.
• Domain adaptation – 서로 다른 삶 간의 강력한 정렬은 한 사용자를 위해 학습된 모델을 다른 사용자에게 빠르게 미세조정할 수 있음을 시사하며, 건설 현장이나 창고와 같은 이질적인 환경에서의 배포를 가속화합니다.

Limitations & Future Work

• Scope of activities – 현재 데이터셋은 비교적 일상적인 활동에 초점을 맞추고 있어, 외과 수술이나 스포츠와 같은 극단적·전문적인 작업에는 추가적인 데이터 다양성이 필요할 수 있습니다.
• Temporal coverage – 30 시간이 충분했지만, 계절별 조명 변화나 의복 교체와 같은 장기적인 변동은 탐색되지 않았으며, 표현 안정성에 영향을 미칠 수 있습니다.
• Scalability of alignment metric – cross‑attention 유사도 계산은 매우 큰 모델에서는 비용이 많이 들므로, 향후 경량화된 정렬 진단 방법을 개발할 필요가 있습니다.
• Integration with multimodal signals – 오디오, 관성, 언어와 같은 다중 모달 신호를 포함하도록 single‑life 학습을 확장하면 학습된 표현을 더욱 풍부하게 만들 수 있습니다.

Bottom line: 이 논문은 개인의 egocentric 비디오 일주일만으로도 방대한 웹 규모 데이터셋만큼 세계의 기하학을 비전 모델에 학습시킬 수 있음을 보여주며, 개인화되고 프라이버시를 최우선으로 하는 AI가 우리 일상에서 직접 학습할 수 있는 길을 열어줍니다.

Authors

• Tengda Han
• Sayna Ebrahimi
• Dilara Gokay
• Li Yang Ku
• Maks Ovsjanikov
• Iva Babukova
• Daniel Zoran
• Viorica Patraucean
• Joao Carreira
• Andrew Zisserman
• Dima Damen

Paper Information

• arXiv ID: 2512.04085v1
• Categories: cs.CV
• Published: December 3, 2025
• PDF: Download PDF