[Paper] 独特的生活，共享的世界：从单生命视频中学习

Source: arXiv - 2512.04085v1

Overview

一项新研究提出了“单人生”学习：仅使用某个人日常生活中记录的第一人称视频来训练视觉模型。通过利用单个人生活中自然产生的众多视角，作者展示了自监督编码器能够学习到鲁棒的、几何感知的表征，这些表征能够跨环境迁移，并且能够与在大规模、多样化网络数据集上训练的模型相媲美。

Key Contributions

• 单人生范式 – 证明仅使用一个人的第一人称影像即可获得通用的视觉理解。
• 跨生对齐度量 – 引入基于跨注意力的度量，用以量化不同单人生模型内部表征在几何上的对齐程度。
• 强迁移性能 – 表明单人生学习得到的编码器在下游任务（如深度估计）上表现竞争，即使在未见过的室内/室外场景中亦如此。
• 数据效率 – 发现约 30 小时、来自单个人一周的录像，其性能可匹配约 30 小时的异构网络视频，凸显个人生活日志数据的丰富性。

Methodology

1. 数据收集 – 作者收集了多个第一人称视频数据集，每个数据集捕捉了不同个体在多天内的“生活”（包括室内和室外活动）。
2. 自监督训练 – 使用对比学习框架，模型预测两个视频片段是否在时间上相邻，从而促使编码器捕获底层的 3D 几何信息，而非表面的外观特征。
3. 跨注意力对齐 – 为比较在不同生活上训练的模型，他们在两个编码器的特征空间之间计算注意力图，并得到一个反映学习几何功能对齐的相似度分数。
4. 评估 – 将训练好的编码器冻结后，在全新环境中的下游任务（如单目深度预测）上进行微调，以检验其泛化能力。

Results & Findings

• 几何对齐 – 在完全不同的生活上训练的编码器产生高度相关的特征空间（平均跨注意力相似度 > 0.85），表明它们共享对世界的几何理解。
• 深度迁移 – 在标准深度基准（NYU‑Depth V2）上微调时，单人生模型的性能仅比在大规模网络视频上预训练的模型低 2–3 %。
• 数据等价 – 使用单个人一周的 30 小时数据训练得到的深度误差（RMSE）与使用 30 小时多样化互联网视频训练的结果相当，证实个人生活日志数据的信息密度惊人。
• 跨域鲁棒性 – 当从室内场景迁移到室外场景（或反向）时，学习到的表征仍然有效，凸显所捕获几何的普遍性。

Practical Implications

• 个性化 AI 助手 – 开发者可以仅使用一周的可穿戴摄像头录像，就为用户构建适应其自身视觉环境的视觉模型，降低对大规模公共数据集的依赖。
• 隐私保护训练 – 由于数据始终留在用户设备上，单人生学习为 AR 眼镜、机器人或智能家居摄像头提供了在设备端进行自监督预训练的路径。
• 成本效益的数据收集 – 企业可以在无需昂贵的众包视频标注流水线的情况下，利用单个参与者的生活日志启动高质量的视觉表征学习。
• 领域适配 – 不同生活之间的强对齐表明，在一个用户上训练的模型可以快速微调到另一个用户，从而加速在异构场景（如建筑工地、仓库）中的部署。

Limitations & Future Work

• 活动范围 – 当前数据集侧重于相对常规的日常活动；极端或高度专业化的任务（如手术、体育运动）可能需要额外的数据多样性。
• 时间覆盖 – 虽然 30 小时已足够，但未探索更长期的变化（季节光照、服装更换），这些可能影响表征的稳定性。
• 对齐度量的可扩展性 – 跨注意力相似度计算对超大模型成本高，未来工作可设计更轻量的对齐诊断方法。
• 多模态信号的融合 – 将单人生学习扩展至音频、惯性或语言线索，可能进一步丰富学习到的表征。

Bottom line: 本文展示了一周的个人第一人称视频即可让视觉模型学习到与大规模网络数据集相当的世界几何，为基于个人、以隐私为先的 AI 开辟了新道路，使其直接从我们的日常生活中学习。

Authors

• Tengda Han
• Sayna Ebrahimi
• Dilara Gokay
• Li Yang Ku
• Maks Ovsjanikov
• Iva Babukova
• Daniel Zoran
• Viorica Patraucean
• Joao Carreira
• Andrew Zisserman
• Dima Damen

Paper Information

• arXiv ID: 2512.04085v1
• Categories: cs.CV
• Published: December 3, 2025
• PDF: Download PDF