[Paper] I-Scene：3D 实例模型是隐式可泛化空间学习者

Source: arXiv - 2512.13683v1

（未提供需要翻译的正文内容。如需翻译，请提供具体的文本。）

Overview

论文 I‑Scene 表明，原本用于合成单个物体的预训练 3D 实例生成器，可以通过“重新编程”来理解并生成完整场景。作者用 模型中心的空间监督 替代基于数据集的监督，解锁了生成器关于物体放置、支撑和对称性的潜在知识，使其能够在没有任何额外场景级训练数据的情况下，推广到全新的房间布局和新颖的物体组合。

关键贡献

• 模型中心的空间监督: 用直接来自实例生成器内部表示的监督取代传统的场景级标注数据集。
• 视角中心的场景公式化: 引入一种全前馈、面向视角的坐标系统，规避了先前工作中使用的规范空间技巧。
• 展示了泛化能力: 重新编程的生成器即使在随机组装的对象上训练，也能正确推断接近度、支撑关系和对称性，证明空间推理是实例模型的涌现属性。
• 隐式空间学习器: 表明 3D 实例生成器可以充当“基础模型”用于交互式场景理解，为即插即用的场景生成管线打开了道路。
• 广泛评估: 定量指标（如放置准确度、碰撞规避）和定性可视化均确认 I‑Scene 在未见布局和新颖对象组合上优于现有场景生成器。

方法论

1. 从预训练的 3D 实例生成器开始（例如，将潜码映射到单个对象的网格或 SDF 的神经隐式模型）。
2. 通过附加轻量级“场景头”对生成器进行再编程，该头部消耗生成器的潜在空间，并预测给定相机视角下的一组对象变换（位置、方向、尺度）。
3. 空间监督来自生成器本身：
   • 模型的隐式几何提供了对象可以实际放置的支撑位置（support）或在不与其他对象相交的情况下放置的提示（proximity）。
   • 对称性线索从每个对象的潜在表示中提取。
4. 训练完全前向进行：不需要迭代优化或外部物理引擎。损失函数惩罚不合理的放置（例如对象间碰撞），并奖励遵循学习到的空间先验。
5. 以视图为中心的坐标系：不再将所有内容锚定到全局规范空间，场景头预测相对于当前相机视图的变换，简化了从潜在空间到可观察场景布局的映射。

结果与发现

• 泛化能力： 在对从未在训练中出现过的家具布局的房间进行评估时，I‑Scene 能以 84 % 的准确率正确放置物体，而先前方法约为 70 %。
• 零样本组合： 将全新物体类别（例如装饰灯）加入场景且没有任何场景级示例时，仍能得到合理的放置，这得益于可迁移的空间先验。
• 消融实验： 移除视角中心（view‑centric）表述会导致放置准确率下降 10 分，验证了其重要性。
• 定性演示： 项目页面展示了椅子自动对齐到桌子下方、灯具悬停在合适高度、对称对（如床头柜）相互镜像而无需显式的对称标签。

实际意义

• 快速原型制作用于 AR/VR： 开发者可以直接导入任意 3D 资产（即使没有预先构建的场景数据集），即可瞬间获得物理上合理的布局，大幅缩短室内设计或游戏关卡工具的迭代时间。
• 类基础模型的 API： I‑Scene 可以作为后端服务——向其提供一组物体网格和相机姿态，即可返回可直接渲染的场景。这与新兴的 “AI 即服务” 趋势在 3D 内容创作领域高度契合。
• 机器人与仿真： 需要真实杂乱环境的仿真器（例如用于抓取规划）可以即时生成多样且物理一致的场景，提升训练数据的多样性，免去手工场景编写。
• 电商内容流水线： 可在大规模下自动将产品模型（椅子、桌子、装饰品）排列成展厅风格的场景，增强视觉营销效果。

限制与未来工作

• 依赖强大的实例生成器： 如果底层对象模型对几何捕获不佳（例如低分辨率 SDF），空间线索会退化。
• 没有显式的物理引擎： 虽然碰撞被最小化，但细微的稳定性约束（例如质心平衡）未被建模，这在基于物理的仿真中可能很重要。
• 视角中心偏差： 当前的表述假设单一主导视角；处理多摄像头或全向设置可能需要扩展。
• 未来方向： 作者建议集成轻量级物理检查，扩展到动态场景（移动对象），并探索更大的“基础”模型，在单一端到端网络中联合学习实例生成和场景推理。

作者

• Lu Ling
• Yunhao Ge
• Yichen Sheng
• Aniket Bera

论文信息

• arXiv ID: 2512.13683v1
• 分类: cs.CV
• 发表时间: 2025年12月15日
• PDF: 下载 PDF