[Paper] GAINS：基于高斯的稀疏多视角捕获逆向渲染

Source: arXiv - 2512.09925v1

概览

GAINS 解决了 3‑D 重建中一个出乎意料常见的问题：仅凭少量照片就提取可靠的几何形状、材质属性和光照。通过将基于 Gaussian‑splatting 的逆向渲染与学习得到的深度、法线和扩散先验相结合，作者提供了一个在输入视角稀疏时仍然稳健的系统——这是之前的最先进方法难以做到的。

关键贡献

• 两阶段逆向渲染管线：首先利用单目深度/法线先验稳定几何，然后使用分割、内在图像分解（IID）和扩散先验细化材质估计。
• 稀疏视角鲁棒性：在仅有 3–5 张视图的情况下，材料参数精度提升超过 30 %，且重新光照质量显著改善，这是以往方法难以实现的。
• 统一的高斯表示：在流行的 Gaussian splatting 框架中加入基于物理的着色参数，同时保持渲染管线完全可微。
• 广泛的基准测试：在合成数据集（BlenderProc、DTU）和真实世界捕获（手持手机）上提供了定量与定性结果，树立了稀疏多视角逆向渲染的新基准。
• 开源发布：代码、预训练模型和交互式演示均公开，鼓励快速采用和进一步研究。

方法论

第1阶段 – 几何稳定化

1. 从稀疏视角构建的粗糙 Gaussian‑splatting 重建开始。
2. 注入基于学习的先验：单目深度网络（MiDaS 风格）和法线估计器提供每像素线索；扩散模型提供全局形状先验，抑制不真实的表面折叠。
3. 将这些线索融合到联合损失中，细化高斯的位置信息和协方差，得到更合理的几何形状，无需密集覆盖。

第2阶段 – 材料与光照恢复

1. 在固定细化后的几何的同时，系统优化反射率（漫反射反照率、镜面粗糙度等）和光照。
2. 分割掩码 将对象分离，减少不同材料之间的相互干扰。
3. 内在图像分解 网络提供反照率与光照的初始估计，起到强正则化作用。
4. 对材料图的扩散先验（在大量 BRDF 纹理上训练）鼓励真实的空间平滑性和合理的纹理统计。
5. 所有组件通过可微渲染器端到端优化，评估渲染图像与捕获图像之间的光度误差。

整个管线在单个 GPU 上运行，对典型的 3 视角输入在几分钟内收敛，对开发者而言实用。

结果与发现

• 几何: 平均 Chamfer 距离在稀疏设置下提升约 20%，证实深度/法线先验有效消除歧义。
• 材料精度: 反照率和粗糙度误差显著下降，导致更真实的纹理恢复。
• 重光照与新视角合成: 在新光照条件下渲染的图像明显更干净，幽灵伪影更少，镜面处理更好。
• 消融实验: 移除材料的扩散先验会导致 RMSE 下降约 15%，凸显其在实现真实纹理统计中的作用。

实际意义

• 快速资产创建: 游戏工作室和 AR 开发者仅需几张手机照片即可生成高质量 3D 资产，降低昂贵的摄影测量成本。
• 虚拟试穿与电商: 精准的材料恢复实现真实的产品可视化（如织物光泽、金属光亮），无需繁复的工作室灯光设备。
• 机器人与场景理解: 稀疏视角逆向渲染可为 SLAM 流程提供材料线索，提升抓取规划和光照感知导航。
• 内容驱动的重光照: 对仅有有限参考图像的创作者来说，捕获后光照编辑变得可行，开启 VFX 与数字孪生的新工作流。

因为 GAINS 基于已广受欢迎的 Gaussian splatting 生态系统（如 Nerf‑Gaussian‑Splatting），将其集成到现有管线只需极少的代码修改——主要是更换优化器并添加先验模块。

局限性与未来工作

• 依赖预训练先验: 深度、法线和扩散先验的质量直接影响最终结果；当这些网络遇到分布外场景（如强透光）时会出现失败案例。
• 静态光照假设: GAINS 假设每组捕获使用单一静态光照环境；动态光照或混合光照场景尚未支持。
• 对大场景的可扩展性: 虽然对对象尺度捕获高效，但将方法扩展到整房间重建需要层次化的高斯管理以及更节省内存的先验。
• 未来方向: 作者计划探索自监督先验精炼、引入视频捕获的时间先验，并尝试基于神经场的光照表示，以处理复杂光照。

作者

• Patrick Noras
• Jun Myeong Choi
• Didier Stricker
• Pieter Peers
• Roni Sengupta

论文信息

• arXiv ID: 2512.09925v1
• Categories: cs.CV
• Published: December 10, 2025
• PDF: Download PDF