[Paper] PI-Light：Physics-Inspired Diffusion 用于全图重新照明

Source: arXiv - 2601.22135v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文。

概述

本文提出了 π‑Light (PI‑Light)，一个两阶段的基于扩散的框架，将物理学引入图像再照明流程。通过将预训练的扩散模型与受物理启发的约束相结合，作者实现了逼真的全场景光照编辑，无需大量配对数据集，并展示了从合成训练数据到真实世界照片的强大泛化能力。

关键贡献

• Batch‑aware attention：一种新颖的注意力机制，强制在一批图像之间保持固有场景属性（例如反照率、几何形状）的一致性，从而提升重新照明结果的稳定性。
• Physics‑guided neural rendering module：将可微分光传输模型集成到扩散过程之中，确保物理上合理的阴影、镜面高光和漫反射。
• Physics‑inspired loss functions：正则化项，引导扩散动力学朝向物理上有意义的解空间，提高对未见真实图像的鲁棒性。
• Curated lighting dataset：一个新收集的对象及室内/室外场景数据，均在受控光照下拍摄，作为全图重新照明研究的基准发布。
• Efficient fine‑tuning recipe：展示了在物理驱动约束下，大型预训练扩散模型可以使用适度计算资源适配到重新照明任务。

方法论

1. 两阶段管线

   • 阶段 1 – 内在分解：扩散模型为每张输入图像预测场景内在图（反照率、法线、深度）。批量感知注意力确保在处理同一场景的多个视角时，这些预测保持一致。
   • 阶段 2 – 物理引导渲染：轻量神经渲染器接受内在图和目标光照规格（例如方向、强度），使用遵守能量守恒和 Lambert‑Phong 反射模型的可微渲染方程计算重新照明的图像。

2. 受物理启发的损失

   • 能量保持损失：惩罚渲染方程预测的总反射光的偏差。
   • 高光一致性损失：鼓励高光分量遵循由法线暗示的微面分布。
   • 时序平滑损失：当一个批次包含一系列光照条件时，该损失使内在图在序列中保持稳定。

3. 训练与微调

   • 模型首先在大规模合成语料库（例如使用 Blender 渲染）上进行预训练。
   • 在精心策划的真实光照数据集上微调时，使用受物理启发的损失来弥合合成到真实的差距，所需的真实图像远少于纯数据驱动的方法。

结果与发现

• 视觉质量: π‑Light 能在金属上再现清晰的高光，在织物上呈现柔和的漫反射阴影，并且保持正确的阴影边界，优于之前仅使用扩散的重新照明方法。
• 定量指标: 在新的基准测试中，该方法相较于最强基线提升了约 2.3 dB 的 PSNR 和约 0.04 的 SSIM，同时将估计光照向量的平均角误差降低了 15 %。
• 泛化能力: 在分布外的真实照片上进行测试时（例如，用手机相机拍摄的室内场景），π‑Light 能保持逼真的光照变化，而基线模型常出现颜色漂移或不真实的高光形状。
• 效率: 在单个 RTX 3090 上微调约 8 小时即可收敛，仅为从头训练可比端到端重新照明网络所需时间的一小部分。

实际意义

• 内容创作流水线：艺术家可以快速对已有渲染或照片重新照明，而无需重新捕获场景，从而实现游戏、VFX 和 AR/VR 资产的快速迭代。
• 移动端照片编辑：轻量级渲染阶段可以移植到设备端推理，开发者能够在相机应用中添加遵循材质属性的“重新照明”滤镜。
• 合成数据生成：π‑Light 可用于在保持物理真实感的前提下，为训练数据集增添多样的光照条件，提升目标检测、姿态估计等下游任务的效果。
• 机器人与自动驾驶：在捕获的行车记录仪视频上模拟真实的光照变化（如黄昏、路灯），可以增强感知模型对光照变化的鲁棒性。

局限性与未来工作

• 材料模型简化：当前渲染器假设使用 Lambert‑Phong 反射模型，这在处理诸如各向异性或次表面散射等复杂 BRDF 时可能表现不佳。
• 光照表示：仅支持方向性点光源；如果扩展到面积光或环境贴图，将提升适用范围。
• 批量感知注意力缩放：在中等批量大小时效果良好，但对于极大图像集合，注意力机制会消耗大量内存，表明需要更具可扩展性的替代方案。
• 未来方向：作者提出整合学习得到的 BRDF、探索分层光照编码，并将受物理启发的扩散范式应用于具备时间一致性保证的视频重新照明。

作者

• Zhexin Liang
• Zhaoxi Chen
• Yongwei Chen
• Tianyi Wei
• Tengfei Wang
• Xingang Pan

论文信息

• arXiv ID: 2601.22135v1
• Categories: cs.CV
• Published: 2026年1月29日
• PDF: 下载 PDF