[Paper] 风格感知光泽控制用于生成式非写实渲染

Source: arXiv - 2602.16611v1

概述

论文《面向生成式非写实渲染的风格感知光泽控制》研究了现代生成模型如何将光泽——即表面的光亮与哑光特性——与绘画或素描的艺术风格进行分离（解耦）。通过在专门构建的绘画对象数据集上进行训练，作者展示了一个潜在空间，在该空间中光泽可以独立于风格进行调节，并展示了如何将该表示嵌入基于扩散的图像生成器，以实现细粒度、可控的非写实合成。

关键贡献

• 精心策划的绘画数据集 – 一个新的渲染对象集合，涵盖多种艺术风格并系统性地变化光泽度，能够进行关于风格与材质感知的受控实验。
• 层次化可解耦潜在空间 – 一个无监督生成模型学习到潜在层次结构，使光泽与其他视觉因素（颜色、形状、风格）相互独立。
• 轻量级扩散模型适配器 – 一个小型神经“适配器”将具备风格和光泽感知的潜在向量映射到潜在扩散模型（LDM）空间，使用户在图像合成过程中能够直接控制这些属性。
• 定量与定性评估 – 该方法在解耦程度（通过互信息间隙衡量）和用户感知的可控性方面，优于以往的风格迁移和非写实生成方法。
• 开源发布 – 代码、预训练模型以及精心策划的数据集已公开发布，促进可复现性和后续研究。

方法论

1. 数据收集 – 在一系列光泽参数（例如粗糙度值）下渲染 3‑D 对象，然后使用多种程序化艺术风格（水彩、油画、素描等）进行“绘制”。每张图像都标注有其真实光泽水平和风格标识符。
2. 无监督表征学习 – 在数据集上训练一个 VAE‑style 分层编码器‑解码器，无需任何显式光泽监督。层次结构迫使模型为粗粒度（风格）和细粒度（材质）因素分配独立的潜在子空间。
3. 潜在解耦分析 – 作者使用 mutual information gap（MIG）和 latent traversals 对学习到的潜在维度进行探查，以验证光泽能够独立于风格变化。
4. 适配器设计 – 一个浅层 MLP（即“适配器”）接收解耦后的潜在向量（风格 + 光泽），并将其投射到预训练 latent‑diffusion 模型（Stable Diffusion‑style）的潜在空间中。扩散模型随后在这些向量的条件下生成高分辨率的非写实图像。
5. 训练与微调 – 适配器使用对比损失进行训练，鼓励扩散输出在保持预期光泽的同时遵循风格代码。无需对扩散主干进行全模型微调，从而保持计算成本低。

结果与发现

• 光泽解耦： 光泽可以从哑光平滑变化到高度镜面，同时艺术风格保持不变，量化的 MIG 分数和视觉潜在遍历均证实此点。
• 风格保持： 改变光泽不会渗入风格表示；素描仍保持素描风格，水彩仍保持水彩风格。
• 图像质量： 基于扩散的生成器产生清晰、高分辨率的非写实图像，保留预期的材质线索，优于之前基于 GAN 的 NPR 流程。
• 效率： 由于仅训练轻量级适配器，方法对现有扩散管线的额外开销极小。

实际意义

• 游戏与VR资产流水线: 艺术家可以通过编程生成无纹理的“绘画”版3D资产，精确控制光泽度，从而快速原型化风格化环境。
• 设计工具与插件: 将其集成到 Photoshop、Blender 或 Unity 中，作为非写实渲染的“光泽滑块”，让设计师只需一个旋钮即可切换材质光泽，而无需重新绘制。
• 营销与教育内容创作: 自动化生成风格化产品渲染（例如哑光与光面产品草图），用于目录、教程或 AR 覆盖层。
• 研究与数据增强: 可解耦的潜在空间可用于合成带标签的数据，以训练需要理解不同艺术领域材料属性的感知模型。
• 低算力适配: 由于只训练了一个小适配器，工作室可以在不需要大量 GPU 预算的情况下改装现有扩散模型（如 Stable Diffusion）。

限制与未来工作

• 数据集范围： 该策划的数据集覆盖的对象类别和风格有限；扩展到更复杂的场景（例如户外风景）可能需要额外的数据。
• 光泽定义： 本工作聚焦于单一光泽参数（镜面粗糙度）。现实材料常涉及各向异性反射、次表面散射或分层光泽，这些未被捕获。
• 风格泛化： 虽然适配器在训练期间见过的风格上表现良好，但迁移到全新艺术风格时光泽控制可能会下降。
• 用户交互： 当前界面是一个简单的数值光泽向量；未来工作可以探索直观的 UI 元素（例如基于笔刷的光泽绘制）。
• 真实世界验证： 超出实验室的人类感知研究（例如与专业插画师合作）将加强对实际有用性的论证。

作者已开源其代码和数据集，便于开发者进行实验、集成或在自己的创意流水线中扩展该方法。

作者

• Santiago Jimenez-Navarro
• Belen Masia
• Ana Serrano

论文信息

• arXiv ID: 2602.16611v1
• 分类: cs.GR, cs.CV
• 出版日期: 2026年2月18日
• PDF: 下载 PDF