[Paper] Alterbute: 编辑图像中对象的内在属性

Source: arXiv - 2601.10714v1

请提供您希望翻译的具体文本内容，我将按照要求将其译成简体中文并保留原始的格式、Markdown 语法以及技术术语。

概述

该论文 “Alterbute: Editing Intrinsic Attributes of Objects in Images” 提出了一种基于扩散的框架，能够在保持对象身份及其周围场景完整的前提下，改变对象的核心属性——例如颜色、纹理、材质，甚至形状。通过将宽松的训练目标与细粒度的视觉身份类别（Visual Named Entities）相结合，作者实现了比以往图像编辑模型更可靠、更可控的编辑。

关键贡献

• Relaxed identity‑preserving training 在训练时同时学习内在（例如材质）和外在（例如姿态、背景）的变化，并在推理时固定外在因素。
• Visual Named Entities (VNEs)：自动提取的细粒度身份标签（例如 “Porsche 911 Carrera”），使模型能够理解构成对象身份的要素。
• Scalable supervision pipeline 利用视觉语言模型从大型公共图像集合中收集 VNE 和属性描述，免去昂贵的人工标注需求。
• Demonstrated superiority 在保持身份的同时编辑内在属性方面，针对多种对象类别（车辆、家具、服装等）展示出相较现有方法的优势。

方法论

1. 数据准备

• 一个视觉‑语言模型（例如 CLIP）扫描大规模图像数据集，提取 VNE 标签（具体的模型名称、产品系列）以及关联的 内在属性描述（如 “红色皮革座椅”、 “哑光金属表面”）。
• 每个训练样本包括：
  • 一个 身份参考图像（我们希望保持可辨识的对象），
  • 一个 文本提示，描述期望的内在属性变化，
  • 一个 背景图像 和 对象掩码，定义外在上下文。

2. 训练目标

• 扩散模型在 所有三个输入 条件下重建目标图像。
• 关键是，损失函数 不惩罚外在变化（姿态、光照、背景），从而让网络学习内在因素与外在因素的交互方式。

3. 推理过程

• 测试时，原始的 背景图像 和 对象掩码 被重新使用，实际上 “锁定” 了外在方面。
• 模型接收身份参考、新的文本属性提示以及保持不变的外在上下文，生成的编辑对象保留原始身份和场景位置。

4. 扩散骨干网络

• 基于潜在扩散架构（类似 Stable Diffusion），但加入了 交叉注意力层，将 VNE 派生的身份嵌入与属性文本嵌入进行融合。

结果与发现

• 定性示例 展示了令人信服的变化：一辆银色轿车被改造成哑光黑概念车，一把木质椅子呈现出光亮金属质感，一件普通 T 恤在不失剪裁和品牌标志的前提下完成了重新上色和纹理化。
• 消融研究 证实了 (i) 使用 VNEs 能显著提升身份保持能力，且 (ii) 在推理阶段固定背景/遮罩对于防止不期望的外在漂移至关重要。

实际意义

• 电子商务与虚拟试穿 – 零售商可以从单张照片即时生成产品变体（不同颜色、材质），从而减少昂贵的拍摄需求。
• 游戏资产流水线 – 艺术家可以编写脚本批量更改属性（例如，“所有剑都变为火焰附魔”），同时保持基础模型可辨识，提升内容创作速度。
• 设计迭代 – 工业设计师可以在现有渲染图上尝试材质或表面处理的更换，而无需重新构建 3D 模型，加快反馈循环。
• 增强现实 – 实时应用可以让用户“重新贴皮”环境中的物体（例如，更换沙发面料），同时保持空间一致性。

限制与未来工作

• 依赖准确的掩码 – 该方法假设对象掩码相对干净；分割不佳会将外部变化泄漏到编辑区域。
• VNE 覆盖范围 – 虽然自动提取在流行消费品上表现良好，但小众或定制对象可能缺乏足够的 VNE 示例，限制了身份监督。
• 计算成本 – 扩散推理仍比基于 GAN 的编辑器慢，这可能阻碍实时应用。
• 未来方向 包括整合更鲁棒的分割（例如交互式抠图）、通过网络规模爬取扩展 VNE 词汇表，以及对扩散模型进行蒸馏以实现更快的设备端推理。

作者

• Tal Reiss
• Daniel Winter
• Matan Cohen
• Alex Rav‑Acha
• Yael Pritch
• Ariel Shamir
• Yedid Hoshen

论文信息

• arXiv ID: 2601.10714v1
• 分类: cs.CV, cs.GR
• 发布于: 2026年1月15日
• PDF: 下载 PDF