[Paper] EchoGen：循环一致学习用于统一布局-图像生成与理解

Source: arXiv - 2603.18001v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文。

概述

本文介绍了 EchoGen，一种单一的神经网络架构，能够 将场景布局转换为逼真的图像 并 在已有图像中定位（localize）对象，使用相同的学习表征。通过同时训练这两个任务，模型利用了各自的优势——布局到图像的生成受益于定位的空间推理，而定位则从生成过程中产生的多样化合成图像中获得鲁棒性。作者还设计了一个三阶段的渐进式训练流水线，以克服联合多任务学习通常的不稳定性。

关键贡献

• 统一框架，同时处理布局到图像合成和图像定位，共享通用的编码器‑解码器骨干网络。
• 渐进式训练流程：
  1. 并行多任务预训练 (PMTP) – 使用共享的 token 嵌入为两个任务启动基础能力。
  2. 双重联合优化 (DJO) – 利用生成与定位之间的对偶性顺序集成它们，稳定联合学习。
  3. 循环强化学习 (Cycle RL) – 用循环一致性奖励（GRPO 策略）取代直接视觉监督，使模型在无需额外标注数据的情况下自我纠正。
• 在标准布局到图像基准（如 COCO‑Layout、Visual Genome）和图像定位数据集（如 RefCOCO、RefCOCO+）上实现了最先进的性能。
• 协同效应的实证：联合训练相较于单独训练每个任务可获得可衡量的提升。

方法论

共享主干

• 一个基于 Transformer 的编码器处理 布局标记（对象类别、位置、大小）和 文本线索（标题、指代表达）。
• 解码器根据任务标记生成光栅图像（用于生成）或一组边界框坐标（用于定位）。

递进训练阶段

并行多任务预训练（PMTP）

两个任务在各自的数据集上并行训练。由于布局和定位共享许多语义标记（对象名称、空间术语），模型能够早期学习通用词汇，加快收敛。

双重联合优化（DJO）

模型以 双重 方式在两个任务之间交替进行。对于给定的布局，首先生成图像，然后立即尝试在该合成图像中定位相同的对象。定位损失通过生成路径反向传播，促使生成器产生更易于定位的布局。

循环强化学习（Cycle RL）

系统不依赖像素级监督，而是将往返过程（布局 → 图像 → 定位后布局）视为一个 循环。当恢复的布局与原始布局匹配时（高循环一致性），会给予奖励。梯度式奖励传播优化（GRPO）算法将该奖励转化为梯度更新，实质上在没有单独评判网络的情况下进行强化学习。

损失函数

• 生成：对抗损失 + 感知损失 + 布局对齐损失。
• 定位：对象类别的交叉熵 + 边框坐标的平滑 L1 损失。
• 循环一致性：原始布局标记分布与恢复布局标记分布之间的 KL 散度。

整体目标是这些组件的加权和，且在最终阶段权重会逐渐倾向于循环 RL 项。

结果与发现

• 消融实验表明，去除 DJO 会导致生成的 FID 上升约 3 点，定位准确率下降约 4 %。
• Cycle RL 单独使用即可提升对噪声布局的鲁棒性，使 layout‑to‑image 失败案例减少约 15 %。
• 定性示例展示了 EchoGen 能够遵循细粒度空间约束（例如“猫在花瓶左侧”），同时仍能生成多样的纹理和背景。

实际意义

由于 EchoGen 使用相同的参数学习两项任务，开发者可以部署一个 单一模型 来服务多个下游流水线（生成、定位、数据合成），从而节省计算资源并简化维护。

限制与未来工作

• 对超高分辨率图像的可扩展性（≥1024 像素）尚未得到验证；当前流水线因 GPU 显存限制，最高只能处理 512 像素。
• 依赖干净的布局标注：当输入布局噪声大或不完整时，性能会下降，表明需要更鲁棒的布局推断。
• Cycle‑RL 奖励设计是手工构造的；探索学习奖励函数或对抗性评估器可能进一步提升一致性。
• 作者计划将 EchoGen 扩展到 3‑D 场景生成 并加入 视频 grounding，从而将其应用范围拓展至动画和自动驾驶等场景。

作者

• Kai Zou
• Hongbo Liu
• Dian Zheng
• Jianxiong Gao
• Zhiwei Zhao
• Bin Liu

论文信息

• arXiv ID: 2603.18001v1
• 类别: cs.CV
• 发表时间: 2026年3月18日
• PDF: 下载 PDF