[Paper] Talk2Move：强化学习用于文本指令的对象级几何变换（场景中）

发布: 2周前 (2026年1月6日 GMT+8 02:55)

7 min read

原文: arXiv

Source: arXiv - 2601.02356v1

Overview

Talk2Move 是一个新的基于强化学习的扩散系统，允许您仅通过自然语言描述所需的更改，即可在图像中移动、旋转或调整对象的大小。通过避免需要大量成对的“前后”图像，该方法为更灵活的文本驱动场景编辑工具打开了大门，这些工具可以在单个对象层面工作，而不仅仅是整体风格或颜色。

GRPO（Group Relative Policy Optimization）: 一种新颖的强化学习算法，通过从单张输入图像和轻量文本提示生成的多样化回滚，探索几何操作（平移、旋转、缩放）。
空间奖励函数: 以对象为中心的奖励，直接衡量位移、旋转和缩放与语言指令的一致性，为模型提供可解释的反馈。
离策略步骤评估与主动步骤采样: 这些技术将学习聚焦在最具信息量的变换阶段，显著提升样本效率。
基于扩散的生成，无需配对监督: 系统仅通过无配对数据学习几何编辑，省去昂贵的标注“前后”配对数据收集。
文本引导几何编辑基准套件: 精心策划的数据集和评估指标，用于量化空间精度、语义忠实度以及整体场景连贯性。

Source: …

Talk2Move 基于一种扩散模型，该模型在输入图片和文本指令（例如 “将椅子向左移动 30 cm”）的条件下生成图像。核心循环如下：

动作空间定义： 模型可以对任何检测到的对象施加三种原始几何动作：平移 (Δx, Δy)、旋转 (θ) 和缩放 (s)。
通过 GRPO 学习策略： 与单一确定性策略不同，GRPO 会采样一组候选动作，使用空间奖励对它们进行评估，并根据每个动作相对于组均值的 相对优势 来更新策略。这降低了方差并鼓励对多样化变换的探索。
空间奖励计算： 每执行一次动作后，轻量级目标检测器提取更新后的边界框和姿态。奖励由三项组成：
- 位移误差（预测的平移与语言指定的平移之间的距离）
- 旋转误差（角度偏差）
- 尺度误差（相对尺寸变化）
  奖励会被归一化，以便直观解释（数值越高表示对齐越好）。
离策略评估与主动采样： 系统复用过去的 rollout（离策略）来估计未被采取的动作的价值，并主动采样预计能提供最高学习信号的步骤（例如早期的大幅移动）。
扩散解码： 最终的变换潜在向量会通过扩散解码器，生成一幅写实图像，其中目标对象已被几何地改变，而场景的其余部分保持一致。

空间精度: Talk2Move 将平均平移误差降低约 35 %，将旋转误差降低约 28 %，相较于最强的文本引导基线（例如 InstructPix2Pix、Text2Live）。
语义忠实度: 人类评估者给编辑后的图像标记为“语义正确”的比例为 92 %，而竞争方法为 71 %。
场景一致性: 扩散骨干网络保留光照、阴影和遮挡，使得与真实编辑的 LPIPS 相似度为 0.84（基线为 0.67）。
效率: 受益于离策略评估和主动步采样，模型的收敛所需的训练迭代次数约为普通 RL‑diffusion 流水线的一半。

交互式设计工具： UI/UX 设计师可以将 Talk2Move 嵌入图像编辑器，实现布局快速原型（例如“把沙发向右移动”），无需手动遮罩或 3D 建模。
游戏资产调整： 游戏开发者可以通过生成自然语言指令的简单脚本，以编程方式重新定位或调整概念艺术或关卡草图中的对象大小。
AR/VR 场景编辑： 实时 AR 应用可以让用户通过语音重新摆放捕获房间中的虚拟家具，模型负责遮挡和光照的一致性。
数据增强： 从文本描述生成的合成几何变体可以丰富用于目标检测或姿态估计等下游任务的训练集。