[论文] Discount Model Search 用于高维测度空间中的 Quality Diversity Optimization

Source: arXiv - 2601.01082v1

概述

本文介绍了 Discount Model Search (DMS)，这是一种用于质量‑多样性（QD）优化的新算法，即使在度量空间——用于定义“多样性”的特征集合——是高维的情况下，也能可靠工作。通过用平滑的、学习得到的“折扣值”模型取代先前方法中使用的粗糙直方图，DMS 能够持续探索不同的解，而旧方法会在此停滞。作者在基于图像的领域中演示了 DMS，表明开发者现在可以通过示例数据集而非手工构建的度量来定义多样性。

关键贡献

• Discount Model Search (DMS)： 一种 QD 算法，连续建模折扣值，避免基于直方图的方法出现的单元冲突问题。
• 可扩展到高维度度量： 能处理数十甚至数百个度量维度（例如原始图像像素），而之前的 QD 算法会失效。
• 图像驱动的 QD 应用： 引入两个新颖领域，度量是整幅图像，用户只需提供示例图像即可指定期望特征。
• 实证优势： 在标准高维基准以及新的图像领域中，DMS 在质量和多样性方面始终优于 CMA‑MAE 和其他黑箱 QD 基线。

方法论

1. 背景 – 折扣值: 在 QD 中，每个候选解会获得一个 折扣，该折扣降低其再次被选中的概率，从而鼓励探索。CMA‑MAE 在度量空间上使用离散直方图来存储这些折扣。
2. 直方图的问题: 在高维空间中，许多不同的解会映射到相同的直方图单元格，因而获得相同的折扣。这种 “度量失真” 会导致搜索停滞。
3. 学习折扣模型: DMS 用回归模型（例如神经网络）取代直方图，该模型能够为度量空间中的任意点预测连续的折扣值。模型通过在线训练，使用从已评估解中观察到的折扣进行学习。
4. 引导搜索:
   • 选择: 像在 CMA‑MAE 中一样，从 CMA‑ES（协方差矩阵适应进化策略）分布中抽样候选解。
   • 评估: 计算每个候选解的目标得分和度量向量。
   • 折扣分配: 学习得到的模型为候选解的度量提供平滑的折扣，该折扣用于更新档案（精英解的集合）。
   • 模型更新: 每一代结束后，使用最新的（度量，折扣）对重新训练模型，逐步细化对折扣景观的表示。
5. 高维度度量处理: 由于模型能够在相邻点之间进行插值，两个度量相似但不完全相同的解会获得不同的折扣，从而保持对探索新区域的压力。

结果与发现

总体而言，当度量空间超过约 5 维时，DMS 在多样性和质量上都实现了 显著提升，而在低维设置下则匹配了最先进的性能。

实际影响

• 示例驱动设计: 开发者现在可以通过提供一组示例图像（或任何高维描述符）来定义“什么使得解有趣”，而不必自行设计度量函数。这降低了将 QD 应用于图形、机器人感知或 UI 布局生成的门槛。
• 复杂空间中的稳健探索: 需要在大潜在空间中进行探索的系统——例如神经网络权重空间可视化、使用高维风格向量的程序化内容生成——可以受益于 DMS 的平滑折扣模型，以避免过早停滞。
• 即插即用的现有优化器: DMS 基于 CMA‑ES，这是一种在众多库中广为人知的优化器。将 DMS 集成到现有流水线（例如 OpenAI Gym、Unity ML‑Agents）只需添加折扣模型组件。
• 实时应用的潜力: 由于折扣模型可以增量更新且推理成本低，DMS 可用于交互式设计工具，用户通过上传示例迭代地引导多样性。

限制与未来工作

• 模型选择敏感性: 论文使用了一个简单的前馈网络；更复杂的度量（例如结构化图像）可能需要更丰富的架构，这会引发关于训练稳定性的问题。
• 模型训练的可扩展性: 虽然推理速度快，但每一代都重新训练折扣模型会增加开销，尤其是在非常大的档案库中。
• 理论保证: 作者指出，对连续折扣模型的形式收敛保证仍是一个未解决的问题。
• 更广泛的基准: 未来的工作可以在混合离散‑连续度量的领域（例如游戏关卡生成）上评估 DMS，并探索结合直方图和基于模型的折扣的混合方法。

底线: 折扣模型搜索为质量‑多样性算法在高维、数据驱动的度量空间中蓬勃发展打开了大门，将“手工设计”转变为“示例设计”，为开发者提供了一种强大的新工具，以发现多样化的解决方案。

作者

• Bryon Tjanaka
• Henry Chen
• Matthew C. Fontaine
• Stefanos Nikolaidis

论文信息

• arXiv ID: 2601.01082v1
• Categories: cs.LG, cs.NE
• Published: 2026年1月3日
• PDF: Download PDF