[Paper] QUIVER：成本感知自适应偏好查询于代理辅助的进化多目标优化

Source: arXiv - 2605.04267v1

Overview

本文介绍了 QUIVER，这是一种新算法，它将廉价的目标函数评估与智能的、考虑成本的偏好查询相结合，以引导进化多目标优化（EMO）。通过将评估和偏好获取都视为预算项目，QUIVER 学会 何时 以及 如何 向决策者询问意见，从而在具有挑战性的基准问题上显著降低后悔值（即所呈现解与真实最优折衷之间的差距）。

关键贡献

• Cost‑aware decision‑making loop – 将下一步行动的选择（评估解或提出偏好查询）形式化为一个每单位成本的效用最大化问题。
• Heterogeneous query handling – 支持多种查询模式：廉价且噪声较大的成对偏好陈述（PS）以及更丰富、更昂贵的无差别调整（IA）。
• Adaptive query mix – QUIVER 会根据问题难度自动在 PS 与 IA 之间调整比例，相比单一模态基线可实现最高 25 % 的最终效用遗憾降低。
• Surrogate‑assisted EMO integration – 将查询策略与预测目标值的代理模型相耦合，将昂贵的真实评估次数降至最低。
• Extensive empirical validation – 在 DTLZ 与 WFG 套件上使用合成决策者模型进行基准测试，显示在更困难的 WFG 问题上始终保持优势。

方法论

1. Problem Setting – 优化器必须找到一个能够最大化由决策者（DM）定义的未知标量化效用函数的解。可以通过两种方式向 DM 进行查询：

   • Pairwise Preference (PS)： “你更喜欢方案 A 还是方案 B？”——成本低但噪声大。
   • Indifference Adjustment (IA)： “调整权衡，使这两个方案的吸引力相等。”——信息量更大，但成本更高。

2. Surrogate Model – 一种 Gaussian‑process‑style 代理模型预测候选解的多目标结果，提供均值估计和不确定性。

3. Query‑Informed Value Estimation for Regret (QUIVER) Loop

   • Action candidates: (i) 在真实的高成本目标上评估候选解，(ii) 提出 PS 查询，(iii) 提出 IA 查询。
   • Expected improvement per cost: 对于每个候选动作，QUIVER 估算决策质量 regret 的预期降低（即离 DM 真正最优解更近的程度），并将其除以该动作已知的成本。
   • Selection: 执行比值最高的动作。

4. Budget Management – 总预算是评估成本单元和查询成本单元的固定总和。预算耗尽时，QUIVER 停止运行，并返回估计效用最高的解。

结果与发现

• 查询混合随难度自适应： 在简单的 DTLZ2 问题上，QUIVER 将约 80 % 的查询预算用于 PS（廉价、嘈杂），仅 20 % 用于 IA。 在困难的 WFG9 问题上，比例翻转为约 35 % PS 和 65 % IA，表明当搜索空间更复杂时，更丰富的查询更有价值。
• 代理效率： 通过在大多数评估中依赖代理，QUIVER 将真实昂贵目标调用的次数相比普通 EMO 基线减少了最高 60 %。
• 对噪声的鲁棒性： 即使 PS 响应被故意加入噪声，QUIVER 的成本感知策略仍然优于静态策略基线。

实际意义

• 交互式设计工具 – 使用多目标 CAD 或超参数调优界面的工程师可以让 QUIVER 决定是提出快速的“哪个设计更好？”问题，还是更复杂的“调整权衡”对话，从而保持用户疲劳低，同时更快收敛到满意的设计。
• 资源受限的优化 – 在目标评估成本高昂的领域（例如 CFD 仿真、硬件原型），QUIVER 基于代理模型的预算分配可以将昂贵的运行次数减少最多一半，提供相当或更好的解。
• 自动化机器学习流水线 – 在对模型进行精度、延迟和内存等多目标调优时，QUIVER 仅在额外信息能够证明时间成本合理时向数据科学相关方询问偏好，从而加快部署周期。
• 可定制成本模型 – 该框架允许团队接入自己的成本估算（例如云仿真的金钱成本、UI 调查的人力时间），使 QUIVER 能适应多种工业场景。

限制与未来工作

• Synthetic DM models – 实验依赖于模拟的决策者；需要进行真实用户研究，以确认自适应查询组合在实际人类中表现相似。
• Scalability of surrogate – 当前的高斯过程代理在非常高维的目标空间（>50 维）上可能表现不佳；探索可扩展的代理（例如深度集成）是自然的下一步。
• Fixed query cost assumption – QUIVER 将 PS 和 IA 成本视为静态值；实际中，用户疲劳或计算开销可能动态变化，这表明需要更丰富的成本模型扩展。
• Extension to more query types – 融入其他偏好获取方式（例如排序、权衡滑块）可以进一步提升在复杂问题上的效率。

总体而言，QUIVER 证明了成本感知的自适应偏好查询方法能够使交互式多目标优化既更廉价又更友好，为工程和人工智能领域的更智能决策支持工具打开了大门。

作者

• Florian A. D. Burnat

论文信息

• arXiv ID: 2605.04267v1
• 分类: cs.LG, cs.NE, math.OC
• 出版时间: 2026年5月5日
• PDF: 下载 PDF