[Paper] 景观感知的自动化算法设计：真实世界优化的高效框架

Source: arXiv - 2602.04529v1

概览

本文介绍了一种 landscape‑aware automated algorithm design 框架，使开发者能够利用大型语言模型（Large Language Models，LLMs）来发明优化算法 而无需反复进行昂贵的真实评估。通过将遗传编程函数生成器与基于 LLM 的进化设计器相结合，作者创建了廉价的代理问题，这些问题模拟目标问题的“形状”，从而显著降低计算预算，同时仍能提供高性能求解器。

关键贡献

• 解耦发现管线： 将算法合成与昂贵的问题评估分离，使得在低成本下对算法空间进行大规模探索。
• 景观相似性引导： 使用问题景观的统计描述符（例如模态性、崎岖度、可分性）将生成的代理函数与真实世界问题匹配，确保发现的算法具有可迁移性。
• 混合 GP + LLM 引擎： 基因编程（GP）模块生成多样的测试函数，而基于 LLM 的进化算法设计器选择并优化算法组件（选择、变异、交叉等）。
• 在真实基准上的实证验证： 展示了在昂贵评估上最高可降低 70 %，同时实现的解质量与仅使用 LLM 或手工构造的基线算法相当或更佳。
• 开源原型： 提供一个可复用的 Python 库，将流行的 LLM API（如 OpenAI、Anthropic）与基于 DEAP 的 GP 和景观分析工具集成。

方法论

1. Landscape Characterisation – 对于每个目标优化问题，作者计算一组低成本的景观度量（例如，适应度‑距离相关性、自相关长度、局部最优数量）。
2. Proxy Function Generation (GP) – GP 系统进化出数学函数，使其景观度量 接近 目标问题的度量。GP 个体的适应度是其度量与目标度量之间的距离。
3. LLM‑Driven Algorithm Designer – 使用 LLM（以代理函数的描述为提示）提出候选优化算法，以领域特定语言表达（例如，操作符和参数的 JSON 架构）。
4. Evolutionary Loop – 候选算法仅在 廉价的代理函数 上进行评估。它们的性能反馈到标准的进化循环中，对算法组件进行变异和重组。
5. Final Validation – 在预定的代理评估预算用完后，表现最好的算法在真实问题上 运行一次（或少数几次）以确认其质量。

整个流水线像一个“沙盒”：开发者可以在不触及昂贵的真实目标的情况下，实验成千上万的算法想法。

结果与发现

*质量以相对于已知最佳基准的比率表示（对最小化问题，数值越低越好）。

• 代理保真度： 与真实世界性能匹配的代理产生了 0.92 的相关性，远高于随机代理（≈0.45）。
• 算法多样性： 框架发现了新颖的混合算法（例如，使用 LLM 建议启发式的自适应变异的差分进化），这些在初始搜索空间中不存在。
• 速度： 单个 GPU 节点的端到端运行时间从约 48 h（纯 LLM 搜索）下降到约 14 h，主要得益于廉价的代理评估。

实际意义

• Cost‑effective AutoML/AutoOpt: 团队现在可以让 LLM “设计”针对细分问题（例如供应链路径规划、能源电网平衡）的定制优化器，而无需在成千上万次试运行上消耗云资源。
• Rapid prototyping: 开发者可以在几分钟内迭代算法思路，在逼真的代理上进行测试，并且只有在拥有高度可信的候选方案后才进行完整运行。
• Integration with CI/CD: 该开源库可以脚本化嵌入 CI 流水线，在问题定义变更时自动生成并基准测试新的求解器。
• Domain‑specific solver libraries: 企业可以构建一套针对自身数据分布调优的 LLM 生成优化器目录，为下游服务提供 “plug‑and‑play” 的性能提升。

限制与未来工作

• 景观度量选择： 当前的描述符集合可能无法捕捉高度受约束或离散问题的所有细微差别，从而限制了在这些领域的代理忠实度。
• 对大语言模型的依赖： 生成算法的质量取决于提示工程和大语言模型的能力；更复杂的设计可能需要更先进的模型。
• GP 代理生成的可扩展性： 虽然成本低廉，但在极高维度的景观中，GP 仍会产生开销；作者建议探索基于代理或神经网络的景观生成器。
• 未来方向： 将框架扩展到多目标设置，加入基于强化学习的大语言模型代理，并通过元学习自动化度量选择过程。

作者

• Haoran Yin
• Shuaiqun Pan
• Zhao Wei
• Jian Cheng Wong
• Yew‑Soon Ong
• Anna V. Kononova
• Thomas Bäck
• Niki van Stein

论文信息

• arXiv ID: 2602.04529v1
• Categories: cs.NE
• Published: February 4, 2026
• PDF: Download PDF