[Paper] 超越算法进化：一种基于LLM的框架，用于群体智能优化算法与提示的协同进化

Source: arXiv - 2512.09209v1

概览

本文提出了一种 协同进化框架，使大型语言模型（LLM）能够同时优化群体智能优化算法 以及 引导该算法的文本提示。通过将提示视为设计循环中的一等公民，作者展示了在经典 NP‑难问题上无需依赖最昂贵的 LLM，即可实现强大的、模型无关的性能。

关键贡献

• 统一的协同进化循环：单个 LLM 迭代改进群体智能算法（如 PSO、蚁群）及其配套的提示模板。
• 提示模板评估指标：一种轻量、可解释的打分方法，用于量化提示对算法的引导效果，从而在进化过程中实现快速选择。
• 模型无关的鲁棒性：在一系列 LLM（GPT‑4o‑mini、Qwen‑3‑32B、GPT‑5）上展示了持续的性能提升，降低了对高成本模型的依赖。
• 实验优势：在一套 NP‑完全基准（如 SAT、TSP、背包）上取得了最先进的结果，优于现有的自动化设计系统（EoH、FunSearch、Reevo）。
• 消融与轨迹分析：表明同时进化提示 和 算法能够显著优于仅进化其中任一组件的方案。

方法论

1. 初始种群 – 随机生成一组群体智能算法变体（不同算子、参数设置）以及对应的提示模板集合（对优化任务的自然语言描述）。
2. LLM 驱动生成 – 将每个算法‑提示对输入 LLM，LLM 提出变异（例如微调速度更新规则、重新表述提示）。
3. 评估
   • 算法适应度：在基准实例上运行算法，记录解的质量 / 运行时间。
   • 提示适应度：使用作者提出的轻量指标，衡量提示在引导 LLM 产生有用推理方面的效果（如生成搜索方向的一致性）。
4. 选择与重组 – 保留表现最好的对，交叉组合其组成部分（提示与算法的混搭），并在固定代数内重复循环。
5. 最终选择 – 输出得分最高的对，作为 “协同进化” 的解。

整个流水线对每个候选仅调用一次 LLM，因而即使在普通硬件上也具备计算可行性。

结果与发现

• 在所有测试的 NP 问题上，协同进化方法 超越 现有最强自动化设计方法 5–10 % 的解质量。
• 当更换底层 LLM（Qwen‑3‑32B 与 GPT‑5）时，进化轨迹出现分歧：较小模型生成的提示更为显式，而更大模型倾向于抽象的高层提示。但两者最终都收敛到高性能的算法‑提示对，验证了框架的 模型无关 特性。
• 消融实验：去除提示进化会导致性能下降 6–8 %，凸显提示细化不是表面装饰，而是成功的核心驱动力。

实际意义

• 成本效益的 AI 增强优化 – 企业可部署更廉价的 LLM（如开源 30B 模型），仍能获得接近最先进的优化性能，从而降低云计算费用。
• 即插即用的优化器 – 框架输出可直接运行的群体算法及简洁提示，开发者可将其嵌入调度、路由、资源分配等流水线，无需手工设计启发式。
• 新领域快速原型 – 通过在提示模板中加入领域约束，协同进化循环可自动发现针对物流、金融或生物信息学等特定场景的群体行为，加速研发。
• 可解释性提升 – 提示模板评估指标提供了人类可读的“为何该算法变体有效”追踪，有助于调试和合规审计。

局限性与未来工作

• 对超大规模问题的可扩展性 – 实验仅限于中等规模的 NP 基准；在工业级大数据集上的表现仍需验证。
• 提示搜索空间设计 – 当前的模板语法为手工构造；更丰富、可能是层次化的提示表示有望带来进一步提升。
• 跨模态扩展 – 作者指出可将视觉或代码形式的 “提示”（如程序草图）与算法共同进化，这是未来的研究方向。

总体而言，本文描绘了一条通往 LLM 驱动、自我优化启发式 的有前景路径，将算法严谨性与自然语言灵活性相结合，可能重塑开发者构建智能优化服务的方式。

作者

• Shipeng Cen
• Ying Tan

论文信息

• arXiv ID: 2512.09209v1
• 分类: cs.NE
• 发表时间: 2025 年 12 月 10 日
• PDF: Download PDF