[Paper] SeaEvo：通过策略空间演化推进算法发现

Source: arXiv - 2604.24372v1

概览

论文 SeaEvo 提出了一种新方法，使基于大语言模型（LLM）的进化搜索更为高效，方法是为每个候选程序提供一个持久的自然语言描述，阐述其底层策略。通过将这些策略文本视为进化种群中的一等公民，系统能够对策略空间进行推理、聚类和导航，而不仅仅是处理原始代码和标量适应度分数。作者展示了该方法在多种算法发现基准上能够带来一致的性能提升。

关键贡献

• Strategy‑Space Layer：引入一个模块化组件，将自然语言的策略描述附加到种群中的每个程序上。
• Strategy Articulation：将变异转化为“三步诊断 → 指导 → 实施”工作流，使大型语言模型能够明确推理要改变什么以及原因。
• Stratified Experience Retrieval：将档案组织为相似策略的簇，并基于互补行为而非纯相似性选择变异灵感。
• Strategic Landscape Navigation：定期总结当前的策略格局（有效的、已饱和的、未充分探索的），并将这些高层指导反馈到变异过程。
• Empirical Validation：在三个基准系列（数学算法发现、系统优化和代理‑支架任务）上展示了改进，开放式系统优化问题上相对提升最高达 21 %。

方法论

1. Population Augmentation – 每个程序候选项都与一段简短的自然语言段落配对，描述其所体现的算法思想或设计模式（例如，“对已排序数组进行分治搜索”）。
2. Mutation via Articulation – 在对候选项进行变异时，LLM 首先 诊断 当前策略的优势/劣势，然后 指示 具体的修改（例如，“将线性扫描替换为二分搜索”），最后 实现 该修改以生成新代码。
3. Strategy Clustering – 档案会定期使用策略文本的嵌入进行重新聚类。聚类代表相关思想的家族。
4. Experience Retrieval – 对于目标候选项，系统会从 互补 聚类（解决不同子问题的聚类）中提取示例，以激发变异，鼓励多样性。
5. Landscape Navigation – 一个轻量级摘要器每隔几代运行一次，生成元策略报告（例如，“二分搜索家族已饱和；探索概率剪枝”）。该报告作为提示反馈，以指导下一轮的表达。

所有步骤均依赖现成的 LLM API（例如 GPT‑4）和标准的进化算子（选择、交叉）。创新之处在于 持久化 策略描述并将其用作进化信号。

结果与发现

• 更高的成功率 在开放式任务中尤为明显，因为这些任务中存在许多低适应度但具有战略潜力的程序。
• 降低了过早收敛：策略簇阻止了种群坍缩到单一的语法变体。
• 提升了样本效率：达到给定性能阈值所需的代数更少（平均约减少 15 % 的评估次数）。

实际意义

• 更健壮的 Auto‑ML 流水线 – 通过公开每个模型训练脚本背后的“原因”，开发者可以让系统保留那些目前表现不佳但有潜力的流水线，以便后续改进。
• 知识库构建 – 持久化的策略文本可以被收集到可搜索的算法模式库中，使未来项目能够复用高层设计，而无需重新推导。
• 调试与审计 – 当生成的程序出现错误时，随附的策略描述提供了即时的人类可读假设，加速根因分析。
• 人机协同混合 – 工程师可以直接注入或编辑策略描述，引导进化搜索朝感兴趣的领域发展，而无需编写底层代码。
• 可扩展的进化搜索 – 聚类和检索机制在大规模存档下表现良好，使 SeaEvo 适用于需要管理数百万候选程序的云端分布式搜索服务。

Limitations & Future Work

• Reliance on LLM Quality – 该方法假设 LLM 能够生成准确、简洁的策略描述；噪声或过于通用的文本会削弱聚类效果。
• Computational Overhead – 定期的聚类和摘要会增加额外的计算周期，对于非常大的种群可能并非微不足道。
• Domain Transferability – 实验主要聚焦于算法和系统任务；将 SeaEvo 应用于 UI 生成或硬件设计等领域可能需要特定领域的提示策略。
• Future Directions – 作者提出 (1) 融合检索增强生成，以将策略基于外部文档进行 grounding；(2) 探索层次化的策略表示（子策略）；(3) 形式化“策略层级适应度”指标，以更好地平衡探索与利用。

作者

• Sichun Luo
• Yi Huang
• Haochen Luo
• Fengyuan Liu
• Guanzhi Deng
• Lei Li
• Qinghua Yao
• Zefa Hu
• Junlan Feng
• Qi Liu

论文信息

• arXiv ID: 2604.24372v1
• 分类: cs.CL, cs.AI, cs.NE
• 出版日期: 2026年4月27日
• PDF: Download PDF