[Paper] 从程序技能到策略基因：迈向经验驱动的测试时演化

Source: arXiv - 2604.15097v1

Overview

本文研究了如何对先前运行的科学代码求解系统的“经验”进行打包和重用，以便在测试时利用并迭代演化。通过在 45 个问题领域中进行 4,590 次受控实验，作者发现紧凑的、类似基因的经验表示始终优于更大、文档式的“技能”包。简而言之，如何编码过去的知识远比提供多少知识更为关键。

关键贡献

• 经验基准：在 45 项科学代码求解任务上进行 4,590 次试验，提供了罕见的大规模经验复用评估。
• 表示比较：显示 “Skill” 包（丰富文档）不稳定且常导致性能下降，而最小化的 “Gene” 编码获得最佳平均结果。
• 进化就绪设计：证明基因是迭代学习的更佳载体——失败历史、紧凑警告和可编辑结构都提升了下游性能。
• 量化收益：基因进化系统将 CritPt 基准的基线性能从 9.1 % → 18.57 % 和 17.7 % → 27.14 % 提升。
• 设计洞见：强调核心挑战在于将经验 编码 为紧凑、面向控制的对象，而不是单纯增加更多数据。

方法论

1. 任务套件 – 45 个科学代码求解场景（例如符号积分、微分方程求解）。
2. 经验格式
   • Skill：一种文档式捆绑，包含自由形式文本、示例和辅助代码。
   • Gene：一种结构紧凑、低维度的向量/记录，捕获关键控制信号（例如参数微调、简明警告）。
3. 受控试验 – 对每个场景，作者进行多次测试运行，附加 Skill 或 Gene，测量成功率、运行时间以及在结构扰动下的稳定性（例如字段洗牌、添加噪声）。
4. 迭代进化 – 初始运行后，记录失败信息并反馈到经验对象中。作者比较三种实现方式：朴素的文本追加、结构化失败日志以及紧凑的警告标记。
5. 指标 – 主要指标是相对于基线模型的 平均成功提升；次要指标包括对表示变化的鲁棒性以及编码成本（大小、解析开销）。

结果与发现

• 迭代累积：当失败历史被编码为 Gene 内的紧凑警告时，后续运行相较于使用原始文本日志可额外提升约 ~5 %。
• 结构编辑重要：改变 Gene 字段的顺序或嵌套对性能的影响小于对 Skill 捆绑进行相同操作，确认 Gene 的设计本质上更偏向 控制导向。
• CritPt 基准：Gene 演化模型实现了 18.57 % 和 27.14 % 的成功率，约为基线分数的两倍。

实际意义

• 面向开发者的工具：在构建 AI 辅助的科学软件（例如符号数学助理、自动定理证明器）时，提供一个紧凑的“体验 API”，而不是一次性输出大量文档块。
• 运行时效率：基因非常小（通常 < KB），相较于技能包（通常 > MB），能够降低解析时间和内存占用——这对边缘设备或云函数部署至关重要。
• 持续改进流水线：系统可以自动将失败警告（例如 “division‑by‑zero at step 3”）摄入基因，实现在线细化，而无需重新训练整个模型。
• 版本控制与可重复性：由于基因是结构化的，它们可以像代码一样进行差异跟踪并回滚，使科学计算的审计轨迹更易管理。
• 跨领域迁移：设计良好的基因可以在相关问题族之间迁移（例如，从 ODE 求解到 PDE 离散化），只需最少的适配，加速研究原型的产品化。

限制与未来工作

• 领域范围：实验聚焦于科学代码求解；结果可能无法直接转化到自然语言处理或视觉任务，除非进行进一步验证。
• 基因设计启发式：论文提出了特定的基因模式；在其他领域发现最优模式仍是未解之谜。
• 进化的可扩展性：虽然紧凑的警告目前表现良好，作者指出处理大规模、异构的失败日志可能需要层次化的基因结构。
• 人类可解释性：基因刻意简短，这会使人工调试更困难；未来工作可以探索兼具紧凑性和更丰富解释的混合表示。

底线：对于构建需要从过去运行中学习的 AI 系统的开发者来说，结论很明确——将经验编码为小而结构化的“基因”，而不是庞大的文档包。这不仅能带来更好的即时性能，也为生产环境中的高效、迭代改进奠定基础。

作者

• Junjie Wang
• Yiming Ren
• Haoyang Zhang

论文信息

• arXiv ID: 2604.15097v1
• Categories: cs.SE, cs.CL
• Published: 2026年4月16日
• PDF: 下载 PDF