[Paper] 通过基于语法的序列比对进行进化架构搜索

Source: arXiv - 2512.04992v1

概览

本文通过借鉴生物信息学的思想，对神经架构搜索（Neural Architecture Search, NAS）提出了一种新颖的视角：它将 Smith‑Waterman 局部序列比对算法用于衡量神经网络“基因组”之间的相似度。这种基于文法的距离使得交叉式进化变得廉价且可扩展，为更快、更丰富的架构发现打开了大门。

关键贡献

• 基于文法的编辑距离： 引入两种 Smith‑Waterman 算法的变体，用于计算以文法字符串形式表示的神经架构之间的轻量且有意义的距离。
• NAS 的交叉算子： 利用比对结果将两个父模型的子结构拼接起来，生成混合后代，无需昂贵的重新训练。
• 复杂度降低： 表明新的距离度量比以往的图匹配方法快数个数量级，使得在搜索空间中能够实时跟踪多样性并进行最短路径查询。
• 实证验证： 实验表明，配备新交叉算子的进化运行在标准基准上优于多种最先进的 NAS 方法。
• 分析工具： 提供了可视化架构损失景观并在进化过程中监控种群多样性的框架。

方法论

1. 文法表示： 将每个神经架构编码为一串产生式规则（例如 “Conv‑3×3 → ReLU → MaxPool”），将网络图转化为可比对的线性序列。
2. Smith‑Waterman 改编：
   • 局部比对 在两个架构之间寻找最佳匹配子序列，奖励相同模块，惩罚不匹配或间隙。
   • 探索两种变体：一种偏好结构相似性，另一种强调功能相似性（如匹配滤波器大小）。
3. 编辑距离计算： 将比对得分转化为编辑距离，量化将一个架构转换为另一个架构所需的插入、删除或替换次数。
4. 交叉生成： 给定两个父代，算法提取对齐的子序列并交换，生成继承了高性能“构建块”的后代。
5. 进化循环： 将标准变异算子（如添加/删除层）与新交叉结合。利用基于文法的距离测量种群多样性，并跟踪到当前最佳模型的最短路径距离，以指导探索。

所有步骤均使用简单的动态规划表实现，保持了足够低的开销，适用于大规模 NAS 实验。

结果与发现

• 速度提升： 两个架构之间距离的计算从 O(|V|³)（图同构方法）下降到 O(L²)，其中 L 为文法字符串长度——通常可实现 10‑100 倍的加速。
• 搜索性能： 在 CIFAR‑10 和 ImageNet 子集上，使用新交叉的进化算法相较于仅使用变异或昂贵图基交叉的基线提升 +1.2% 的 top‑1 准确率。
• 多样性保持： 距离度量显示，使用新交叉的种群在整个运行过程中保持更高的结构多样性，这与更好的最终性能相关。
• 损失景观洞察： 通过将距离映射到验证损失，作者展示了有前景的架构聚集在可通过对齐交叉高效遍历的“谷底”。

实际意义

• 更快的 NAS 流程： 开发者可以将基于文法的距离和交叉算子直接嵌入现有的进化 NAS 框架，预计计算成本会显著下降，使 NAS 在普通 GPU 集群上也可行。
• 模块化架构设计： 对齐过程突出可复用的子网络（例如高效的瓶颈块），这些块可以被抽取并在不同项目间共享，加速手动模型工程。
• 自动模型多样化： 距离度量可作为多目标 NAS 中的正则化手段，确保集成或 AutoML 服务生成的模型真正不同，而非近似复制。
• 跨领域适用性： 由于该方法适用于任何基于文法定义的搜索空间，能够扩展到 Transformer、图神经网络，甚至将延迟约束编码为文法标记的硬件感知 NAS。

局限性与未来工作

• 文法依赖性： 距离的质量取决于所选文法；设计不佳的产生式规则可能隐藏重要的结构细节。
• 局部比对偏差： Smith‑Waterman 关注最佳局部匹配，可能忽视全局架构不兼容，导致后代次优。
• 对极深网络的可扩展性： 虽然比图方法快，但对齐成本仍随序列长度呈二次增长，极深或高度分支的模型可能需要额外的剪枝或层次化比对。
• 未来方向： 作者建议自动学习文法编码、将距离融合进基于梯度的 NAS，以及将该技术应用于硬件约束或多任务搜索空间。

结论： 通过将神经网络转化为可比对的字符串，本文为进化 NAS 提供了一种实用、低开销的工具，不仅加速了搜索，还为理解和复用模型组件提供了新视角。

作者

• Adri Gómez Martín
• Felix Möller
• Steven McDonagh
• Monica Abella
• Manuel Desco
• Elliot J. Crowley
• Aaron Klein
• Linus Ericsson

论文信息

• arXiv ID: 2512.04992v1
• 分类: cs.NE, cs.AI, cs.LG
• 发布日期: 2025 年 12 月 4 日
• PDF: Download PDF