[Paper] 规范协变神经场中的神经进化随机结构

Source: arXiv - 2604.20373v1

概述

本文通过将网络架构的超参数（例如权重方差）视为缓慢演化的随机变量，推进了 gauge‑covariant stochastic neural‑field 框架。通过将网络动力学嵌入受物理启发的有效场论，作者获得了由对称性驱动的诊断工具（Lyapunov 指数、放大因子、修饰谱核），这些工具能够以原则性的方式指导 neural architecture search (NAS)。

关键贡献

• 随机架构演化： 引入一种满足局部 (U(1)) 规范对称性的马尔可夫进化方案，使得架构层面的参数能够在函数空间中演化。
• 有效场论诊断工具： 推导出对称性约束的度量（最大Lyapunov指数、放大因子、着色谱核），用于量化临界性和有限宽度效应。
• 最小基因型设计： 表明单一标量基因型——权重方差 (\sigma_w^2)——足以探索丰富的网络行为景观。
• 融合物理与性能的适应度函数： 将与目标数据的谱匹配、临界稳定性以及保持对称性的“关键锚点”结合为统一的进化目标。
• 三种进化模型的实证比较： 证明只有完全对称约束的 Ginibre (U(1)) 变体能够可靠地收敛到窄的、接近临界的区域，并重现预测的低频谱标度。

方法论

1. 规范协变随机神经场： 从描述具有局部 (U(1)) 对称性（类似复相位旋转）的神经场的连续时间随机微分方程出发。
2. 慢速随机结构变量： 将结构超参数（此处为权重分布的方差）提升为随机过程，其演化速度远慢于神经激活，实际上位于相同的函数空间中。
3. 可交换场中的有效理论： 通过对快速随机神经动力学进行积分，得到以经典（可交换）场表示的有效作用量，使得分析诊断可处理。
4. 稳定性诊断：
   • 最大 Lyapunov 指数 ((\lambda_{\max})) – 衡量扰动的增长，当 (\lambda_{\max}\approx0) 时表明边际稳定。
   • 放大因子 (A) – 定量描述输入信号在层间的放大程度。
   • 修饰谱核 ((S_{\text{dressed}})) – 网络的经验功率谱，已对有限宽度效应进行校正。
5. 进化方案： 马尔可夫链根据提议分布更新 (\sigma_w^2)，并依据 适应度泛函 接受或拒绝移动，该泛函惩罚与目标谱的偏差、非边际动力学以及 (U(1)) 对称性违背。
6. 三种进化模型：
   • 无约束高斯（无对称性）。
   • 对称约束实 Ginibre。
   • 完全对称约束复 Ginibre (U(1))。

结果与发现

Ginibre (U(1)) 演化始终找到一个基因型 (\sigma_w^2)，使得 近临界动力学（边缘稳定性）得以实现，并重现了理论上预测的光谱衰减，确认了对称性引导诊断的实用性。

实际意义

• Guided NAS: 与盲目的超参数搜索不同，开发者可以将基于物理的稳定性准则（例如，Lyapunov 指数 ≈ 0）嵌入搜索过程，从而大幅缩小候选空间。
• 对宽度变化的鲁棒性: 有限宽度的谱诊断帮助设计在层宽度上下扩展时仍能保持性能的网络，这在实际部署中是常见的痛点。
• 架构层面的正则化: 将权重方差视为随机变量暗示了一类新的 meta‑optimizers，它们可以在训练过程中自适应调整超参数，可能提升收敛速度和泛化能力。
• 对称感知的模型设计: 对于自然存在不变性（如相位旋转、规范对称） 的任务（信号处理、物理驱动的机器学习），在架构层面强制相应的对称性可以产生更稳定且更易解释的模型。

限制与未来工作

• 最小基因型: 研究仅改变 (\sigma_w^2)；需要扩展到更丰富的基因型空间（深度、非线性类型、连接模式），以评估可扩展性。
• 受控环境: 实验在合成光谱目标上进行；真实世界数据集（视觉、语言）可能引入当前适应度函数未捕获的额外约束。
• 计算开销: 在进化过程中评估 Lyapunov 指数和着装光谱会增加成本；高效的近似或代理模型将非常有价值。
• 向其他对称性的扩展: 该框架目前聚焦于 (U(1))；探索非阿贝尔规范群（例如 (SU(2))）可能为更复杂等变网络的架构搜索打开大门。

结论: 通过将规范协变场论与随机架构进化相结合，本文提供了一个 原理性、物理驱动的工具箱，用于在超参数空间中导航——这种方法有望使神经架构搜索更高效、更加稳定，并与领域对称性保持一致。

作者

• Rodrigo Carmo Terin

论文信息

• arXiv ID: 2604.20373v1
• 分类: cs.NE, hep-th, nlin.AO
• 发表时间: 2026年4月22日
• PDF: 下载 PDF