[Paper] Equilibrium Propagation 训练成功对网络架构的依赖

Source: arXiv - 2601.21945v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文。

概述

本文研究了 神经网络的架构——尤其是其单元之间的连接模式——如何影响 平衡传播（Equilibrium Propagation，EqProp） 的成功率。平衡传播是一种受物理启发的训练方法，可在神经形态硬件上实现。作者通过超越理想化的全连接模型，转向 局部连接的格子网络，展示了稀疏、硬件友好的设计仍然能够有效学习，为实现能源高效的 AI 系统开辟了道路。

关键贡献

• 对真实拓扑结构的 EqProp 实证研究：在局部连接的二维格子上训练 XY 自旋模型，而非通常的全连接图。
• 跨任务基准测试：评估分类、回归和模式生成任务，以检验通用性。
• 与密集网络性能持平：证明当超参数适当调优时，仅最近邻耦合的稀疏网络可以匹配密集网络的准确率。
• 训练动态可视化：跟踪空间响应场和耦合强度在学习过程中的演变，为硬件设计者提供直观理解。
• 硬件扩展指南：提供具体建议（例如所需的连通半径、耦合初始化范围），用于构建兼容 EqProp 的神经形态芯片。

方法论

1. 模型选择 – 作者使用 XY 自旋模型，其中每个节点持有连续角度变量 (\theta_i) 并通过余弦耦合与邻居相互作用。该模型是许多物理基底（例如耦合振荡器、光子晶格）的自然类比。
2. 网络拓扑 – 节点放置在二维网格上。连接方式有两种：
   • 局部：每个节点仅与其四个（或八个）最近邻相连。
   • 稠密：每个节点与所有其他节点相连（基线）。
3. 平衡传播 – 训练分为两个阶段：
   • 自由相：网络在当前参数和输入刺激下达到平衡。
   • 扰动相：加入一个由损失梯度导出的微小推力项，系统再次放松。
     两个稳态之间的差异提供了相对于耦合的梯度估计，然后通过随机梯度下降进行更新。
4. 任务与指标 – 作者测试了三个标准基准：(i) 在下采样网格上的 MNIST 风格数字分类，(ii) 将输入模式映射到连续输出的回归任务，(iii) 序列生成任务。记录准确率、均方误差和收敛速度。
5. 分析工具 – 在每个 epoch 之后可视化 (\theta_i) 的热图和耦合矩阵，并检查雅可比矩阵的谱特性以理解稳定性。

结果与发现

• 稀疏网络在所有任务上实现了与密集网络几乎相同的性能。
• 学习曲线在前几个 epoch 后几乎无法区分，表明早期动态并未因连接减少而受阻。
• 耦合强度会自我正则化：局部网络会增强最近邻的权重以弥补缺失的远程连接，而密集网络则保留大量小权重。
• 能耗估算（基于简单的电阻网络模型）显示，由于物理连接更少、信号路径更短，局部格子可实现 30–50 % 的降低。

Practical Implications

• 神经形态芯片设计：工程师现在可以针对平面、局部连接的布局（例如交叉栏阵列、光子晶格），而不会牺牲学习能力，从而大幅简化布线和制造。
• 可扩展的 AI 硬件：由于 EqProp 只需在每次更新时让系统达到平衡两次，布线的减少直接转化为更低的延迟和功耗，使其对边缘设备和物联网传感器具有吸引力。
• 混合训练流水线：开发者可以在软件中预训练密集模型，然后将学习到的表征转移到稀疏硬件实现中，利用论文的指南微调耦合初始化。
• 算法扩展：对稀疏性的显著鲁棒性鼓励探索图结构数据（例如传感器网络、社交图），这些数据天然具备局部性。

限制与未来工作

• 该研究聚焦于 2‑D lattices；实际硬件可能涉及不规则或 3‑D 拓扑结构，其行为可能不同。
• 假设 Equilibrium convergence time 可忽略不计；在具有慢动力学的物理基底（例如热或机械振荡器）中，两相松弛可能成为瓶颈。
• 仅考察了 XY 模型；将分析扩展到 binary or spiking neuron models 将提升适用性。
• 作者建议探索 adaptive connectivity（例如在训练期间增长新链接）以及 hardware‑in‑the‑loop experiments 作为下一步。

作者

• Qingshan Wang
• Clara C. Wanjura
• Florian Marquardt

论文信息

• arXiv ID: 2601.21945v1
• 类别: cs.LG, cond-mat.dis-nn, cs.ET, cs.NE
• 出版日期: 2026年1月29日
• PDF: 下载 PDF