无需反向传播的深度学习

Source: Dev.to

（请提供需要翻译的正文内容，我才能为您完成翻译。）

Introduction

大多数现代神经网络使用 反向传播 来学习。它效果很好，但有一个奇怪的特性：学习依赖于在整个网络中向后传播的全局误差信号。每一次权重更新都取决于可能相距多层的 信息。

大脑的工作方式并非如此。神经元只能看到 局部信息——它们通过突触接收到的信号以及它们自身的放电。皮层中不存在全局梯度的下降。然而，生物系统能够以惊人的效率学习对世界的深层、分层表征。

这引出了一个简单的问题：

深度神经网络能仅使用局部学习规则进行学习吗？

直到最近，答案似乎是“并不真的”。

本地学习的问题

本地学习规则，通常称为Hebbian学习（“一起放电的神经元会相互连接”），已经被认识了数十年。它们在简单特征发现方面表现良好，但在更深的网络中历来表现不佳。

当堆叠成多层时，纯粹的本地学习往往会失败，因为：

• 更高层没有得到有意义的训练信号
• 各层漂移或坍缩为相似的表征
• 特征未能随着深度变得更抽象

简而言之，缺乏全局误差信号时，深层结构通常无法出现。

关键洞见：结构比学习规则更重要

突破来自一个意想不到的地方。我们没有改变学习规则，而是将架构改为与生物视觉的工作方式相匹配：

• 局部感受野（小块而非全图连接）
• 神经元之间的竞争（赢家通吃）
• 自适应可塑性（每个神经元自行调节其灵敏度）
• 严格的局部更新（无任何反向传播）

这种组合产生了令人惊讶的结果：网络仅凭局部信息就开始自组织有意义的特征层次结构。没有梯度。没有全局误差。没有反向传播。

网络学到了什么

第一层学习了简单的局部特征，如边缘、曲线和笔画——正是你在早期视觉皮层中所期待的。

当层叠加时，更高层学习了低层特征的组合：

• 边缘 → 形状
• 形状 → 数字结构
• 结构 → 类别分离

网络以深度、逐层的方式进行训练，仅使用局部学习。

结果

在 MNIST 手写数字数据集上，这个局部训练的网络达到了：

仅使用局部学习规则即可实现约 97 % 的准确率

在任何阶段都没有使用反向传播。

大部分分类能力来自 无监督特征层。在这些特征之上使用一个简单的线性读出层，其表现几乎与完全训练的系统相当，表明网络学习到的表征使得类别在特征学习期间从未见过标签的情况下自然分离。

为什么这很重要

这个结果挑战了长期以来的假设：深度学习必须使用反向传播。相反，它表明：

• 深层层次学习可以从局部规则中出现
• 正确的架构和约束可能比学习算法本身更重要
• 生物式学习不仅是可行的；它还能具备竞争力

它还为以下系统打开了大门：

• 在固定的训练阶段之外持续学习
• 局部适应而无需重新训练整个网络
• 更加符合生物学真实
• 有可能在规模上与基于梯度的系统不同

更大的图景

反向传播非常强大，但它并不是通往智能的唯一途径。本研究表明，当局部学习与以下因素相结合时：

• 空间局部性
• 竞争
• 自我调节的神经元
• 分层结构

深度网络能够在不计算全局误差梯度的情况下，自行组织成有意义的表征。

瓶颈从来不是局部学习，而是我们赋予它的结构。