Show HN：MacMind – 在 1989 年 Macintosh 上的 HyperCard 中的 transformer 神经网络

Source: Hacker News

Overview

我在 1989 年的 Macintosh 上的 HyperCard 中训练了一个 Transformer——共 1,216 个参数。虽然花了一段时间，但它已经可以工作了。

Implementation

MacMind 是一个完整的 Transformer 神经网络，包含嵌入层、位置编码、自注意力、反向传播和梯度下降，全部使用 HyperTalk（Apple 于 1987 年随 HyperCard 提供的脚本语言）实现。每一行代码都可以在 HyperCard 的脚本编辑器中直接阅读；你可以按住 Option 键并点击任意按钮来查看实际的数学公式。

Task

该网络被训练来学习比特反转置换（bit‑reversal permutation），即快速傅里叶变换（FFT）的第一步。模型没有显式的公式可循；它仅通过注意力机制和反复的试错过程自行发现位置模式。在第 193 步训练时，准确率在 50 %、75 % 和 100 % 之间来回波动，随后像球滚入碗中一样逐渐收敛。

Persistence

整个“智能”仅由存放在 HyperCard 堆栈隐藏字段中的 1,216 个数字组成。保存文件、退出并重新打开后，已训练好的模型仍然保留，并且可以在 System 7 到 Mac OS 9 的任何系统上运行。

Motivation

作为前物理专业学生，我对 FFT 并不陌生——它是信号处理、量子力学和波动分析的核心。我构建此项目是为了证明 AI 本质上是数学，而非魔法；无论是在现代 TPU 集群上还是在 1989 年的 68030 处理器上，底层算法（反向传播和注意力）都以相同的方式工作。

Availability

仓库中包含：

• 一个预训练好的堆栈（第 1,000 步）
• 一个可以自行训练的空白堆栈
• 一个用于验证数学实现的 Python/NumPy 参考实现

Comments on Hacker News (Points: 11)