[Paper] 神经网络的逻辑再构想：Hamiltonian 位级 部件-整体 架构

Source: arXiv - 2602.04911v1

概览

本文提出了一种全新的类神经网络架构，将关系——如“part‑of”或“next‑to”——视为一等公民，而不是事后考虑。通过将数据编码为微小图并使用基于哈密顿的能量函数，系统能够仅使用超低精度算术发现逻辑结构，提供一种可能更廉价且更易解释的传统深度学习流水线的替代方案。

关键贡献

• 基于图的数据编码 – 任意输入被转换为图，其边缘来源于一组极小且固定的原始二元关系。
• 哈密顿能量算子 – 引入一种新颖的图‑哈密顿量，为每个配置分配能量；基态对应全局一致的关系约束集合。
• 低精度、线性时间计算 – 整个前向传播和学习过程使用极低精度算术（例如 1 位或几位值），并且计算复杂度随图边数线性增长。
• 混合符号‑统计表示 – 该架构同时产生类似符号的关系层次（如 part‑of、next‑to）和基于向量的嵌入，桥接了历史上两个独立的 AI 范式。
• 等价 ANN 表述的推导 – 展示了相同计算如何表达为传统神经网络操作的特例，为与现有深度学习工具链的集成打开了路径。

方法论

1. 将数据编码为图 – 将每个数据点（例如图像、句子、传感器读数）映射为一张图。节点代表实体，边使用少数基本关系（例如 PART、NEXT）进行标记。
2. 哈密顿能量计算 – 自定义算子通过对违反关系约束的惩罚项求和，评估图配置的“能量”。能量越低，图越符合预期的整体‑部分结构。
3. 基态搜索（推理） – 系统使用简单的低精度算术（位运算）迭代更新边标签，使能量趋向最小。得到的基态即为全局一致的关系模型。
4. 学习规则 – 在训练过程中，模型会调整一小组参数，这些参数为不同关系惩罚项赋权，从而学习在特定任务中哪些关系更为关键。
5. 映射到 ANN 操作 – 通过展开位运算更新，作者展示了一组等价的矩阵‑向量乘法和非线性操作，表明该方法如果需要可以在现有深度学习硬件上实现。

结果与发现

• 基准兼容性 – 系统成功解决了经典的 ANN 玩具问题（例如 XOR、MNIST 手写数字分类），且仅使用了标准多层感知器算术精度和内存的一小部分。
• 关系发现 – 在设计有隐藏的部分-整体和邻接模式的合成数据集上，模型在没有任何显式监督的情况下自动揭示了底层的关系层次结构。
• 层次编码 – 学到的表示形成了多层结构：低层边捕获即时关系，高层聚类编码复合的“整体”概念，从而实现了溯因推理（例如推断缺失的部分）。
• 效率 – 计算成本随边的数量线性增长；在普通 CPU 上，尽管加入了关系推理，训练时间仍与一个小型前馈网络相当。

Practical Implications

• 可解释 AI – 因为内部状态是显式关系的图，开发者可以检查和调试模型的推理，这与不透明的权重矩阵形成鲜明对比。
• 边缘设备部署 – 对超低精度位操作的依赖使得该架构自然适用于微控制器、FPGA 或专用 ASIC，在这些场景下功耗和内存都很有限。
• 混合符号‑神经系统 – 需要统计模式识别（如视觉）和逻辑推理（如规划、知识图谱）的现有流水线可以将此层作为“关系瓶颈”集成，以生成结构化嵌入。
• 快速原型化知识图谱任务 – 实体链接、场景图生成或程序合成等任务可以在不构建完整符号引擎的情况下完成；Hamiltonian 核心会自动强制一致性。
• 神经形态硬件的潜力 – 二进制、能量最小化的动力学类似于脉冲神经元模型，暗示可以平滑迁移到神经形态平台。

局限性与未来工作

• 关系范围 – 当前的原语集合刻意保持极小；若要扩展到更丰富的本体（时间、因果、定量等），需要重新设计哈密顿量项。
• 大规模图的可扩展性 – 虽然在边数上是线性，但真实世界的知识图可能包含数百万条边；作者指出需要层次划分或近似推理方案。
• 学习动态 – 训练依赖于对惩罚权重的简单梯度类更新；更复杂的优化（例如元学习）可能在噪声数据上提升收敛性。
• 基准多样性 – 实验聚焦于合成和小规模视觉任务；未来工作应在大规模 NLP、机器人或推荐系统数据集上评估该方法。
• 硬件验证 – 论文仅展示了软件原型；在实际低功耗硬件上实现位级哈密顿量将是验证所宣称效率提升的关键下一步。

作者

• E Bowen
• R Granger
• A Rodriguez

论文信息

• arXiv ID: 2602.04911v1
• 分类: cs.LG, cs.AI, cs.NE
• 出版日期: 2026年2月4日
• PDF: 下载 PDF