[Paper] 神经-符号集成与可进化策略

Source: arXiv - 2601.04799v1

概述

本文提出了一种新的神经‑符号（NeSy）框架，使神经网络和符号策略能够共同进化——无需任何预先编写的规则或可微分的策略。通过将每个 NeSy 系统视为会突变并争夺适应度的“有机体”，作者展示了如何从零发现可解释的、不可微分的策略，为在专家知识稀缺的领域中提供 AI 解决方案打开了大门。

关键贡献

• 可进化的NeSy架构：扩展NEUROLOG系统，使符号策略成为可变、可进化的实体。
• 进化学习循环：应用Valiant的可进化性理论，共同进化符号规则集和神经网络权重。
• 无微分训练：利用符号组件的溯因推理来训练神经部分，消除对基于梯度的更新的需求。
• 机器教练语义：引入一种轻量、可变的符号规则表示，可在进化过程中逐步细化。
• 实证验证：展示了以空策略和随机权重初始化的种群能够收敛到隐藏的、不可微分的目标策略，且中位准确率接近100 %。

Source: …

方法论

1. Population encoding – 进化种群中的每个个体由以下部分组成：

   • 一个 symbolic policy（一组逻辑规则），可以为空，也可以随时间增长。
   • 一个 neural network，其权重是自由参数。

2. Mutation operators – 应用两种突变方式：

   • symbolic mutation：随机添加、删除或修改规则。
   • Neural mutation：扰动网络权重（例如，加入 Gaussian noise）。

3. Fitness evaluation – 对于给定任务，系统接收输入，symbolic 部分提出决策，neural 部分提供感知特征。将组合输出与隐藏的 target policy 进行比较，匹配得分即为 fitness。

4. Selection & reproduction – 使用标准的 evolutionary strategies（例如 tournament selection）挑选适应度更高的个体生成下一代。

5. Training the neural component – 不采用 back‑propagation，而是通过 abductive reasoning 训练网络：symbolic 层解释观察到的结果，网络则调整自身以更好地支持这些解释。这避免了对 policy 可微分的任何要求。

结果与发现

• Convergence speed：在多个基准任务中，种群通常在 200–500 代内达到 > 90 % 的正确表现。
• Policy complexity：从空规则集开始，进化出的策略规模适中（平均 5–12 条规则），但能够完整捕获隐藏目标的行为。
• Robustness：该方法能够处理非可微分的目标策略（例如离散决策树），而传统的基于梯度的 NeSy 方法无法学习。
• Ablation：去除符号或神经突变任一部分都会显著降低性能，证实共进化是必不可少的。

实际意义

• Rapid prototyping in low‑knowledge domains – 开发者可以部署 NeSy 代理而无需手工构建规则库，让系统自动发现可解释的策略。
• Explainable AI for safety‑critical systems – 由于最终策略是符号化的，工程师可以事后审计和修改它，以满足监管或合规要求。
• Edge‑friendly inference – 符号组件可以编译成轻量级规则引擎，神经部分可以量化，从而在受限设备上实现混合模型。
• Integration with existing pipelines – 进化循环可以包装在任何现成的神经网络架构（CNN、Transformer）和任何逻辑语言（类似 Prolog 的 Horn 子句、Datalog）之上，使机器学习工程师能够轻松采用。

Limitations & Future Work

• 可扩展性 – 进化搜索在非常高维的神经网络或大型规则词汇表上可能成本高昂；论文指出需要更智能的变异启发式或混合梯度‑进化策略。
• 适应度设计 – 当前的适应度函数假设可以访问隐藏的目标策略；在真实场景中可能需要噪声更大的替代目标（例如奖励信号）。
• 规则表达能力 – 实验使用了相对简单的命题规则；将其扩展到更丰富的一阶逻辑或时序推理仍是一个未解决的挑战。
• 基准广度 – 未来的工作应在更大、工业规模的数据集上测试该框架（例如自动驾驶感知‑决策循环），以验证其实用性。

作者

• Marios Thoma
• Vassilis Vassiliades
• Loizos Michael

论文信息

• arXiv ID: 2601.04799v1
• 类别: cs.LG, cs.NE
• 出版日期: 2026年1月8日
• PDF: Download PDF