[Paper] 通过加权结构对神经网络进行递归查询

Source: arXiv - 2601.03201v1

概述

论文 Recursive querying of neural networks via weighted structures 探讨了如何使用声明式、基于逻辑的语言对神经网络模型进行查询。通过将已训练的网络视为 加权结构——一个节点和边都携带数值权重的图，作者们构建了一个递归查询框架，能够表达复杂的、与模型无关的分析，同时将计算成本控制在可接受范围内。

关键贡献

• 加权结构的函数不动点逻辑 – 将经典的 Grädel‑Gurevich 不动点机制改编为 Datalog 风格的语法，能够在带数值权重的图上工作。
• 宽松不动点语义 – 引入一种变体，允许归纳定义的权重函数被覆盖，从而简化对递归定义的推理。
• 标量限制 – 定义了逻辑的一个片段，其数据复杂度为多项式时间，适用于实际查询评估。
• 表达能力结果 – 表明标量片段能够捕获 所有 PTIME 模型无关查询，针对权重多项式有界的简化神经网络。
• 复杂度下界 – 证明即使是非常简单的模型无关查询，在去除标量限制后也会变为 NP‑完全。
• 迭代转导 – 研究加权结构如何被反复转换（例如逐层抽象），同时保持可查询性。

方法论

1. Weighted structures as a data model – 将前馈神经网络表示为一个有向无环图，其中每条边携带实数权重，每个节点可以存储激活值。
2. Logic design – 作者从函数不动点逻辑（FFL）出发，该逻辑允许递归定义新函数直至达到不动点。他们将 FFL 翻译成类似 Datalog 的规则语言，使其更易为数据库和编程语言从业者所熟悉。
3. Loose fixpoint variant – 与要求函数值单调增长的传统方式不同，“loose” 版本允许覆盖，这与反向传播更新权重的方式相呼应。此做法简化了语义，并使更自然的递归查询成为可能（例如，“在网络中传播阈值”）。
4. Scalar fragment – 通过将函数参数限制为标量（单值）项并将递归深度限制为多项式规模，作者得到一个片段，其求值时间随网络规模呈多项式时间。
5. Complexity analysis – 利用来自经典 PTIME 与 NP‑complete 问题的归约，作者将逻辑的表达能力映射到已知的复杂度类。
6. Transduction pipelines – 他们将常见的预处理步骤（剪枝、量化、层合并）建模为 transductions——基于逻辑的转换，输出新的 Weighted structure——从而允许查询与这些流水线组合使用。

结果与发现

简而言之，这项工作划定了一个“甜点区”：一种递归查询语言，既 足够强大 能捕获神经网络的有用分析，又 足够高效 能用于实际场景。

实际意义

• 模型验证与安全 – 工程师可以编写声明式检查（例如，“层 L 中没有神经元的权重和 > τ”），这些检查保证在多项式时间内运行，从而实现对安全关键模型的自动审计。
• 可解释性工具 – 递归查询可以提取层次化解释（例如，“追踪所有对输出贡献 > α 的路径”），无需手动编写图遍历。
• 数据库式模型服务 – 将网络视为加权关系，可扩展现有的 Datalog 或 SQL 引擎，以在提供推理请求的同时回答分析查询。
• 流水线集成 – 转导框架允许开发者将预处理步骤（量化、剪枝）组合为逻辑转换，确保下游查询保持有效且可高效求值。
• 性能保证 – 标量片段的 PTIME 数据复杂度让开发者确信查询评估会随模型规模线性扩展，这对大规模部署至关重要。

限制与未来工作

• 权重幅度假设 – PTIME 表达能力的结果依赖于权重在多项式范围内有界；极大或高精度的权重可能会破坏这些保证。
• 模型无关的关注点 – 该逻辑抽象了具体的激活函数；将框架扩展到捕获模型特定语义（例如 ReLU 的饱和）仍是一个未解之题。
• 实现原型 – 论文主要是理论性的；尚未构建并基准测试支持神经网络松散不动点语义的生产级 Datalog 引擎。
• 对深层网络的可扩展性 – 虽然递归能够处理无限深度，但在非常深的架构（数百层）上进行实际评估可能会遇到需要工程解决的内存开销问题。

未来的研究方向包括：将浮点算术更紧密地集成到逻辑中，开发用于 GPU 加速推理的优化查询规划器，以及探索转导方法如何支持网络结构随时间演化的持续学习场景。

作者

• Martin Grohe
• Christoph Standke
• Juno Steegmans
• Jan Van den Bussche

论文信息

• arXiv ID: 2601.03201v1
• 分类: cs.LO, cs.AI, cs.DB
• 出版日期: 2026年1月6日
• PDF: 下载 PDF