[Paper] Personalized PageRank 与 Successor Representations 的等价性

Source: arXiv - 2512.24722v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文并保留原有的格式。

概述

在一篇简洁而发人深省的短文中，Beren Millidge 表明，两种看似无关的算法——个性化 PageRank（PPR）和后继表征（SR）——在图上应用时在数学上是相同的。两者都被推崇为海马功能的计算模型：PPR 用于情景记忆检索，SR 用于规划/导航。论文认为，海马可能仅仅在计算随机游走的稳态分布，从而在单一表征下统一记忆与规划。

关键贡献

• 同构证明：展示了 PPR 与 SR 之间的形式等价，揭示它们是同一 stationary‑distribution 计算的两个面向。
• 统一的海马体假说：提出海马体的核心操作是估计任意输入图的 stationary distribution，从而同时支持记忆回忆和导航。
• 概念桥梁：连接了两个研究社区（基于图的排序和强化学习规划），它们过去将这些算法视为独立的研究对象。
• 简洁阐述：提供了一页清晰的推导，可作为未来跨学科工作的参考。

方法论

1. 图形式化 – 论文将环境（或记忆网络）建模为一个有向、加权图 (G = (V, E))。
2. 个性化 PageRank – 定义为以下方程的解
   [ \mathbf{p} = (1-\alpha)\mathbf{e}_s + \alpha \mathbf{P}^\top \mathbf{p}, ]
   其中 (\mathbf{P}) 为转移矩阵，(\alpha) 为跳转概率，(\mathbf{e}_s) 为单热源向量。
3. 后继表示 (Successor Representation) – 对策略 (\pi) 定义为
   [ \mathbf{M} = (\mathbf{I} - \gamma \mathbf{P}_\pi)^{-1}, ]
   其中 (\gamma) 为折扣因子。
4. 等价步骤 – 通过设定 (\alpha = \gamma) 并将源向量 (\mathbf{e}_s) 解释为一步奖励，PPR 的不动点方程与 SR 求解的线性系统相匹配。两者都归结为计算满足 (\mathbf{\pi} = \mathbf{P}^\top \mathbf{\pi}) 的稳态分布 (\mathbf{\pi})。
5. 解释 – 稳态分布捕捉节点的长期访问频率，可视为“记忆相关性得分”（PPR）或“未来占用图”（SR）。

该推导纯粹是代数性的；不需要新的实验。作者的贡献在于识别并形式化了两者之间的重叠。

结果与发现

• 数学恒等式：当瞬移/折扣参数对齐时，平稳分布 (\mathbf{\pi}) 同时满足 Personalized PageRank 和 Successor Representation 方程。
• 解释性统一：在海马类比中，(\mathbf{\pi}) 可以被视为对已回忆记忆的概率分布（高概率节点更可能被检索）以及在导航过程中对未来状态的预测地图。
• 对神经编码的意义：相同的神经基质可以支持这两种功能，而无需独立的专门电路。

实际意义

• 统一库：构建基于图的推荐、搜索或强化学习系统的开发者可以复用单一实现（例如幂迭代求解器）来同时处理排序和预测规划任务。
• 记忆增强的强化学习：在模型基强化学习中，存储转移图的平稳分布提供了一个紧凑、可复用的“记忆核心”，可用于检索（例如基于案例的推理）和规划（例如价值估计）。
• 可解释人工智能：由于平稳分布可解释为长期访问频率，它可以作为调试推荐流水线或导航代理的透明特征。
• 类神经架构：能够高效计算随机游走平稳分布的硬件加速器或神经形态芯片可以同时支持记忆检索和规划模块，减少架构冗余。
• 跨领域迁移：来自网页搜索的技术（快速 PPR 近似）可以直接应用于强化学习环境，反之亦然（基于 SR 的策略改进可以为图排序启发式提供参考）。

限制与未来工作

• 证明范围：该等价在假设转移矩阵固定且仅有单一源/传送向量的前提下成立；动态或随机策略可能会破坏精确的同构。
• 生物学真实性：论文未讨论大脑如何高效计算稳态分布，也未对噪声、脉冲动力学或解剖约束进行建模。
• 经验验证：未提供模拟或神经数据来检验海马活动是否在真实任务中真正反映稳态分布。
• 层次图的扩展：未来工作可探讨多尺度或层次化表征（例如强化学习中的 options、图中的社区检测）是否保持等价性，以及它们如何映射到海马的子区域。

底线：通过揭示 Personalized PageRank 与 Successor Representations 实际上是同一枚硬币的两面，Millidge 为图排名系统与强化学习规划器之间的更紧密整合打开了大门——无论是在软件层面，还是在我们对大脑的理解上，都具有启发性。

作者

• Beren Millidge

论文信息

• arXiv ID: 2512.24722v1
• 类别: cs.NE
• 发表时间: 2025年12月31日
• PDF: Download PDF