[Paper] 预测性联想记忆：通过时间共现实现超越相似性的检索

Source: arXiv - 2602.11322v1

概述

本文介绍了 Predictive Associative Memory (PAM)，一种基于 temporal co‑occurrence 而非纯相似性的神经结构，用于检索记忆。通过在连续的经验流上训练 JEPA‑style 预测器，PAM 能够“跳转”到历史上一起出现的项目，模拟生物记忆如何将时间上接近的事件关联起来。

关键贡献

• Temporal‑association retrieval: 表明在顺序数据上训练的预测器即使其嵌入在余弦空间中不相关，也能检索到正确的过去状态。
• Inward JEPA: 提出一种新颖的“向内”预测器，该预测器在存储的经验上操作，以在关联图中向后导航，补充经典的“向外”预测器（预测未来）。
• Benchmark & metrics: 引入关联回忆评估套件（Association Precision@k、Recall@k、discrimination AUC），侧重于对已经历对的忠实回忆，而非对未见对的泛化。
• Empirical evidence: 在合成基准上实现 >97 % 的 top‑1 精度，并在相似度为零的跨边界回忆中表现出色，证实模型捕获了真实的时间结构。
• Robustness checks: 包含一个时间顺序随机化的对照实验，导致性能崩溃，证明信号来源于顺序信息，而非嵌入几何。

方法论

1. 嵌入空间: 原始观测（例如图像帧、传感器读数）使用标准编码器网络编码到连续的潜在空间。
2. JEPA 框架:
   • 向外 JEPA 在给定当前潜在状态的情况下预测 未来 潜在状态（常见的预测编码设置）。
   • 向内 JEPA 则相反：给定查询潜在向量，它预测一个 过去 潜在向量，该向量是 可关联到达的——即在历史上与查询共现的状态。
3. 训练目标: 两个预测器均使用对比损失进行训练，奖励对真实时间邻居的准确预测，并惩罚从经验缓冲区中抽取的不匹配样本。
4. 召回过程: 推理时，将查询向量输入向内 JEPA，输出一个候选过去向量。最近的存储经验（通过与输出的余弦相似度）被返回作为检索到的记忆。
5. 评估: 作者不测量对新颖配对的泛化，而是测试 忠实度：检索到的条目是否与查询属于同一时间片段？如 Association Precision@1 和 Recall@20 等指标用于捕捉此行为。

结果与发现

解释：Inward JEPA 能够可靠地找出正确的时间关联，即使原始嵌入是正交的。PAM 与朴素余弦相似度基线之间的巨大差距表明，模型学习到了真实的关联图，而不是利用静态几何结构。

实际意义

• 稳健的情节检索: 系统如个人助理、机器人或游戏 AI 能够回忆何时两个事件同时发生，而不仅仅是它们看起来相似。这使得行为更加上下文感知（例如，“上次我打开文件时，我也收到了网络警报”）。
• 改进的回放缓冲区: 强化学习管线可以用时间感知的检索取代随机抽样，生成更丰富的训练批次，遵循环境的自然因果结构。
• 记忆增强模型: 大型语言或视觉模型可以配备类似 PAM 的模块，以获取通过时间关联的相关过去上下文，可能减少仅基于相似性检索导致的幻觉。
• 异常检测: 因为 PAM 学习了正常的时间共现图，偏离（例如，没有强关联邻居的查询）可以在监控或安全应用中标记分布外事件。
• 跨模态链接: 该方法与模态无关；开发者可以存储音频、视频、传感器流等的嵌入，让 PAM 发现传统相似度搜索会错过的跨模态关联。

限制与未来工作

• 合成基准： 所有实验均在受控的合成数据集上进行；真实世界的感官流（例如视频、日志）可能会出现噪声、非平稳性以及规模挑战。
• 内存占用： 该方法假设存在一个可查询的嵌入缓冲区；要扩展到数十亿条经验将需要高效的索引或分层记忆结构。
• 时间粒度： 当前的表述对每个时间步一视同仁；未来工作可以引入可变时间间隔或层次时间尺度（秒级与天级）。
• 与下游任务的集成： 本文关注召回保真度；评估 PAM 增强检索如何提升下游性能（例如强化学习的样本效率、问答准确率）仍是一个未解的问题。

结论：预测关联记忆提供了一种新颖、受生物启发的方式来基于“共同发生的事”而非“看起来相似的事”检索记忆。对于需要在事件序列上进行推理的系统开发者而言，PAM 为实现更具上下文丰富性、时间感知的 AI 开辟了有前景的道路。

作者

• Jason Dury

论文信息

• arXiv ID: 2602.11322v1
• 类别: cs.LG, cs.AI, cs.NE
• 发表时间: 2026年2月11日
• PDF: Download PDF