[Paper] 重审柏拉图式表征假说：亚里士多德视角

Source: arXiv - 2602.14486v1

概述

本文重新审视了长期存在的 Platonic Representation Hypothesis——即深度神经网络无论架构或训练数据如何，最终都会学习到一个共同的“现实的统计模型”。作者展示了流行的相似度度量会受到网络规模的偏倚，提出了一种严格的校准技术，并提出了精炼的 Aristotelian Representation Hypothesis：收敛发生在 局部邻域关系 的层面，而不是全局几何。

关键贡献

• Metric Bias Diagnosis: 表明深度和宽度会系统性地抬高表征相似性得分，混淆了先前的结论。
• Null‑Calibration Framework: 一种基于置换的方法，可将任何相似性度量转换为具有可证明统计保证的校准得分。
• Re‑evaluation of Convergence: 校准后，全局光谱相似性基本消失，而 局部 邻域结构在不同模态间仍保持一致。
• Aristotelian Hypothesis: 形式化了神经表征趋向共享 局部 关系模式，而非通用全局嵌入的概念。
• Open‑Source Toolkit: 提供校准过程的代码，可直接嵌入现有的表征相似性分析（RSA）流水线。

方法论

1. 数据集与模型: 作者在 ImageNet 以及多个下游任务（分类、分割、自监督对比学习）上训练了一系列卷积和基于 transformer 的视觉模型（深度 = 5–101 层，宽度 = 64–1024 通道）。
2. 基线相似性度量: 他们计算标准 RSA 分数——中心核对齐（CKA）、激活矩阵的皮尔逊相关以及协方差特征谱的谱相似性。
3. 基于置换的空模型校准:
   • 在每层内部随机置换神经元索引，以破坏任何真实的关系结构，同时保持边缘统计量。
   • 对每个置换后的模型对重新计算相似性度量，构建空分布。
   • 将原始度量转换为校准后的 p‑value 或 z‑score，以反映其相对于随机的偏离程度，且不受网络规模影响。
4. 局部 vs. 全局分析:
   • 全局: 比较模型之间整层激活谱。
   • 局部邻域: 对每个刺激，在激活空间中提取其 k‑最近邻（k = 5–20），并比较不同模型之间的重叠情况。
   • 局部距离: 检查到邻居的绝对距离（不仅仅是成员关系），以测试细粒度几何是否对齐。

结果与发现

简而言之，一旦去除尺度偏差，只有哪些示例彼此接近的模式在不同架构和训练方案之间保持稳定。具体的几何距离（它们相距多远）则不会保持。

实际意义

• 模型诊断与迁移: 开发者可以使用校准后的 RSA 来检测两个模型是否真正共享有用的内部表征，这对模型蒸馏、集成或迁移学习非常有价值。
• 架构搜索: 由于全局相似性不可靠，关注保持 局部邻域结构 在网络剪枝或压缩时可能是更好的代理。
• 稳健特征提取: 依赖“通用”嵌入（例如零样本检索）的工具应优先考虑保持邻域关系的方法，而不是匹配全局统计。
• 基准设计: 未来的表征基准套件（例如 Brain‑Score、NeuroBench）可以加入校准步骤，以避免高估跨模型的一致性。

限制与未来工作

• 模态范围: 本研究聚焦于视觉模型；将校准扩展到语言或多模态网络仍是未解之题。
• 置换空假设: 随机置换神经元会破坏所有结构，这对某些架构（例如 Transformer 中的权重共享）可能过于保守。
• 可扩展性: 为非常大的模型（例如 >1 B 参数）计算校准分数可能计算成本高昂；需要近似的空抽样策略。
• 理论基础: 虽然亚里士多德假设具有经验动机，但将局部邻域收敛与下游任务性能关联的正式理论仍然缺失。

底线: 通过校正相似度度量中的隐藏偏差，这项工作重新塑造了我们对表征收敛的认识——将焦点从高高在上的“柏拉图理想”转向更为扎实、局部一致的视角，对构建和比较深度学习系统的开发者具有直接的现实意义。

作者

• Fabian Gröger
• Shuo Wen
• Maria Brbić

论文信息

• arXiv ID: 2602.14486v1
• 分类: cs.LG, cs.AI, cs.CV, cs.NE
• 出版日期: 2026年2月16日
• PDF: 下载 PDF