[Paper] 一种通过随机顺序添加检测高阶交互的通用算法

Source: arXiv - 2512.11793v1

概览

Shamail 和 McWhite 提出了一种出乎意料地简单的几何技术，用于揭示系统中变量之间的相互作用——它们是相互放大（协同），相互复制信息（冗余），还是独立工作。通过随机顺序反复添加特征并绘制它们的增量贡献，会出现特征性的 L 形 图案，使实践者能够在单一、直观的尺度上量化交互强度。

关键贡献

• L‑score 指标：一个连续度量，范围从 ‑1（完美协同） 通过 0（独立） 到 +1（完美冗余）。
• 随机顺序添加（RSA）框架：一种领域无关的协议，只需重新排列输入，即可将任何面向性能的模型转化为交互数据的来源。
• 几何可视化：成对贡献呈现为二维点云；L 形簇直接揭示底层交互类型以及某特征相对于另一特征的主导性。
• 从成对数据推断高阶交互：AB、AC、BC 三对点云的一致性会自动显现三元（或更高）交互结构，无需额外计算。
• 指标无关设计：适用于任何可加的性能指标（准确率、损失、奖励、延迟等），因而可在机器学习、推荐系统、A/B 测试，甚至非机器学习流水线中使用。

方法论

1. 定义贡献指标——例如，当加入某特征时验证准确率的变化、损失的降低或点击率的提升。
2. 生成随机排列——对元素集合（特征、动作、传感器等）进行随机置换，并沿每条排列逐步评估模型。
3. 记录边际贡献——在每个元素被引入的瞬间记录其贡献。经过大量排列后，可得到每个元素的贡献分布，条件于其前置元素。
4. 绘制成对贡献（元素 i 为 x 轴，元素 j 为 y 轴）跨所有试验。
   • 冗余 → 点聚集在 x 轴上（第一个元素携带信息，第二个不再增加）。
   • 协同 → 点聚集在对角线或 y 轴上（两者必须同时出现才能获得增益）。
   • 独立 → 点均匀分布，显示无顺序依赖。
5. 计算 L‑score——通过测量 L 形的不对称性：水平臂 与 垂直臂 的长度比值即得到 ([-1, 1]) 区间的数值。
6. 推断高阶交互——检查成对 L‑score 是否相互一致（例如，AB 与 AC 为协同而 BC 为冗余，这暗示三元交互模式）。

结果与发现

• 合成基准（如 (Y = X_1 X_2) 表示完美协同，(Y = X_1 + X_2) 表示独立，(Y = X_1) 且 (X_2 \approx X_1) 表示冗余）产生了清晰的 L 形和分别为 (-1)、(0)、(+1) 的 L‑score，验证了该指标的有效性。
• 真实数据集（包含视觉线索重叠的图像分类、特征相关的推荐系统、以及自动驾驶的传感器融合）展示了 L‑score 的连续谱，揭示了隐藏的冗余（例如，两种颜色直方图传递相同的纹理信息）和协同三元组（如 GPS + IMU + 摄像头数据）。
• 主导性检测：L 的较长臂指示哪个特征始终贡献更多信息，帮助优先考虑特征工程或传感器布置。
• 可扩展性：由于仅存储成对贡献，内存随特征数量呈二次增长，而获得稳定估计所需的随机序列数量增长平缓（实验中约为 (\approx 10 \times |features|) 次排列即可）。

实际意义

• 特征选择与裁剪：快速发现可删除的冗余特征，降低模型体积和推理延迟。
• 模型调试：识别可能被当前架构低利用的协同组，提示新增交互层或注意力机制的方向。
• A/B 测试优化：将 RSA 应用于增量 UI 改动或 rollout 策略，判断两项改动是独立还是相互干扰。
• 传感器套件设计：在机器人或物联网领域，L‑score 可指导硬件预算，辨别哪些传感器提供独特价值，哪些仅是数据复制。
• 可解释性仪表盘：几何 L‑图直观易懂，非技术利益相关者可据此了解为何某些输入在组合时比单独更重要。

局限性与未来工作

• 指标依赖：方法假设贡献指标是可加且单调的；非可加目标（如对抗性损失）可能扭曲 L 形。
• 二次存储：成对分析在特征数千时成本高；未来工作可探索 sketch 或抽样策略，以保持大规模可行性。
• 噪声敏感性：在高度随机的环境（如高方差奖励的强化学习）中，需要更多排列才能收敛到稳定的 L‑score。
• 向连续排序的扩展：当前 RSA 只适用于离散、无重复序列；将其适配到流式或重叠特征更新仍是开放挑战。

总体而言，本文提供了一套清新直观且指标无关的工具箱，帮助开发者在无需深入信息论计算的前提下，解开复杂的交互网络。通过将随机排序转化为诊断视角，它为特征工程、系统设计和可解释性在众多技术领域开辟了低开销的新路径。

作者

• Ahmad Shamail
• Claire McWhite

论文信息

• arXiv ID: 2512.11793v1
• 分类: cs.LG
• 发表时间: 2025 年 12 月 12 日
• PDF: Download PDF