[Paper] Domain Feature Collapse：对Out-of-Distribution Detection的影响及解决方案

Source: arXiv - 2512.04034v1

Overview

最先进的分布外（OOD）检测器在底层分类器仅在 单一领域（例如，仅胸部 X‑rays）上进行训练时往往会失效。本文提供了首个信息论解释：在单一领域进行监督学习不可避免地在学习的表征中 压缩领域特定特征，导致模型对任何看起来 “分布外” 的数据视而不见。作者用一个新基准（Domain Bench）以及一个简单的修复方法—— domain filtering ——来验证该理论，并恢复 OOD 性能。

关键贡献

• 对 “Domain Feature Collapse” 的理论证明。 表明在信息瓶颈目标下，使用单一域进行训练的模型会将输入的域标签 (x_d) 与潜在表示 (z) 之间的互信息驱动至零 ((I(x_d;z)=0))。
• 利用 Fano 不等式的扩展，以量化在真实、噪声训练环境中出现的部分崩溃。
• Domain Bench，一个精心策划的单域数据集套件（医学影像、卫星影像等），用于系统化的 OOD 评估。
• 域过滤技术：一种轻量级的预处理步骤，在分类器之前注入域层级信息（通过冻结的预训练嵌入），在实验证明中提升 OOD 检测分数（例如，在 MNIST‑style OOD 上从 53 % 提升至 >90 % FPR@95）。
• 更广泛的洞察：何时对预训练模型进行微调 versus 冻结以进行迁移学习，强调丢弃域线索的隐藏代价。

Methodology

1. Information‑Bottleneck Formalism – 作者将监督训练建模为最小化
   [ \mathcal{L}=I(x;z)-\beta I(y;z) ]
   其中 (x) 为完整输入，(y) 为类别标签，(\beta) 用于平衡压缩与预测。通过将 (x) 拆分为类别特定 ((x_c)) 和领域特定 ((x_d)) 两部分，作者证明当训练数据仅包含单一领域时，最优解会使 (I(x_d;z)) 收敛到零。

2. Partial Collapse Analysis – 使用 Fano 不等式，作者对瓶颈未完全紧致（例如由于有限数据、正则化）时残留的领域信息给出上界。

3. Domain Bench Construction – 他们收集了 8 个单一领域数据集，每个数据集都配有来自不相关领域的 OOD 测试集（例如，在视网膜扫描上训练，在自然图像上测试）。

4. Domain Filtering – 在将数据送入分类器之前，先加入一个冻结的特征提取器（例如，在 ImageNet 上预训练的 ResNet‑50），该提取器保留领域线索。下游分类器随后在拼接后的表示 ([z_{\text{frozen}}, z_{\text{train}}]) 上进行训练。

5. Evaluation – 对基线 OOD 检测器（MSP、ODIN、Energy）在有无领域过滤的情况下，报告标准 OOD 指标（FPR@95%TPR、AUROC、AUPR）。

结果与发现

• 在所有基准测试中，领域过滤始终将误报率降低 70‑85 %，并将 AUROC 提升约 0.2。
• 消融实验表明，任何 保持领域方差的冻结编码器都有效；该方法 不需要 针对特定任务的微调。
• 从 Fano 不等式推导的理论界限与通过互信息估计器测得的经验残余领域信息高度吻合。

实际意义

• 在狭窄领域产品中实现稳健的OOD检测 – 医疗AI、卫星监测和工业检测可以采用域过滤作为即插即用模块，以避免灾难性的OOD失效。
• 为迁移学习流水线提供指导 – 在对单一领域的预训练模型进行微调时，保持前层冻结（或添加并行的冻结分支），以保留对下游安全检查有用的领域线索。
• 简化部署 – 该技术几乎不增加延迟（只需一次冻结网络的前向传播），且不需要额外的训练数据，因而对边缘设备具有吸引力。
• 更好的模型审计 – 通过在训练期间显式测量 (I(x_d;z))，工程师可以在模型发布前标记出可能出现特征崩溃的模型。

限制与未来工作

• 分析假设类特定因素与领域特定因素之间有明确的分离，但在高度纠缠的数据（例如具有多样背景的自然图像）中，这种分离可能会模糊。
• 领域过滤依赖于 通用预训练编码器 的可用性；如果预训练领域差异过大，性能可能会下降。
• 当前基准主要聚焦于图像数据；将理论和实验扩展到文本、音频或多模态设置仍是一个未解的方向。
• 未来工作可以探索 可学习的领域适配器，动态调整保留的领域信息量，或将互信息正则项直接集成到损失函数中。

作者

• Hong Yang
• Devroop Kar
• Qi Yu
• Alex Ororbia
• Travis Desell

论文信息

• arXiv ID: 2512.04034v1
• 分类: cs.LG
• 发表时间: 2025年12月3日
• PDF: 下载 PDF