[Paper] EoS-FM：专家模型集合能作为通用特征提取器吗？

Source: arXiv - 2511.21523v1

概述

本文提出了 EoS‑FM，一种 “专家集合（Ensemble‑of‑Specialists）” 框架，通过一组轻量级、任务特定的 ConvNeXtV2 网络构建遥感基础模型。作者展示了如何将许多小型专家拼接在一起，这些专家可以被冻结、共享并重新组合——提供了一条更可持续、模块化且协作的路径，以在卫星影像中实现通用特征提取，而无需在海量地球观测数据上训练单一巨型模型。

关键贡献

• 专家集合（EoS）范式：提出一种模块化架构，每个专家在单一下游任务（如土地覆盖分类、云检测）上进行训练，随后组合成为通用特征提取器。
• 高效训练流水线：使用相对较小的 ConvNeXtV2 主干，显著降低 GPU 时长和显存需求，相较于单体基础模型更为轻量。
• 冻结模型复用：专家训练完成后冻结权重，可即时复用，无需重新训练或微调。
• 联邦与增量学习支持：该设计天然适配跨机构的联邦训练，并能在不扰动现有集合的情况下持续集成新专家。
• 可解释性与可扩展性：由于每个专家聚焦特定任务，其对最终表征的贡献可被检查，便于调试和模型审计。

方法论

1. 任务特定专家训练 – 对每个遥感任务，使用对应标注数据集训练一个 ConvNeXtV2 模型。训练遵循标准监督流程（交叉熵或回归损失），在专家达到满意的性能阈值后即停止。
2. 冻结与登记 – 训练完成后冻结专家参数并存入模型注册表，不再对这些模型进行梯度更新。
3. 作为特征提取器的集成 – 推理时，输入卫星图像会并行送入 所有 冻结的专家。它们的中间特征图（例如倒数第二块的输出）被拼接或求和，形成统一的表征，可供下游轻量头部用于新任务。
4. 联邦聚合（可选） – 各机构可在本地使用专有数据训练专家，然后仅上传冻结权重至共享仓库。中心集合只需聚合新专家，无需交换原始数据。
5. 剪枝与持续集成 – 可依据贡献度指标（如与最终表征的互信息）剪除冗余专家。新专家可随时加入，使集合随新遥感任务的出现而演进。

结果与发现

关键要点

• 该集合在多个基准任务上匹配或超越单体基础模型的精度，尽管每个专家的参数更少。
• 对未见任务（洪水制图）的零样本迁移能够直接使用，展示了真正的通用能力。
• 训练成本和相关排放显著下降，验证了可持续性的主张。

实际意义

• 快速原型 – 开发者可以直接获取已预训练的任务专家（如植被指数预测），并立即与其他专家组合，以在无需微调的情况下解决新问题。
• 协作生态系统 – 卫星机构、非政府组织和私营企业可以贡献在专有数据上训练的专家，同时保持原始影像私密，促进共享的 “模型市场”。
• 边缘部署 – 由于每个专家都轻量，集合可拆分至多个边缘设备（如卫星机载处理器），随后聚合，实现带宽受限情况下的实时特征提取。
• 模型治理 – 审计人员可以追溯特定决策由哪位专家贡献，简化地理空间分析中日益严格的 AI 透明度法规合规。
• 成本效益扩展 – 组织只需在新标注数据出现时添加相应专家，即可扩展其基础模型，无需投入巨大的计算集群。

局限性与未来工作

• 集合规模与延迟 – 并行运行大量专家会增加推理延迟，尤其在仅有 CPU 的硬件上；作者建议通过模型剪枝和动态专家选择来缓解。
• 任务重叠 – 专家之间的冗余知识可能导致收益递减；未来研究可探索更复杂的特征融合机制（如基于注意力的加权）。
• 基准覆盖面 – 实验仅聚焦于有限的遥感任务；在 SAR、超光谱等更广泛场景的验证将进一步支撑通用性的主张。
• 联邦安全 – 虽然框架支持联邦训练，但稳健的隐私保护协议（如安全聚合）仍需后续工作。

总体而言，EoS‑FM 为地球观测 AI 提供了一种更具环保性的替代方案，挑战了 “更大即更好” 的趋势。