[Paper] OpenEarthAgent：用于工具增强的地理空间代理的统一框架

Source: arXiv - 2602.17665v1

Overview

OpenEarthAgent 提出了一种全新的统一框架，使 AI 代理能够像 GIS 分析师一样对卫星影像进行推理——通过串联专用工具（例如 NDVI 计算器、矢量叠加、地图查询），并遵循自然语言指令。通过在数千条带注释的推理轨迹上进行训练，系统学会生成一步一步的、基于工具的解决方案，这些方案既准确又可解释，为开发者和行业从业者提供可靠的多模态地理空间助理打开了大门。

关键贡献

• 统一的工具增强架构用于地理空间推理，将视觉、语言和 GIS 操作集成在单一代理中。
• 大型公开发布的数据集：14,538 条训练样本和 1,169 条评估样本，覆盖城市、环境、灾害响应和基础设施场景，包含超过 100 K 条标注推理步骤。
• 在显式推理轨迹上进行监督微调，使模型能够学习稳定的多步逻辑，并在每一步调用正确的 GIS 工具。
• 展示了相较于强基线的性能提升，并在与近期开源和闭源多模态模型的比较中取得竞争性结果。
• 可解释性设计：每个决策都可追溯到具体的工具调用（例如，“为多边形 X 计算 NDVI”），便于调试和合规，适用于真实世界部署。

方法论

1. 数据收集与标注 – 卫星图像（多光谱、RGB、SAR）与自然语言查询（例如 “识别过去 48 h 内受洪水影响的区域”）配对。人工标注者随后生成完整的推理轨迹：一系列工具调用（NDVI、栅格裁剪、矢量缓冲等）和中间文本解释。
2. 工具库 – 一套模块化的 GIS 基元（指数计算器、栅格代数、矢量几何操作、地图式检索）被封装为 API 调用，代理在推理过程中可以调用。
3. 模型骨干 – 一个视觉语言 Transformer（类似 Flamingo/BLIP‑2）处理图像和查询，同时解码器预测轨迹中的下一个动作（工具名称 + 参数）以及可选的解释性文本。
4. 监督微调 – 通过教师强制学习模型模仿人工编写的轨迹，鼓励其学习正确的工具使用顺序并在各步骤之间保持空间上下文。
5. 推理 – 在测试时，代理自回归生成轨迹，执行每个工具，将工具输出反馈给模型，并持续进行直至产生最终答案。

结果与发现

*基线 = 仅具备单一“仅答”头的视觉语言模型，无工具增强。

关键要点

• 工具增强的代理始终优于普通的视觉语言模型，尤其是在需要指数计算的任务上（例如 NDVI、NBR）。
• 工具选择的高精度表明模型学会将语言线索（“植被健康”）映射到正确的 GIS 操作。
• 基于轨迹的监督产生可解释的流程，能够被人工分析员检查或编辑。

Practical Implications

• 快速原型化地理空间分析 – 开发者可以将代理嵌入网页服务，回答诸如“展示过去一年建筑用地的变化”之类的临时查询，而无需编写自定义 GIS 脚本。
• 灾害响应自动化 – 第一线救援人员可以查询卫星影像（“受灾最严重的洪水区域在哪里？”），并收到由代理工具链生成的即用型栅格掩模。
• 合规性与可审计性 – 由于每个决策都关联到具体的工具调用，组织可以记录完整的推理轨迹，以供监管审查（例如环境影响评估）。
• 可扩展生态系统 – 模块化工具库意味着可以添加新的遥感指数或矢量操作，且同一代理只需最少的再训练即可学会使用它们。
• 降低 GIS 轻量团队的门槛 – 缺乏内部 GIS 专业知识的小型初创公司或市政 IT 部门可以将该模型作为“智能分析师”，弥合原始卫星数据与可操作洞察之间的鸿沟。

局限性与未来工作

• 工具覆盖 – 当前库侧重于常用指数和基本矢量操作；更高级的分析（例如时间序列变化检测、三维点云处理）尚未支持。
• 推理轨迹的可扩展性 – 非常长或高度条件化的工作流可能导致错误传播；未来工作将探索层次化规划或检索增强推理，以保持轨迹的鲁棒性。
• 领域迁移 – 数据集经过大量策划；在完全未见过的传感器模式（例如高光谱、SAR‑干涉测量）上的性能可能下降。计划扩展训练数据并加入自监督适应。
• 实时约束 – 每次工具调用都会往返于 GIS 后端，这可能成为延迟关键应用的瓶颈。优化工具执行（例如批量栅格操作、GPU 加速 GIS 核心）是一个开放的研究方向。

总体而言，OpenEarthAgent 证明了将多模态语言模型与具体 GIS 工具结合能够提升准确性和可解释性，为遥感和地理空间分析领域的实用 AI 助手铺平了道路。

作者

• Akashah Shabbir
• Muhammad Umer Sheikh
• Muhammad Akhtar Munir
• Hiyam Debary
• Mustansar Fiaz
• Muhammad Zaigham Zaheer
• Paolo Fraccaro
• Fahad Shahbaz Khan
• Muhammad Haris Khan
• Xiao Xiang Zhu
• Salman Khan

论文信息

• arXiv ID: 2602.17665v1
• 类别: cs.CV
• 发布日期: 2026年2月19日
• PDF: 下载 PDF