[Paper] 将计算带到数据上：一种基于MOEA的在SKA和SRCNet背景下优化数据处理的方法

Source: arXiv - 2601.01980v1

概述

本文针对平方千米阵列（SKA）面临的最大数据处理难题之一——将数百 PB 的原始望远镜数据在全球区域中心网络中传输已变得几乎不可能——提出了解决方案。作者提出了一种 计算至数据（computation‑to‑data）策略，将函数即服务（Function‑as‑a‑Service，FaaS）与多目标进化算法（Multi‑Objective Evolutionary Algorithm，MOEA）相结合，自动决定在何处以及如何运行数据密集型任务，以在速度、能耗和数据传输成本之间取得平衡。

关键贡献

• Hybrid FaaS + MOEA 框架，能够动态生成针对 SKA 数据管道的近乎最优执行计划。
• 多目标公式化，在满足数据位置约束的同时，最小化执行时间和能耗。
• 原型实现 已集成到 SKA 区域中心网络 (SRCNet) 架构中，展示了靠近数据源的现场函数部署。
• 基线性能评估 显示相较于集中式处理基线，端到端处理时间降低最高达 30 %，能耗足迹降低 20 %。
• 开源参考代码 以及可复现的实验工作流，供更广泛的科学计算社区使用。

方法论

1. 问题建模 – 数据处理工作流被表达为有向无环图（DAG），其中节点是轻量级函数（例如校准、成像），边表示数据依赖。
2. FaaS 层 – 每个函数被打包为基于容器的 FaaS 单元，可在任何 SRCNet 节点（边缘、区域中心或云）上实例化。FaaS 运行时为优化器抽象存储、网络和扩展细节。
3. 决策引擎 – 使用多目标进化算法（具体为 NSGA‑II）探索可能的函数放置和调度顺序的巨大组合空间。
   • 目标： (i) 总壁钟时间，(ii) 总能耗。
   • 约束： 数据局部性（函数必须在所需输入所在位置运行）、网络带宽上限以及节点特定的资源限制。
4. 适应度评估 – 对每个候选解，使用快速仿真模型根据每个函数在每种节点类型上的历史剖析数据估算执行时间和能耗。
5. 选择与部署 – 将 Pareto 最优解呈现给轻量级编排器，编排器挑选最符合当前服务水平协议的方案（例如在观测突发期间优先考虑延迟）。然后通过在网络中生成相应的 FaaS 实例来实现所选方案。

结果与发现

关键要点

• 将计算移动到数据所在位置可显著削减 WAN 流量，从而降低延迟和数据传输的能耗。
• MOEA 能够快速收敛（在几百代内）到满足所有约束的解，使其在观测任务期间的近实时重新规划成为可能。
• 模块化的 FaaS 方法可以在无需重新设计整个流水线的情况下添加新的处理步骤。

实际意义

• 针对 SKA 开发者： 该框架提供即插即用的方式，将繁重的校准或成像步骤卸载到最近的边缘节点，从而释放中心资源用于其他科学任务。
• 针对云/边缘提供商： 展示了 FaaS 在典型网页工作负载之外的具体用例，鼓励在低延迟、高吞吐的边缘计算平台上进行投资。
• 能源感知调度： 运营商只需调整 MOEA 的目标权重，即可实施更环保的运行策略（例如，将工作负载转移到使用可再生能源的节点）。
• 可扩展的工作流编排： 该方法可推广到其他面临类似数据移动瓶颈的 Exascale 科学项目（如气候建模、基因组学）。
• 开发者工具： 开源原型包含用于定义 DAG 和自定义成本模型的 Python SDK，降低了集成现有 SKA 流水线的门槛。

限制与未来工作

• 仿真保真度： 当前的适应度评估器依赖于已剖析的平均值；实际环境中的变动（例如网络抖动、节点争用）可能影响最优性。
• MOEA 的可扩展性： 虽然在已测试的 DAG 大小（≈50 个函数）上表现有效，但更大的流水线可能需要层次化或基于代理的优化，以保持运行时间低。
• 安全性与数据治理： 在异构站点之间部署函数会引发访问控制挑战，这些挑战尚未得到充分解决。
• 未来方向： 作者计划 (1) 集成在线学习以实时细化成本模型，(2) 探索混合元启发式方法（如 MOEA + 强化学习）以加速收敛，(3) 在实际的 SRCNet 测试平台上进行全规模试点。

作者

• Manuel Parra‑Royón
• Álvaro Rodríguez‑Gallardo
• Susana Sánchez‑Expósito
• Laura Darriba‑Pol
• Jesús Sánchez‑Castañeda
• M. Ángeles Mendoza
• Julián Garrido
• Javier Moldón
• Lourdes Verdes‑Montenegro

论文信息

• arXiv ID: 2601.01980v1
• 分类: cs.DC
• 出版时间: 2026年1月5日
• PDF: 下载 PDF