[Paper] 自适应概率天际线查询处理在分布式边缘计算中的深度强化学习

Source: arXiv - 2601.21855v1

概述

本文针对边缘中心的物联网系统中的一个紧迫问题：在跨分布式边缘节点和云端处理海量、不确定的传感器流时，如何高效地回答 Probabilistic Skyline Queries (PSKY)。传统方案使用固定的过滤阈值，这要么导致网络数据泛滥，要么使边缘设备负载过重。作者提出 SA‑PSKY，一种自适应框架，利用深度强化学习持续调节这些阈值，显著降低通信流量和延迟。

关键贡献

• 自适应阈值控制：将动态过滤问题表述为连续马尔可夫决策过程（MDP），并使用深度确定性策略梯度（DDPG）代理求解。
• 联合成本优化：同时最小化通信开销和本地计算时间，而不是将它们视为独立问题。
• 边缘‑云协同架构：设计轻量级协议，在边缘节点与中心控制器之间交换状态信息（到达率、不确定性分布、资源可用性）。
• 广泛的实证验证：相较于静态阈值和启发式基线，在不同数据分布下实现网络流量最高 60 % 的降低以及端到端响应时间降低 40 %。
• 可扩展性分析：展示随着边缘节点数量和数据维度的增长，性能保持稳定，证明适用于大规模 IoE 部署。

方法论

1. Problem Modeling – 每个边缘节点接收多维、不确定的元组流。在将候选数据转发到云端之前，它会应用 filter intensity（一种概率阈值），决定本地结果的裁剪力度。最佳强度取决于实时因素：

   • Data arrival rate（新传感器读数出现的速度）
   • Uncertainty distribution（每个属性的置信区间）
   • Resource snapshot（节点的 CPU、内存、网络带宽等资源快照）

2. MDP Formulation – 系统状态是上述指标的向量。动作是每个节点的连续阈值。奖励将负的通信成本（发送的字节数）和负的计算成本（本地处理时间）相结合，鼓励智能体找到一个折中点。

3. Deep Reinforcement Learning – 一个 DDPG 智能体（actor‑critic 架构）学习将状态映射到阈值的确定性策略。

   • Actor network：输出阈值。
   • Critic network：估计给定状态‑动作对的期望累计奖励。
   • 经验回放和软目标更新在非平稳的边缘环境中稳定训练。

4. Deployment Loop – 在每个时间窗口，边缘节点向控制器报告其状态，DDPG 策略计算新的阈值，节点相应地调整本地过滤器。该循环持续运行，使系统能够对工作负载峰值、网络拥塞或硬件故障作出响应。

结果与发现

• 通信节省：在合成和真实的物联网数据集上，SA‑PSKY 将从边缘到云端发送的数据量相比于使用固定 0.5 概率阈值的基线降低了 45‑60 %。
• 延迟降低：端到端查询响应时间下降 30‑40 %，主要是因为需要在云端合并的候选项更少，且边缘节点避免了不必要的本地计算。
• 对分布漂移的鲁棒性：当底层数据不确定性发生变化（例如传感器校准漂移）时，学习到的策略能够快速适应，保持低开销，无需人工重新调参。
• 可扩展性：在最多 128 个边缘节点 和 10 维 天际线的实验中，表现出近线性扩展；强化学习控制器的开销仍然可以忽略不计（每个决策周期 <2 ms）。

Practical Implications

• Edge‑First Analytics: 开发用于智慧城市、工业物联网或自主车队的实时仪表盘时，可以嵌入 SA‑PSKY，以在保持带宽使用低的同时提供准确的天际线结果（例如，在不确定性下的“最佳表现”设备）。
• Resource‑Aware Service Orchestration: 云平台可以将 DDPG 控制器集成为微服务，持续优化数据摄取管道，降低按带宽付费的云链接成本。
• Plug‑and‑Play Deployment: 该框架仅需从边缘节点获取轻量级遥测数据（CPU、网络统计），即可兼容现有的容器编排边缘运行时（K3s、OpenYurt）。
• Extensible to Other Queries: 相同的基于强化学习的阈值调优可重新用于 top‑k、最近邻或异常检测查询，在本地剪枝与远程聚合之间实现权衡。

限制与未来工作

• 训练开销：DDPG 代理需要一个包含代表性工作负载的初始离线训练阶段；突发的、未见过的工作负载模式可能导致暂时的次优阈值。
• 状态粒度：当前的状态向量省略了细粒度的网络延迟波动，这在高度不稳定的无线链路中可能提升决策效果。
• 安全考虑：该框架假设遥测数据可信；未来工作可以研究针对伪造状态报告的恶意边缘节点的鲁棒强化学习。
• 更广泛的基准测试：将评估扩展到异构硬件（例如基于 ARM 的边缘设备）和真实生产流水线，将使论点更为坚实。

底线：SA‑PSKY 证明深度强化学习能够将传统上静态、手工调优的查询处理组件转变为自我优化的服务，为下一代以边缘为中心的数据平台释放出可观的带宽和延迟提升。

作者

• Chuan-Chi Lai

论文信息

• arXiv ID: 2601.21855v1
• 分类: cs.DC, cs.DB, cs.NI
• 出版日期: 2026年1月29日
• PDF: 下载 PDF