[Paper] 深度强化学习驱动的边缘卸载用于延迟受限的 XR 流程

Source: arXiv - 2603.16823v1

（请提供您希望翻译的正文内容。）

概述

扩展现实（XR）应用——比如 AR 眼镜、VR 头显以及混合现实协作工具——必须在几毫秒内渲染帧，以避免晕动症，同时运行在电池受限的可穿戴设备上。本文提出了一种 电池感知的边缘卸载框架，能够实时决定 XR 工作负载是本地处理还是发送到附近的边缘服务器。通过使用轻量级的深度强化学习（DRL）控制器，系统持续在延迟约束与电池消耗之间取得平衡，从而在不耗尽设备电量的前提下提供更流畅的用户体验。

关键贡献

• 联合时延‑能量模型，在单一决策目标中捕获从动作到光子 (MTP) 时延、工作负载质量和电池动态。
• 在线 DRL 策略（≈ 0.5 ms 推理成本），能够在网络带宽和设备电源状态变化时即时调整执行位置。
• 电池寿命延长最高可达 163 %，相较于仅本地最优时延基线，同时在稳定网络下保持 ≥ 90 % 的帧数满足 MTP 时延预算。
• 对网络退化的鲁棒性：即使带宽严重受限，合规率仍保持在 80 % 以上。
• 广泛的实验验证，在原型 XR 流程（相机采集 → SLAM → 渲染）上使用商品化边缘硬件和现成头显进行测试。

方法论

1. 系统模型 – XR 管道被划分为三个阶段：传感器捕获、计算密集型感知（例如 SLAM、基于 AI 的目标检测）和渲染。每个阶段可以在本地运行，也可以卸载到边缘节点。
2. 延迟‑能耗目标 – 作者提出一个代价函数，对错过 MTP 截止时间和电池消耗进行惩罚，并根据用户自定义的偏好加权（例如 “倾向电池” 与 “倾向延迟”）。
3. 状态表示 – DRL 代理观察一个紧凑的状态向量：当前电池电量、最近的 MTP 延迟、估计的网络吞吐量以及工作负载大小。
4. 动作空间 – 两个动作：本地（在设备上处理所有内容）或 卸载（将计算密集型阶段发送到边缘）。
5. 学习算法 – 使用经验回放在线训练的轻量级深度 Q 网络（DQN），包含少量全连接层。奖励依据目标函数，鼓励在保持电池寿命的同时，使延迟保持在 20 ms MTP 阈值以下的动作。
6. 实现 – 该策略在 XR 设备的 CPU 上运行（≈ 2 % 利用率），并通过 Wi‑Fi 或 5G 与边缘服务器通信。边缘节点在容器化环境中执行卸载的工作负载，以保持延迟的可预测性。

结果与发现

• 延迟：当带宽 ≥ 10 Mbps 时，DRL 策略使平均 MTP 延迟保持在 20 ms 以下，覆盖率 > 90 %；带宽下降时退化过程平滑。
• 开销：策略推理每次决策增加 < 0.5 ms，较 XR 帧预算而言可忽略不计。
• 适应性：当电池电量低于 20 % 时，智能体会自动转向更多本地处理，以避免突发关机，展示了闭环能量感知能力。

实际意义

• 更长的现场会话：AR/VR 开发者可以发布设备，在不牺牲交互流畅度的前提下，运行时间延长 2–3 ×，这对企业培训、远程协助或游戏马拉松至关重要。
• 网络感知应用：DRL 控制器可以嵌入 SDK（例如 Unity、Unreal），让应用自动适应 Wi‑Fi/5G 波动，减少手动 QoS 调优的需求。
• 边缘优先架构：服务提供商可以设计轻量级边缘功能（SLAM、AI 推理），因为智能卸载层能够保持延迟保证，使边缘计算成为设备加速器的可行替代方案。
• 以电池为中心的用户体验指标：产品经理现在拥有一个具体的指标（电池‑延迟权衡）来基准 XR 体验，超越仅仅关注“平均 FPS”或“峰值功耗”。

限制与未来工作

• 简化动作空间 – 当前的二元决策（本地 vs. 卸载）未探索部分卸载（例如，仅卸载 SLAM 而本地渲染）。
• 网络模型 – 实验聚焦于 Wi‑Fi 和单一 5G 切片；更异构的网络（蜂窝切换、拥塞边缘）可能影响稳定性。
• 泛化能力 – DRL 策略在特定 XR 流程上训练；迁移到截然不同的工作负载（例如体积视频）可能需要重新训练或元学习技术。
• 安全与隐私 – 卸载原始传感器数据会引发隐私问题，论文未涉及；未来工作可整合加密推理或设备端预处理。

总体而言，本文展示了一个适度的基于 DRL 的卸载引擎能够显著延长电池寿命，同时将 XR 延迟保持在人类可感知的范围内，为更沉浸、无束缚的体验铺平了道路。

作者

• Sourya Saha
• Saptarshi Debroy

论文信息

• arXiv ID: 2603.16823v1
• 分类: cs.CV
• 发布日期: 2026年3月17日
• PDF: 下载 PDF