[Paper] 基于多智能体强化学习的群体网络协同抗干扰弹性

发布: 1个月前 (2025年12月19日 GMT+8 01:54)

8 min read

原文: arXiv

Source: arXiv - 2512.16813v1

概述

本文针对自主机器人群体面临的紧迫问题——反应式干扰器，它们能够感知网络活动并有选择地干扰通信，破坏编队协同和任务目标。作者通过将抗干扰问题框定为**多智能体强化学习（MARL）**任务，展示了群体如何学习在协同方式下选择频率和发射功率，以始终领先于自适应干扰器。

MARL‑based anti‑jamming framework：提出一种去中心化但协同的学习方案，采用 QMIX 算法，学习可分解为各个智能体的联合动作价值函数。
Realistic jammer model：构建了具有 Markovian threshold dynamics 的反应式干扰器模型，该模型感知整体功率并决定何时/何地进行干扰，贴近实际对抗行为。
Comprehensive benchmarking：将 QMIX 与 genie‑aided optimal policy、local Upper Confidence Bound (UCB) 多臂赌博机方法以及 stateless reactive policy 进行对比评估，涵盖无复用和通道复用的衰落场景。
Performance close to optimal：实验证明 QMIX 能快速收敛到的策略，使 throughput 接近 genie‑aided 上限，仅差几个百分点，同时显著降低成功干扰事件的发生。
Scalable to larger swarms：展示了因价值函数可分解，能够实现 decentralized execution，使该方法在拥有大量智能体且计算资源受限的群体中仍具可行性。

系统模型
- 一个群体由多个 发射机‑接收机对 组成，共享一组频率信道。
- 每个智能体在每个时间步 联合决定 (信道, 功率)。
- 反应式干扰器 监测总接收功率；如果超过隐藏阈值，它将在下一个时隙对干扰最严重的信道进行干扰（马尔可夫动态）。
学习形式化
- 将问题建模为 合作式 Dec‑POMDP：智能体共享一个公共奖励（例如，成功的数据包传输、低干扰）。
- QMIX 学习一个 集中式动作价值函数 Q_tot，该函数对每个智能体的局部 Q 值是单调的，从而使得全局最优可以通过每个智能体对自身 Q 函数的贪婪行为来实现。
训练流程
- 通过仿真回合生成状态‑动作‑奖励三元组。
- 经验回放缓冲区存储转移，用于离策略更新。
- 网络结构为每个智能体使用 循环编码器（处理部分可观测性），并配备 混合网络 来强制单调性约束。
基准对照
- 天才辅助最优：对所有联合动作进行穷举搜索（仅在小规模网络中可行）。
- 局部 UCB：每个智能体将每个 (信道, 功率) 对视为一个臂，通过上置信界（Upper Confidence Bound）进行选择。
- 无状态反应式：一种启发式方法，在检测到干扰时切换信道，且不进行学习。

指标	QMIX	Genie‑aided optimal	Local UCB	Stateless reactive
吞吐量（包/时隙）	0.92 × 最优	1.00	0.68 × 最优	0.55 × 最优
干扰成功率	8 %	0 %	31 %	44 %
收敛时间	≈ 2 k 轮	不适用（离线）	> 10 k 轮	不适用（基于规则）

Secure swarm deployments: 开发 UAV、地面机器人或物联网群体的人员可以嵌入轻量级的 QMIX 派生策略，以自主规避干扰，无需中心控制器。
Dynamic spectrum access: 联合信道‑功率选择可重新用于民用频谱共享场景（例如拥挤 ISM 频段中的工业物联网），在这些场景中干扰是不可预测的。
Edge‑friendly inference: 训练完成后，每个智能体仅运行一个小型前馈网络来评估其本地 Q 值，符合典型嵌入式计算预算（例如 ARM Cortex‑M 或低功耗 GPU）。
Rapid adaptation: 由于策略离线学习、在线执行，群体可以针对一系列干扰器行为进行预训练，然后在现场使用最少数据进行微调，实现 continuous resilience。

总体而言，本文展示了现代 MARL——尤其是 QMIX——能够为自主群体提供一种实用的、数据驱动的防御，以抵御自适应干扰，为更稳健的现场部署打开了大门。