[Paper] 用于优化资源分配问题的变分量子 Rainbow 深度Q网络

Source: arXiv - 2512.05946v1

概览

本文提出了 变分量子彩虹深度 Q 网络 (VQR‑DQN)，一种混合量子‑经典强化学习架构，用于解决极具挑战性的资源分配问题。通过将变分量子电路 (VQC) 与最先进的 Rainbow DQN 结合，作者展示了量子叠加和纠缠能够在真实调度基准上提升策略质量，超越纯经典深度强化学习的表现。

关键贡献

• 混合量子‑经典 RL 架构：在 Rainbow DQN 流程中引入环形拓扑的变分量子电路作为可学习的函数逼近器。
• 理论关联：将电路的可表达性和纠缠度量与学习策略的期望性能相联系，为量子优势提供了原理性的解释。
• 在人力资源分配 (HRAP) 中的应用：将 HRAP 表述为马尔可夫决策过程（MDP），其动作空间由官员能力、事件时间线和转移成本决定，具有组合性。
• 实验增益：在四个基准数据集上实现了 相对于随机基线的 26.8 % 正常化完工时间缩短，以及 相对于 Double DQN 和经典 Rainbow DQN 的 4.9–13.4 % 提升。
• 开源发布：在 https://github.com/Analytics-Everywhere-Lab/qtrl/ 提供完整实现（Python + Qiskit），便于复现和快速实验。

方法论

1. 问题建模

   • 将 HRAP 视为马尔可夫决策过程，其中每个状态编码当前官员对任务的分配、剩余工作量以及随时间变化的约束。
   • 动作对应 组合分配（例如，将一组官员分配给即将到来的事件），导致指数级的动作空间。

2. Rainbow DQN 主干

   • 使用 Rainbow 的五大改进：Double Q‑learning、优先经验回放、对偶网络结构、多步回报和分布式 RL。
   • 这些组件已经提升了大规模调度问题的稳定性和样本效率。

3. 变分量子电路集成

   • 用 参数化量子电路（环形拓扑）替换 Q 网络的最后全连接层。
   • 输入特征通过振幅嵌入进行编码；电路深度和纠缠门的设置在可表达性与硬件噪声之间取得平衡。
   • 电路输出一组期望值，这些值线性映射回每个动作头的 Q 值。

4. 训练循环

   • 经典优化器（Adam）同时更新量子参数（通过参数移位规则）和其余经典权重。
   • 经验回放缓冲区存储转移；优先采样聚焦于高 TD‑误差的经验。
   • 多步目标和分布式投影的计算方式与标准 Rainbow 完全相同。

结果与发现

• 完工时间的缩短 直接转化为调度场景下更快的项目完成或更高的吞吐量。
• 消融实验显示，电路深度 与 纠缠熵 与策略性能正相关，验证了理论可表达性论点。
• 与经典模型相比，混合模型在 约 30 % 更少的回合 内收敛，表明样本效率更高。

实际意义

• 可扩展调度平台：管理大规模团队（如现场服务、应急响应）的企业可将 VQR‑DQN 嵌入决策引擎，实现实时近最优的人员分配。
• 边缘就绪的量子增强服务：由于量子电路浅且可在模拟器或近端 NISQ 硬件上运行，方案可部署在云端量子处理器上，延迟适中，配合经典推理流水线。
• 降低运营成本：相较于最先进的 DRL 提升 5–13 % 可在物流和制造业中转化为可观的人工工时、燃料消耗或设备磨损节约。
• 其他组合优化问题的框架：相同的混合架构可复用于车辆路径规划、作业车间调度或云资源编排等动作空间呈指数增长的问题。

局限性与未来工作

• 硬件噪声敏感性：实验在模拟器和少数 NISQ 设备上完成；在噪声较大的硬件上性能可能下降，需要误差缓解技术。
• 动作空间编码开销：将大规模组合动作编码为量子振幅可能成为瓶颈；需研发更高效的编码方式（如二进制或 qubit‑高效方案）。
• 对超大实例的可扩展性：虽然基准显示出有前景的增益，但扩展到上千资源可能需要更深的电路或层次化的混合策略。
• 未来方向：作者计划探索 量子感知经验回放，集成 量子元学习 以实现对新任务的快速适应，并在新兴容错量子处理器上进行基准测试。

如果你想亲自尝试 VQR‑DQN，克隆代码库，按照提供的 Jupyter notebook 操作，并将量子层替换为经典层，亲眼观察差异。

作者

• Truong Thanh Hung Nguyen
• Truong Thinh Nguyen
• Hung Cao

论文信息

• arXiv 编号: 2512.05946v1
• 分类: cs.AI, cs.ET, cs.SE
• 发布日期: 2025 年 12 月 5 日
• PDF: 下载 PDF