[Paper] 评估使用多智能体强化学习的长期电力市场设计以实现雄心勃勃的脱碳目标

Source: arXiv - 2512.17444v1

概览

一项新研究展示了如何将 多智能体强化学习 (MARL) 转化为长期电力市场设计的虚拟测试平台。通过让追求利润的发电商在模拟批发市场中学习投资和出价策略，作者演示了一种评估不同拍卖规则、支持方案和脱碳目标将如何塑造未来发电结构和价格稳定性的方法。

关键贡献

• 首个用于长期电力市场的多智能体强化学习（MARL）框架，能够捕捉投资、调度和政策反馈循环。
• 独立近端策略优化（IPPO），适用于竞争性、去中心化的环境，并通过详尽的超参数搜索确保市场结果的真实性。
• 意大利系统的风格化案例研究，探索不同竞争水平、市场设计（如容量拍卖、上网电价）以及政策情景（碳价轨迹、可再生能源补贴）。
• 量化证据表明市场设计选择对脱碳速度和价格波动具有关键影响。
• 开源实现（随论文发布），可用于其他地区或政策实验的复用。

方法论

1. 代理与环境

   • 每个发电公司（GenCo）都是一个自主的强化学习代理，旨在在多年时间跨度内最大化其贴现利润。
   • 环境模拟批发市场结算（按小时调度）、需求增长、燃料价格路径以及外生政策杠杆（碳税、可再生能源补贴）。

2. 学习算法

   • 代理使用 独立近端策略优化（IPPO）：每个代理将其他代理视为环境的一部分，并通过 PPO 的剪切目标更新自己的策略。
   • 为了应对非平稳性（代理同时学习），作者进行了大规模超参数搜索（学习率、剪切 epsilon、网络深度），并选择能够再现已知竞争均衡的配置（例如，在完全竞争下的价格接受行为）。

3. 市场设计实验

   • 竞争制度： 从完全竞争到寡头垄断（少数大型发电公司）。
   • 政策工具： 碳价路径、容量市场拍卖、上网电价补贴以及混合方案。
   • 评估指标： 二氧化碳排放轨迹、发电结构演变、平均批发价格以及价格波动性（每小时价格的标准差）。

4. 仿真时域

   • 30 年时域，每年进行投资决策，并对每个模拟年份进行按小时调度，以捕捉长期锁定效应。

结果与发现

• 市场设计很重要： 与纯上网电价相比，容量拍卖降低了价格峰值，即使整体脱碳程度相似。
• 竞争程度影响结果： 寡头垄断市场往往在缺乏强有力政策信号（高碳价）的情况下对可再生能源投资不足。
• 政策交互作用： 将适度碳价与设计良好的容量市场相结合，可在减排、可再生能源渗透率和价格稳定性之间实现最佳平衡。

实际意义

• 政策制定者: 框架提供了一个沙盒，可在投入昂贵的真实部署之前，测试碳定价、容量机制和补贴设计的“假设”组合。
• 系统运营商与市场设计者: 提供关于拍卖规则（如出价上限、交付义务）如何在鼓励低碳投资的同时抑制价格波动的洞见。
• 能源公司: 一个工具，可在多种监管未来情景下对长期投资策略进行压力测试，帮助降低资本配置风险。
• 软件供应商与平台构建者: 开源的 MARL 环境可以集成到现有的市场仿真套件中，用自适应的学习型代理取代静态的成本最小化模型，扩展其功能。

限制与未来工作

• Stylized system: 意大利案例抽象了传输约束、辅助服务以及详细的燃料市场动态，这些因素可能影响投资激励。
• Independent learning assumptions: 虽然在超参数调优后 IPPO 表现良好，但真正的合作或对抗动态（例如合谋）并未被完全捕捉。
• Computational cost: 多年、按小时的仿真涉及众多代理，需要大量计算资源，限制了快速迭代。
• Future directions: 引入网络约束，建模需求侧灵活性，探索显式处理非平稳性的多代理算法（例如集中式评论家方法），并将框架与历史市场改革进行验证。

作者

• Javier Gonzalez‑Ruiz
• Carlos Rodriguez‑Pardo
• Iacopo Savelli
• Alice Di Bella
• Massimo Tavoni

论文信息

• arXiv ID: 2512.17444v1
• 分类: cs.LG, cs.AI, cs.NE, econ.GN
• 发布日期: 2025年12月19日
• PDF: 下载 PDF