Page 99 - 《中国电力》2026年第3期

郑峰等：基于混合博弈强化学习的虚拟电厂市场交易策略 2026 年第 3 期

装机容量小和出力随机的特点，不利于其单独参 1 虚拟电厂市场交易优化模型
与 市 场 交 易 的 竞 争 力 。 虚 拟 电 厂 （ virtual power
plant，VPP）作为分布式能源聚合和控制的载体， VPP 内部各运营商参与市场交易模型如图 1 所
其参与市场交易可提高整体竞争力和收益 [6-10] 。 示，能源供应商和负荷聚合商上报交易电价（能
针对含分布式能源的 VPP 运营商参与市场交 源供应商上报发电报价，负荷聚合商上报用电报
易，国内外学者进行了大量研究。VPP 运营商作 价）给交易中心，当发电报价和用电报价相等时
为市场主体参与电力市场交易时，存在隐私保护 社会效益最大。本文分别构建能源供应商和负荷
问题，文献 [11] 对聚合分布式绿电的分布式电源 聚合商收益模型。
运营商、储能运营商和柔性负荷聚合商利用 VPP
需求响应后负荷信息
联合技术开展电能合作交易的模式进行研究。文 用电报价
献 [12] 提出一种电力、氢气和氨市场中可再生能 交易中心 需求响应后负荷信息 负荷聚合商1
用电报价
源 到 氨 虚 拟 发 电 厂 的 多 时 间 尺 度 交 易 策 略 。 文 出力信息 出力信息
发电报价 发电报价
献 [13] 将两个具有动态定价属性的竞价型碳配额 用电报价 负荷聚合商2
需求响应后负荷信息
和绿证市场与电力市场相结合，提出了一种基于
合作博弈的心电图市场 VPP 参与双层优化模型。 负荷聚合商3
文献 [11-13] 主要是从 VPP 内部运营商参与单一能 能源供应商2 能源供应商2
量交易构建市场交易策略，忽略了其可同时参与 图 1 市场交易模型
Fig. 1 Market trading model
能量市场和辅助服务市场所带来的额外收益。此
外，负荷聚合商之间在上报用电电价时应考虑存 1.1 能源供应商收益模型
在的模仿行为。 能 源 供 应 商 参 与 市 场 的 收 益 主 要 由 售 电 收
市场交易问题多数为多目标问题，无法直接 益 、 燃 气 轮 机 运 行 成 本 和 储 能 运 行 维 护 成 本 组
求解，为此诸多学者一般采用 KKT（Karush-Kuhn- 成，因此可以表示为
(
Tucker）条件、智能算法或者博弈理论求解多目 ∑ ∑ s ( h w pv ) ∑ h h
max λ i,t P + P + P i,t − c P −
i,t
i,t
i,t
i
标问题 [14-23] 。文献 [24] 提出了一种新型电力系统 i=1 t=1 t=1
)
下储能参与电能量-惯量-一次调频多市场交易方 ∑( dis ch )
a P i,t + P i,t （1）
法，由于所提方法为双层模型，为此利用 KKT 条 t=1
件和对偶理论将双层模型转化为单层混合整数线 式 中 ： λ 为 能 源 供 应 商 i 在 时 段 t 的 发 电 报 价 ；
s
i,t
性规划模型并求解。文献 [25] 提出在电力市场环 P 为能源供应商 i 在时段 t 的燃气轮机出力； P w
h
境下基于合作博弈纳什议价理论的配电网侧多类 i,t i,t
为 能 源 供 应 商 i 在 时 段 t 的 风 电 机 组 实 际 出 力 ；
型市场主体电能量交易模型。针对综合能源现货 pv
P 为 能 源 供 应 商 i 在 时 段 t 的 光 伏 机 组 实 际 出
i,t
市场的剧烈价格波动给综合能源服务商带来了较
力 ； c 为 能 源 供 应 商 i 的 燃 气 轮 机 运 行 成 本 系
h
大风险的问题，文献 [26] 提出了一种基于合作博 i
数； a为储能装置运行维护成本系数； P 为能源
dis
弈的综合能源服务商现货市场风险规避策略。然 i,t
ch
供应商 i 在时段 t 的储能装置总放电功率； P 为
而，采用 KKT 条件求解时需要要求模型具有凸可 i,t
能源供应商 i 在时段 t 的储能装置总充电功率。
行解，转化过程复杂。常用智能算法则无法保证
燃气轮机机组总出力和储能装置的总充、放
博弈体信息的私密性 [27] 。为此，亟须寻找一种高
电功率为在能量市场和辅助服务市场中进行调节
效求解方法来求解市场交易模型。
的功率之和，即
综上，本文提出一种基于混合博弈强化学习
h
P = P mh + P ah （2）
的虚拟电厂市场交易策略。根据虚拟电厂内部发 i,t i,t i,t
电和负荷单元的特性构建能源供应商和负荷聚合 dis mdis adis （3）
P
i,t = P i,t + P i,t
商的整体收益最大化模型。采用混合博弈强化学
ch
P = P mch + P ach （4）
习算法对该模型进行求解。 i,t i,t i,t

95