论文标题：Reinforcement Learning-Based Energy Management in Community Microgrids: A Comparative Study

论文链接：https://www.mdpi.com/2071-1050/17/23/10696

期刊名：Sustainability

期刊主页：https://www.mdpi.com/journal/sustainability

一、引言

能源社区是实现清洁能源的重要一步。然而，需求与能源价格的波动、可再生能源发电的可变性以及停电等外部因素，使得能源社区管理变成一项复杂的任务。来自于罗马尼亚锡比乌卢奇安·布拉加大学的Adrian Florea教授及其团队在Sustainability 期刊发表了文章。该研究探索了基于近端策略优化 (PPO) 算法的强化学习智能体在三种不同能源社区配置中进行能源管理的有效性。与此同时，该研究还对比了PPO智能体与其它传统方法的性能表现。该研究的主要贡献在于证明了强化学习智能体在能源优化问题中的可行性，为能源社区提供了一种替代传统规则控制器 (RBC) 的方案。

图1：第一种配置社区的微电网能源管理总体框架。

二、研究过程和研究结果

该研究的主要研究目标是探索强化学习作为一种能源管理系统，对于可使用可再生能源的能源社区的可行性和有效性。首先，该研究团队设定了三种不同的社区配置，每种配置由光伏发电和电池储能系统的可用性来定义。第一种配置代表一个光伏和储能可用性混合的住宅区 (5栋住宅建筑)；第二种配置结合了住宅和商业建筑，并引入了一个大型电力生产/消费者作为新角色 (3个实体)；第三种配置假设了一个最佳情况，即社区所有成员均为产消者 (3个实体)。接着，该研究团队使用开源的CityLearn搭建仿真环境，且该框架使用的数据集源自美国能源部的“美国建筑存量终端用户负荷曲线”。最后，该研究团队设置了四种情景/控制策略 (仅电网、电网+太阳能无控制策略、RBC控制社区、PPO控制社区)，并根据年度成本、能耗、碳排放和峰值电力需求等指标，对由此产生的系统性能进行比较。所有场景均使用相同的负荷、光伏和定价输入，以确保可比性。

研究结果表明，在所有情况下，仅向社区添加太阳能就能显著减少经济和环境影响。与“仅电网”基线相比，“电网+太阳能”配置在每个方案中分别将年度成本降低了72.4%、87.2%和84.7%，并将碳排放量分别减少了62.4%、82.9%和79.5%。虽然仅整合太阳能就已非常有效，但控制策略的选择可以进一步改善经济和环境效益。控制策略的选择应取决于能源社区的布局及其复杂性。强化学习最适合具有可控资源的可变环境，而无控制或者RBC控制在简单或灵活性较低的系统中则更为高效。只要PPO智能体对社区资源有足够的控制权，它在最小化成本和碳排放方面均表现出优于RBC的性能。在第一种配置的社区中，PPO智能体比RBC多降低了4.4%的能耗和碳足迹。在第三种配置的社区中，PPO控制与RBC控制之间的性能差异为9.2%，且相比于 “电网+太阳能” 的基线情景降低了 4.3% 的成本和碳排放量。在第二种配置的社区中，PPO控制和RBC控制的表现均不如 “电网+太阳能” 基线。PPO控制的社区能耗高出1.28%，RBC控制的社区能耗高出3.96%。然而，RBC相对于PPO智能体的一个显著优势在于峰值能耗 (电网稳定性的指标)。

图2：第一种配置社区中的控制策略比较。

三、研究结论

本研究分析了使用PPO强化学习智能体在三种能源社区配置中进行能源管理的有效性，并将其与更传统的方法进行了比较。结果表明，在参与者兼具生产者与消费者双重身份的社区，或多栋建筑配备光伏发电和电池储能的混合型社区中，基于强化学习算法的PPO智能体能够协调充放电决策，适应环境变量以最小化总体成本；而基于规则的控制器可能仍更适合于能源动态可预测的社区，如商业或工业场所。未来的研究方向可以侧重于通过向CityLearn框架引入新系统来扩展PPO智能体的控制范围，同时考虑点对点能源共享和第三方能源聚合商等机制和电池退化、电网稳定性、电压调节、光伏-储能优化配置以及峰值能耗分析等问题。

期刊介绍

主编：Prof. Dr. Steve W. Lyon, Ohio State University, USA

Sustainability创刊于2009年，作为一个跨学科的国际开放获取期刊，涵盖技术、环境、文化、经济和人类社会的可持续发展研究。期刊聚焦自然科学、工程学、经济学、社会科学与人文领域研究，推动跨学科协同探索，共同助力人类可持续发展及联合国 2030 可持续发展议程。 期刊已被 Scopus、SCIE、SSCI (Web of Science) 等多个权威数据库收录，5-Year Impact Factor 为 4.2。

2025 Impact Factor：4.1

2025 CiteScore：8.9

Time to First Decision：16.9 Days

Acceptance to Publication：3.8 Days