论文标题：Reinforcement Learning-Based Control Sequence Optimization for Advanced Reactors

论文链接：https://www.mdpi.com/2673-4362/5/3/15

期刊名：Journal of Nuclear Engineering

期刊主页：https://www.mdpi.com/journal/jne

在“双碳”背景下，核能因其安全、清洁和可持续等特点，正逐步成为全球能源转型的重要一环。与传统大型压水堆相比，小型模块化反应堆（SMR）和高温气冷堆（HTGR）等先进堆型因其灵活调峰、固有安全性高等优势，正在受到越来越多的关注。然而，要充分发挥先进核能系统的灵活性与经济性，如何在保证安全的前提下优化控制策略，依然是摆在科研人员面前的重要课题。

近日，来自美国North Carolina State University核能工程系的Jason Hou、Khang H. N. Nguyen、Andy Rivas 和 Gregory Kyriakos Delipei等研究人员，在 Journal of Nuclear Engineering 发表了题为《基于强化学习的先进反应堆控制序列优化》的最新研究成果。

研究过程与结果

团队选取了200 MW球床式高温气冷堆（PB-HTGR）作为研究对象，利用Argonne国家实验室开发的SAM系统分析工具及MATLAB Simulink搭建了反应堆的数字孪生模型，涵盖了从堆芯热功率、蒸汽发生器到电厂平衡系统的全流程仿真。为加速训练，研究人员基于深度神经网络构建了反应堆动力学的代理模型（Surrogate Model），用于生成强化学习所需的大量训练数据。

在强化学习算法上，研究团队选择了在连续动作空间表现优异的Soft Actor-Critic（SAC）算法，结合OpenAI Gym环境，训练智能体通过控制棒位置、循环泵转速、给水泵转速、冷凝泵转速和汽轮机阀门开度等5个操控变量，实现从100%功率平滑降至50%功率再升至全功率的负荷跟踪操作。

如下图所示，模拟结果中红线表示目标电功率，绿线为强化学习智能体生成的实际输出，可见偏差控制在±0.5%以内，显示出极高的控制精度。

PB-HYGR负荷跟踪工况下电功率输出对比（红线为目标值，绿线为实际输出）

研究总结

本研究指出，强化学习在多变量耦合、高维控制问题中展现出超越传统方法的巨大潜力，未来有望结合迁移学习等技术，进一步缩短模型在不同堆型间的适应时间。不过，要实现工业级应用，仍需在算法鲁棒性、可解释性及与现有核安全标准的对接等方面继续深入研究。

随着智能化、数字化技术与核电深度融合，基于数据驱动的自适应控制将助力先进核电系统实现更安全、高效与经济的运行，助力全球能源结构的绿色转型。

Journal of Nuclear Engineering期刊介绍：https://www.mdpi.com/journal/jne

主编：Dan Gabriel Cacuci，University of South Carolina， USA

期刊创刊于2020年,是一本国际开放获取期刊，发表同行评审的论文。期刊涵盖了与核和辐射过程的科学和应用相关的原创研究、想法和进展。发文类型包括original research papers, reviews, communications, brief reports, opinions, technical notes, editorials等。

截至目前，Journal of Nuclear Engineering期刊已被Scopus, ESCI (Web of Science), EBSCO等数据库收录。