论文标题：Clustered Reinforcement Learning

期刊：Frontiers of Computer Science

作者：Xiao MA , Shen-Yi ZHAO, Zhao-Heng YIN, Wu-Jun LI

发表时间：15 Apr 2025

DOI： 10.1007/s11704-024-3194-1

微信链接：点击此处阅读微信文章

引用格式：

Xiao MA, Shen-Yi ZHAO, Zhao-Heng YIN, Wu-Jun LI. Clustered Reinforcement Learning. Front. Comput. Sci., 2025, 19(4): 194313

阅读原文：

问题概述

针对强化学习中的探索问题，本文通过设计基于聚类信息的额外奖励，以提升强化学习中智能体的探索效率。

技术步骤

CRL首先利用聚类算法将智能体收集到的状态划分为多个簇，然后设计了一种基于聚类信息的额外奖励来帮助智能体提升探索效率。该额外奖励可反映当前状态所在的邻域（簇）中的新颖性和优质性。智能体利用这些额外奖励来进行高效探索。此外，CRL可以与已有的探索策略相结合，以提高它们的性能。

实验结果

大量实验结果表明，本文提出的CRL，可有效提升智能体的探索效率。同时，CRL可以和已有探索策略相结合，进一步提高已有探索策略的探索效率。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。

中国学术前沿期刊网

http://journal.hep.com.cn