论文标题：Diversity from human feedback

期刊：Frontiers of Computer Science

作者：Ren-Jian WANG, Ke XUE, Yu-Tong WANG, Peng YANG, Hao-Bo FU, Qiang FU, Chao QIAN

发表时间：17 Jul 2025

DOI：10.1007/s11704-025-41167-w

微信链接：点击此处阅读微信文章

标题：Diversity from human feedback

作者：Ren-Jian WANG, Ke XUE, Yu-Tong WANG, Peng YANG, Hao-Bo FU, Qiang FU, Chao QIAN

DOI：10.1007/s11704-025-41167-w

扫码阅读原文↑

摘要：

在集成学习、强化学习及组合优化等领域，如何定义合理的多样性度量是一个长期存在的挑战。传统方法高度依赖专家经验来定义“行为空间”，但在许多复杂场景下，专家也难以给出准确描述。为此，南京大学研究团队提出了一种名为“基于人类反馈的多样性（DivHF）”的通用框架。该方法通过主动查询人类对样本相似性的偏好，自动学习出符合人类直觉的行为描述符，进而定义多样性度量。实验表明，DivHF能显著提升进化算法在复杂任务中的搜索效率与结果质量。

内容精要

多样性在机器学习和优化算法中扮演着至关重要的角色，它能够防止模型陷入局部最优并提升系统的泛化能力。然而，现有的多样性度量方法普遍面临一个核心痛点：它们通常需要预先定义一个“行为空间（Behavior Space）”，而这一空间的构建极度依赖于特定领域的专家知识。在许多新兴或复杂的任务中，即便专家也难以用显式的数学语言来准确界定什么样的差异才是真正“有意义”的多样性。这种对专家经验的过度依赖，严重限制了多样性引导算法在未知领域中的应用范围和灵活性。

针对这一问题，南京大学团队提出了DivHF（Diversity from Human Feedback）框架。该框架的核心创新在于将人类的感知直觉引入多样性度量的构建过程中。研究人员并不要求人类给出精确的数值定义，而是通过简单的对比查询（例如：“A和B相比，谁与C更相似？”）来获取反馈。DivHF利用这些反馈数据，通过深度学习技术训练一个隐含的行为描述符（Behavior Descriptor）。这个描述符能够将原始的高维数据映射到一个低维的、符合人类偏好的特征空间中。在这个空间里，任何标准的距离度量都可以转化为一个高质量的多样性指标。

实验结果证明，DivHF在多个复杂的优化任务中展现了卓越的性能。通过与人类反馈的结合，该框架能够捕捉到传统手工特征无法描述的细微行为差异。在进化算法的实验中，受DivHF引导的种群展现出了更强的探索能力，能够发现更多具有实际价值的候选方案。这一研究不仅为多样性度量提供了一种全新的数据驱动视角，也为“以人为本”的AI优化算法开发开辟了新路径。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，执行主编为周昆教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。