论文标题：Zero-shot reinforcement learning for multi-domain task-oriented dialogue policy

期刊：Frontiers of Digital Education

作者：Yuan REN, Si CHEN, Ri-Chong ZHANG, Xu-Dong LIU, Ming-Tian PENG

发表时间：11 Jun 2025

DOI：10.1007/s11704-025-41285-5

微信链接：点击此处阅读微信文章

引用格式：

Yuan REN, Si CHEN, Ri-Chong ZHANG, Xu-Dong LIU, Ming-Tian PENG. Zero-shot reinforcement learning for multi-domain task-oriented dialogue policy. Front. Comput. Sci., 2026, 20 (9) : 2009353

阅读原文：

文章摘要

任务型对话系统中的对话策略（Dialogue Policy）在跨领域迁移时常面临动作空间与状态空间不一致的挑战。北京航空航天大学研究团队提出了一种零样本强化学习（Zero-shot RL）框架。该框架通过“统一表示（UR）”捕捉状态与动作间的语义关系，并引入“Q值扰动（QVP）”探索策略，使模型无需针对新领域进行二次训练即可实现高效泛化。实验表明，该方法在MultiWOZ等基准数据集上的成功率显著优于现有的Zero-shot学习算法。

内容精要

内存优化技术的不断突破，不仅降低了科学AI模型训练的硬件门槛，也为构建更具可扩展性和成本效益的科研基础设施奠定了基础。随着这些优化策略在更多科学领域得到应用，科研人员将能够训练出更强大、更精确的模型，加速生命科学和物理化学等领域的创新进程。

任务型对话系统（TOD）在跨领域应用中面临一个核心技术痛点：当模型从已知领域（如“餐厅预订”）迁移到从未见过的未知领域（如“医院查询”）时，其状态表示和可选动作往往发生剧烈变化。传统的强化学习方法需要针对每个新领域重新采集大量对话数据进行训练，这不仅成本高昂，且无法应对实际应用中不断涌现的新需求。如何实现对话策略的“零样本（Zero-shot）”泛化，即在完全不接触目标域数据的情况下直接应用模型，已成为该领域的研究高地。

为了解决这一难题，北京航空航天大学计算机学院刘旭东教授团队提出了结合“统一表示（Unified Representation,UR）”与“Q值扰动（Q-Values Perturbation,QVP）”的创新架构。UR机制不再依赖特定领域的本体（Ontology），而是利用自然语言描述符将不同领域的动作和状态映射到同一个语义空间，从而能够推断出未知动作的语义含义。而QVP探索策略则通过在推理过程中对动作价值进行微小的随机扰动，有效地提升了模型在面对异构领域时的决策鲁棒性，防止模型陷入局部最优或因环境变化而失效。

在权威的MultiWOZ 2.0和2.1数据集上的实验结果显示，该方法在保持已知域性能的同时，在未知目标域上的表现大幅领先。相比于传统的线性映射或非对齐表示方法，UR-QVP架构在对话成功率和准确性上均实现了质的飞跃。这一研究成果为构建具备高度自适应能力的通用人工智能助理提供了重要技术支撑。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，执行主编为周昆教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。