论文标题：MPFToD: a modularized pre-training framework for consistency identification in task-oriented dialogue

期刊：Frontiers of Computer Science

作者：Libo QIN, Shijue HUANG, Qiguang CHEN, Qian LIU, Wanxiang CHE, Ruifeng XU

发表时间： 12 Aug 2024

DOI：10.1007/s11704-024-3778-9

微信链接：点击此处阅读微信文章

引用格式：

Libo QIN, Shijue HUANG, Qiguang CHEN, Qian LIU, Wanxiang CHE, Ruifeng XU. MPFToD: a modularized pre-training framework for consistency identification in task-oriented dialogue. Front. Comput. Sci., 2025, 19(10): 1910351

阅读原文：

问题概述

关于任务型对话（CI-ToD）中一致性识别的现有工作探索了各种预训练模型。虽然报告了令人印象深刻的结果，但这些预训练模型是通用的，因为它们具有通用的预训练目标和自由形式的文本语料库，缺乏对话上下文理解和知识库推理能力，从而限制了它们的性能。然而，针对CI-ToD进行预训练并非易事，因为它需要大量基于知识库的多回合对话，而这些对话极难收集。

技术步骤

将CI-ToD预训练分解为三个子模块，并进一步独立预训练每个模块。具体来说，我们设计了三个预训练任务，包括（1）查询-响应匹配任务（QRMT），旨在学习在给定系统响应的情况下区分正确的用户查询，这鼓励我们的框架更好地建模系统响应和用户查询之间的关系；（2） 对话历史一致性识别任务（DHCIT）用于判断对话历史是否与系统响应一致，提高对话语境理解能力；以及（3）KB掩码语言建模（KBMLM）在给定话语和相应的KB的情况下预测属于KB实体的掩码值，从而在话语和KB之间建立桥梁，提高KB理解能力。

实验结果

在CI-ToD基准上的实验结果表明，我们的方法达到了优异的性能（比前人工作提高了4.7%）。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。

中国学术前沿期刊网

http://journal.hep.com.cn