论文标题：Hacking reference-free image captioning metrics

期刊：Frontiers of Computer Science

作者：Zheng MA, Chang-Xin WANG, Ya-Wen OUYANG, Fei ZHAO, Jian-Bing ZHANG, Shu-Jian HUANG, Jia-Jun CHEN

发表时间：20 Jun 2025

DOI：10.1007/s11704-025-50178-6

微信链接：点击此处阅读微信文章

引用格式：

Zheng MA, Chang-Xin WANG, Ya-Wen OUYANG, Fei ZHAO, Jian-Bing ZHANG, Shu-Jian HUANG, Jia-Jun CHEN. Hacking reference-free image captioning metrics. Front. Comput. Sci., 2026, 20 (8) : 2008343

阅读原文：

问题概述

针对无参考图像描述指标的破解问题，南京大学张建兵副教授团队撰写了该研究论文。

文章利用强化学习方法分析了无参考图像描述指标的存在问题，实验结果表明，当前无参考图像描述指标存在重大缺陷。作者提出了一种文本负样本对比学习方法，以改进现有指标，并有效提升了无参考图像描述指标的鲁棒性。

技术步骤

文章利用强化学习算法，将无参考图像描述指标作为奖励分数，对图像描述模型进行优化。通过分析模型生成句子的特征，发现当前无参考图像描述指标存在的问题。基于这些问题，文章将有缺陷的文本作为负样本，提出了文本负样本对比学习方法，从而改进了现有指标，并提升了无参考图像描述指标的鲁棒性。

实验结果

实验结果表明，修复后的无参考图像描述指标能够有效识别有缺陷的描述，并通过将其作为奖励分数，生成更准确、流畅的描述。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，执行主编为周昆教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。