论文标题：Quality control in open-ended crowdsourcing: a survey

期刊：Frontiers of Computer Science

作者：Lei CHAI, Hailong SUN, Jing ZHANG

发表时间：19 Mar 2025

DOI： 10.1007/s11704-025-41081-1

微信链接：点击此处阅读微信文章

引用格式：

Lei CHAI, Hailong SUN, Jing ZHANG. Quality control in open-ended crowdsourcing: a survey. Front. Comput. Sci., 2026, 20(6): 2006330

阅读原文：

文章精要

北京航空航天大学孙海龙教授团队针对开放域众包任务（如问答、翻译、语义分割）的质量控制挑战展开研究。此类任务因答案空间大、非唯一可接受答案及复杂结构，导致传统方法（如概率图模型）难以直接应用。文章对比布尔型任务（选项分类）与开放域任务（图像描述）的差异（图1），指出开放任务需应对动态多维参与者能力、主观评估困难及答案多样性等核心挑战。

技术步骤

研究提出两层级质量控制框架：第一层级从任务、工作者、答案、系统四方面构建质量模型；第二层级细化至质量维度、评估指标和设计决策，揭示跨要素协同优化的系统性逻辑（图2）。

实验结果

文章系统总结开放众包质量控制方法，并指出未来方向：结合大语言模型（LLMs）优化答案生成与评估，探索跨任务泛化能力。图3通过任务流与答案流展示框架核心特点，强调开放任务中上下文依赖与动态优化的必要性，为方法设计与验证提供直观支撑。研究为复杂众包场景的质量提升提供了理论依据和技术路线。图3质量控制流程与框架

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。

中国学术前沿期刊网

http://journal.hep.com.cn