论文标题：Robust long-tailed learning under label noise

期刊：Frontiers of Computer Science

作者：Tong WEI, Jiang-Xin SHI, Min-Ling ZHANG, Yu-Feng LI

发表时间：16 October 2025

DOI：10.1007/s11704-025-40860-0

微信链接：点击此处阅读微信文章

标题：Robust long-tailed learning under label noise

作者：Tong WEI, Jiang-Xin SHI, Min-Ling ZHANG, Yu-Feng LI

DOI：10.1007/s11704-025-40860-0

扫码阅读原文↑

摘要：

针对真实场景中数据长尾分布且伴随标签噪声的挑战，东南大学与南京大学研究团队揭示了传统“小损失”准则在长尾数据下的失效机制。为此，团队提出了基于“小距离”准则的鲁棒长尾学习框架（RoLT），通过嵌入空间中的原型距离精准识别噪声，并引入标签分布学习提升尾部类别的稳健性。实验证明，该方法在多个基准及真实数据集上均展现出超越现有技术的性能。

内容精要

在现实世界的视觉识别、文本分类等任务中，数据往往呈现出极端的长尾分布，即少数类（头部类）拥有大量样本，而多数类（尾部类）仅有极少量样本。这种不均衡分布使得模型极易偏向头部类。更严峻的挑战在于，大规模数据集往往不可避免地包含大量错误的标签（噪声）。当前的鲁棒学习研究大多假设类别分布是均衡的，而传统的长尾学习方法则假设标签是完全准确的。当长尾分布与标签噪声同时存在时，主流的“小损失”噪声检测准则会彻底失效。由于深度学习模型天生对尾部样本的学习能力较弱，模型会将正确的尾部样本误认为噪声，而将错误的头部样本误认为干净样本。这种由于类别频率差异导致的判断偏见，使得模型在长尾噪声环境下性能剧烈下滑，严重制约了人工智能技术在复杂真实场景中的可靠部署。

针对这一痛点，东南大学、南京大学团队合作提出了一种名为RoLT（Robust Long-Tail Learning）的创新框架。研究团队通过深入分析发现，虽然在损失函数空间中，尾部类别的正确样本由于分类难度大而表现出高损失，但在特征嵌入空间中，这些样本与其类原型的距离依然是相对紧凑且稳定的。基于这一关键洞察，团队设计了“类相关小距离”准则替代传统的“小损失”准则。该准则通过计算样本在特征空间中与类中心（原型）的距离来区分噪声，有效消除了由于类别频率差异带来的检测偏见，从而能更准确地识别出尾部类别的干净样本。

在识别出噪声样本后，RoLT框架并未简单地将其丢弃，而是采用了一种标签分布学习的策略。对于被标记为噪声的样本，框架会利用当前模型的预测生成连续的标签分布而非离散的伪标签，这种软化处理能更有效地保留潜在的有用信息，并显著增强模型对尾部类别的泛化能力。此外，团队还推出了进阶版的RoLT+，能够与半监督学习技术无缝集成，进一步压榨无标签（噪声）数据的价值。多项对比实验表明，RoLT在多个基准数据集以及真实的大规模数据集WebVision上均取得了领先的准确率，为解决复杂分布下的稳健学习提供了高效且通用的解决方案。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，执行主编为周昆教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。