北京时间11月10日，中国科学院深圳先进技术研究院集成所光电工程技术中心李剑平博士团队在海洋数据机器学习算法研究中取得新成果，提出了一种基于对比学习的浮游生物图像识别检索框架，在解决实际海洋数据中的不均衡分布、数据漂移、开集识别问题中展现出了优异性能。

论文以Contrastive Learning-based Image Retrieval for Automatic Recognition of in situ Marine Plankton Images为题，发表在国际海洋考察理事会海洋科学期刊ICES Journal of Marine Science上。中国科学院大学硕士杨振宇为第一作者，李剑平博士为论文通信作者，深圳先进院为第一单位。来自厦门大学、哈尔滨工业大学（深圳）的数据科学家参与本课题的合作研究。

文章上线截图

原文链接：https://doi.org/10.1093/icesjms/fsac198

经过了30多年来的发展，海洋水下成像仪器为海洋浮游生物原位观测带来了海量图像数据，刺激了计算机图像自动识别技术的长足发展。然而，训练机器对来自实际中复杂海洋环境下的图像数据进行准确识别始终是一项极具挑战的任务。现有浮游生物图像机器学习分类算法虽然在某些闭合数据集上取得了良好表现，但是当应用于来自不同时空的实际数据时，往往会出现性能不稳定甚至骤降的问题，不能满足海洋观测的实时准确要求。

通过深入调研，李剑平团队发现现有算法几乎全部将浮游生物识别问题处理成了一个对“N+1类”目标图像的分类问题（即N类感兴趣目标和1类所有不感兴趣目标）。然而，与其他领域中图像识别任务不同的是，在真实海洋环境中采集的数据必将面临成像质量恶化、数据分布不均、数据分布漂移和分布外样本出现等问题的挑战。因此，在闭合数据集上训练优化的机器学习算法在应用时，由于待识别数据集不满足与训练数据集的独立同分布条件，导致识别性能极易下降，只能通过费时费力的数据重新标注和模型重新训练来恢复其性能，显然这样就造成了机器学习算法的高昂的部署成本，难以在实际中应用。

李剑平团队提出的浮游生物原位图像检索识别框架IsPlanktonIR示意

针对这一瓶颈，李剑平团队设计并训练了一种基于对比学习的浮游生物图像检索框架IsPlanktonIR，以图像相似度比对的方式，通过图像检索灵活地解决浮游生物的原位图像识别问题，实现浮游生物图像的自动识别。

在该框架里，研究团队首先选取SEResNext作为浮游生物图像特征提取器，利用有监督的对比学习对其训练，使其获得较强的特征提取能力。识别图像时，通过比较待识别图像和一个检索库中图像特征的相似性，实现对其具体类别判定或对分布外样本的发现与拒识。

此外，IsPlanktonIR框架还提供了人机交互接口，以供使用者方便地检查校验识别结果，扩充检索库，不断完善增强识别性能。

训练浮游生物图像检索框架中特征提取器的代表图像数据

为了实现该识别框架的算法训练和效果验证，团队利用独立研发的海洋浮游生物原位光学成像仪在深圳大亚湾和海南昌江海域采集的图像构建了一个实验数据集。利用该数据集，团队使用部分类别图像对模型进行了训练，构造了多种不同组合的检测数据集，以检验该框架在真实海洋环境中应对必将发生的数据不均衡、数据分布漂移、分布外样本出现情况下的性能表现。

实验结果表明，IsPlanktonIR算法框架在应对同时存在上述问题的测试集上均表现出了优异的性能。尤其是当测试中遇到新类别图像出现时，只需向检索库中添加部分新的人工标注样本，即可使框架实时拥有对新类别图像的正确识别能力。

此外，团队还对该框架与经典的浮游生物图像分类算法和最新的异常值检测算法的性能在相同的测试集上进行了比较。结果表明，IsPlanktonIR不仅在二者不可处理的开集识别问题上取得了很好的效果，在这两类算法擅长处理的闭集分类问题上也取得了可比拟、甚至部分超越的性能指标。IsPlanktonIR的识别结果稳健性也大大增强，展示出了在实际海洋观测应用中的可靠性和灵活性。

在不同条件下的测试实验中IsPlanktonIR识别框架和对照算法的性能表现对比

此外，为了提高框架的图像检索效率，减小存储和计算开销，李剑平团队还提出了一种压缩精简的算法，将浮游生物图像检索库进一步稀疏化，在几乎不降低识别准确率的前提下将检索库的大小缩小了一半，保障了基于图像检索的图像识别框架在大规模数据下的检索速度，以满足海洋观测的高实时性要求。

IsPlanktonIR框架的发展为真实海水环境下的浮游生物原位长期观测提供了一套更加有效、稳健、灵活、便捷的算法方案，更加贴近海洋观测的实际需求，将有助于促进人工智能在海洋生物观测识别任务的落地应用。

该论文研究得到了中国科学院国际合作重点项目和深圳市科技创新计划基础研究重点项目的支持。