论文标题：Video Image Enhancement and Machine Learning Pipeline for Underwater Animal Detection and Classification at Cabled Observatories（用于有线天文台水下动物检测和分类的视频图像增强和机器学习管道）

期刊：Sensors

作者：Vanesa Lopez-Vazquez, Jose Manuel Lopez-Guede, Simone Marini, Emanuela Fanelli, Espen Johnsen and Jacopo Aguzzi

发表时间：28 January 2020

DOI：10.3390/s20030726

微信链接：

https://mp.weixin.qq.com/s?__biz=MzI1MzEzNjgxMQ==&mid=2650003114&idx=3&sn=

1d0bca74ffae5f79c78950b3b7f2207d&chksm=f1de6c6ec6a9e5788735658e51df8d942d

d089766325b1a06e9811cb966a6eee16f71bc01e24&token=2105563179&lang=zh_CN#rd

期刊链接：

https://www.mdpi.com/journal/sensors

近几十年来，海洋生物多样性的成像技术飞速进步。由于海洋生态的特殊性及复杂性，大量的图像或视频无法全部由人工处理，迫切需要识别相关内容、分类和标记的自主流程。所以，建立健全完善、分布广泛的监测网络是长久以来研究者们关注的问题。这种网络可以提供充足的有效信息与变量，并且能准确描述所观测物种的生态动态。在本项研究中，来自西班牙Deusto Sistemas S.A.的Vanesa Lopez‐Vazquez教授及其团队提出了一种用于可视数据分析的流水线，该流水线集成了视频/图像注释工具，用于通过视频/图像增强以及机器和深度学习方法来定义、培训和训练的数据集，从而获得海洋空间分布和时间动态的综合信息。并且，研究团队还将摄制于深度为260米海下的视频作为原型，对该流水线进行了测试。最后，该研究被发表在期刊Sensors上。

图为Lofoten-Vesteralen (洛韦) 观测站所在的研究区域概览

实验设计与实施

1.观测台选址与目标物种的数据采集

洛韦海洋观测站位于巴伦支海洛的福腾群岛 (挪威)，于2013年建立。这个冰川海谷的深度为180至260米，从大陆坡向海岸由西北贯穿东南方向切开了大陆架。观测站的位置大约260米深，被两个100米高的海堤围住。这片区域海洋物种极其丰富，非常适宜观测。

图为视频检测的物种案例

该研究由海底摄像机以60分钟为一个单位时间间隔，采集各个物种的图像。在2017年至2019年一共进行了两次长期连续观测，共计372天，成像8818张。

2.图像处理流水线设计

由于洛韦观测台是在不受控制的自然环境下采集图像，其显著特征就是珊瑚丛的背景不均匀，其浑浊度与明暗变化使得检测物种的形状、颜色、大小等外观因素变得十分困难，这成为提高检测数据精度的严重阻碍。因此，研究者们基于计算机视觉工具设计和开发了图像处理流水线。最后，利用经典算法SVM (支持向量机算法)、K-NN (k近邻分类算法)、RF (随机森林算法) 和DL (深度学习算法) 对结果进行了处理与分类。

图为图像处理流水线

3. 数据分析

实验团队对所有以不同算法为基础的分类器准确性与学习速度进行了统计验证。参照传统的分类器数据，K-NN的表现非常一般，因为它几乎未达到过0.6390的AUC (曲线下面积，用于描述精度) 值。DT和RF-1的表现可圈可点，因为它们的AUC几乎达到了70%。虽然线性SVM的AUC达到了0.7392，但其学习时间最长。只有RF-2在仅为8秒的学习时间内获得了最高的AUC值0.8210。

但是与上述的经典算法相比，DL算法取得了更好的结果，8个网络获得的AUC值范围为80%-88%。且在以往的研究中，DL算法都需要数十万样本案例才能完成学习阶段，但本研究仅仅使用了39072张物种图像就获得了如此高精度的结果。

结论

本研究的目的是设计海洋生物检测和分类的自动流程，得到的结果准确率为76.18%，AUC值为87.59%，因此达到了预期目标。

本研究证实了在未经探索的水下环境可以借助经典算法和DL (深度学习) 技术进行分析。此外，DL方法，如复杂神经网络，经过试验已经表明其非常适用于海洋生物的识别与分类，即使有些图像质量极低。这是海洋物种检测领域的一个重要进展。

另外，研究者认为未来的研究可以围绕水下图像的改进进行，因为对图像质量的改进可以大大减少后期检测特征的工作，从而获得更精准的分类。

期刊简介

Sensors (ISSN 1424-8220) 于2001年创刊，2020年影响因子为3.576，在JCR Instruments & Instrumentation学科分类中排名居Q1(15/64)；2020 Citescore 为5.8，在 Scopus Physics and Astronomy: Instrumentation 学科分类中排名居Q1(13/128)。作为一个国际型开放获取期刊，Sensors 主要刊载传感器科学和技术研究领域的学术文章，采取单盲同行评审，一审周期约为15.2天，文章从接收到发表仅需2.6天。