导读

近日，由广东工业大学秦玉文教授团队、北京航空航天大学的张梦教授团队、深圳技术大学陈玲玲教授团队和英国帝国理工学院Paul French教授团队组成的学科交叉国际合作研究团队通过结合深度学习图像增强和共焦扫描光片荧光显微镜技术，解决了在低光照和短采集时间下活体动态过程高质量快速体积成像的难题。该方法通过灵活切换共聚焦线扫描光片和快速扫描光片系统，解决了介观尺度下光片显微地面真实图像（GT）的散射退化问题，构建了全新的卷积神经网络并联Transformer网络UI-Trans Net，破解了噪声耦合散射的图像复杂退化难题。实验结果显示，在活体斑马鱼心跳影像恢复信噪比提升了3-5倍、对比度提升了～1.8倍。成果不仅有力推动了光片显微成像在生物医学成像领域的发展，还为长时间活体成像提供了一种切实可行、经济有效的解决方案。

该研究成果以“Deep learning enhanced light sheet fluorescence microscopy for in vivo 4D imaging of zebrafish heart beating”为题发表在国际顶级期刊《Light: Science & Applications》。

研究背景

光片显微镜以其成像速度快、分辨率高和光毒性小等优势，近年来成为活体三维显微成像的重要表征手段，广泛应用在生物医学、材料、环境等领域。

目前，受限于光片照明模式和极短的光子收集窗口，光片显微镜应用在介观尺寸（毫米量级）动态生物（如斑马鱼心跳）成像过程会受到散射和噪声的耦合干扰，造成图像的退化，显著降低影像质量。

随着人工智能和深度学习的发展，基于卷积的神经网络（CNN）和基于自注意力机制（Transformer）网络开始逐渐应用于生物显微图像去噪方向。

然而，受限于高质量数据集的采集难度，动态生物过程的复杂耦合图像退化阻碍了利用深度学习重构光片图像的准确性。

创新研究

近日，由广东工业大学秦玉文教授团队、北京航空航天大学的张梦教授团队、深圳技术大学陈玲玲教授团队和英国帝国理工学院Paul French教授团队组成的学科交叉国际合作研究团队通过自主搭建可切换式共焦线扫描/快速扫描光片显微系统构建了快速深度学习数据库，结合CNN-Transformer并联深度学习架构，实现了斑马鱼心跳三维影像的高精度恢复。

图1. CNN-Transformer并联网络架构 UI-Trans Net（左）；可切换式共焦线扫描光片显微镜（右）。

研究内容包括：

提出了CNN-Transformer并联架构的深度学习网络UI-Trans（图1， 左），增强了对于全局兼细节特征的综合提取能力，提升了应对复杂耦合图像退化的重构水平。

搭建了可切换式共焦线扫描/快速扫描光片系统，通过快速切换成像模式实现低信噪高散射退化图像（快速扫描模式）-高信噪低散射（线扫描模式）图像数据对的快速采集（图1，右）。

通过在离体斑马鱼心脏数据集预训练的UI-Trans网络，成功实现活体斑马鱼心跳的影像恢复，实现了信噪比提升3-5倍。

离体斑马鱼心脏图像恢复

研究人员通过UI-Trans网络提高了体质量斑马鱼心脏图像的质量。图2中(a)和（b）展示了通过不同竞争网络恢复的三维斑马鱼心脏图像，其中UI-Trans网络经过多损失联合优化后，在离体斑马鱼心脏数据集中表现出更高的信噪比、更多的结构细节和更高的保真度，显著超越了其他网络。实验结果表明，UI-Trans在恢复心肌层的细微结构方面尤为出色，能够清晰地展示心肌细胞的分布。

图2. 使用UI-Trans、CARE和RCAN分别进行离体斑马鱼心脏体积图像的图像恢复。 (a) 低质量光片图像（输入）、高质量共聚焦光片图像（GT）和神经网络CARE、RCAN和UI-Trans 恢复的斑马鱼心脏三维图像。(b) x-y平面中的二维切片图像和白色矩形框（ROI）中的放大图像。

活体斑马鱼心脏影像恢复

通过在离体斑马鱼心脏数据集上训练的UI-Trans模型恢复了活体斑马鱼心跳三维影像。图3展示了不同发育阶段（胚胎，30小时；发育阶段48小时和晚期心脏发育阶段，120小时）斑马鱼的心跳动态影像的恢复图像。经过UI-Trans增强后，心室能够清晰地从背景中分离出来，信噪比显著提高。

值得一提的是，即使在离体训练集图像中没有任何早期胚胎时期的心脏影像数据，UI-Trans仍能有效提升发育早期活体斑马鱼胚胎的心跳影像的图像质量。

上述成果表明，该方法能够实现不同发育阶段完整斑马鱼心脏的高质量快速4D成像，为心脏研究带来了新的视角。

图3. 使用UI-Trans进行活体斑马鱼心脏影像恢复。48h.p.f. (上)、30h.p.f. （左下）和120 h.p.f.（右下）斑马鱼心脏跳动影像的不同时间点恢复前后对比图（灰色：恢复前，橙色：恢复后）。

应用与展望

共焦线扫描光片与深度学习的结合使得光片成像既打破了传统的成像制约关系（即成像时间、成像分辨率和成像信噪比之间的相互妥协），又突破了照明模式对于三维显微成像质量的限制，证明了光片成像获取超快速动态活动中高质量成像的可行性。

该方法一方面有望被应用于更广泛的显微镜群体，打破显微镜模态限制，另一方面可被应用于生物、医学和材料学等多场景，为研究生物、材料和环境样本的时空动态过程带来新视角。（来源：LightScienceApplications微信公众号）

相关论文信息：https://doi.org/10.1038/s41377-024-01710-z