导读

深度学习在高精度光场图像重建中具有重要应用，然而，当前基于深度学习的光场重建算法大多集中在微观光场成像领域，限制了光场成像技术在介观和宏观尺度的应用。近日，南京航空航天大学王德鹏教授和浙大城市学院朱之京研究员在这一领域取得了突破性进展，提出了多尺度通用型光场图像实时高精度三维重建算法，该算法能够实现微观、介观、到宏观光场图像的高精度重建，突破了传统算法的应用局限。

该成果发表在国际顶尖光学期刊《Light: Science & Applications》，题为“Real-time and universal network for volumetric imaging from microscale to macroscale at high resolution”。南京航空航天大学硕士生林炳志为第一作者，南京航空航天大学王德鹏教授、谭慧俊教授、浙大城市学院朱之京研究员为通迅作者。中国科学院东北地理所张迪鸣研究员和中国科学院物理所杨旭三研究员为本研究提供了支持。

研究背景

光场成像在微观尺度生物成像、介观尺度神经成像及宏观流体速度测量中均具有重要应用。基于深度学习的光场重建算法可有效提高光场图像的重建精度。然而现有的基于深度学习的光场重建算法多局限于对微观尺度光场图像的高精度重建，目前尚未存在一种能够通用于微尺度、介观尺度和宏观尺度的高分辨率光场图像重建算法，从而限制了光场成像在介观、宏观等领域的应用。因此，有必要提出一种多尺度通用型光场图像高精度三维重建算法,实现不同尺度光场图像的高精度重建，从而实现光场成像更广范围的应用。

研究内容和结果

论文提出了一种多尺度通用型光场图像实时高精度重建算法（RTU-Net），可实现从微观到宏观尺度光场图像的高精度实时重建，突破了传统方法的瓶颈。该网络具有以下四个优点：

1. 泛化能力强

RTU-Net采用基于生成对抗理论的自适应损失函数，解决了现有模型中线性损失函数难以准确评估图像细节特征的长期缺陷，为RTU-Net的泛化能力和三维分辨率成像性能的卓越表现奠定了理论基础。

2. 重建尺度广

RTU-Net首次实现了用同一种网络对微观尺度、介观尺度和宏观尺度光场图像的高精度重建。重建对象包括微观尺度微管蛋白和线粒体、介观尺度小鼠脑神经、以及宏观尺度的光场粒子成像测速(PIV)技术的涡流数据。

3. 重建精度高

与其他现有方法相比，RTU-Net在微观结构重建中得到的精度最高，且具有最高的峰值信噪比。

4. 重建速度快

RTU-Net可达到250Hz体数据速率，可实现同步测量与三维重建，为动态观测与实时反馈提供了技术基础。

图1. (a) RTU-Net 训练程序的简化示意图；(b)预测的 RTU-Net 的过程；(c) 不同尺度下RTU-Net的成像情况：微观尺度上线粒体和微管蛋白的结构成像（左）；中尺度的大鼠大脑的神经成像（中）；宏观尺度颗粒成像（右）。

总结与展望

在本研究中，研究人员提出了一种基于深度学习的光场重建方法，首次实现从微观到宏观全尺度地高分辨率光场重建。在微观尺度上，重建了微管蛋白、线粒体和线粒体细胞膜，并证明RTU-Net与已报道的网络相比具有最高的空间分辨率和最小的重建伪影。在介观尺度上，精准重建了小鼠皮层体积，提取神经元进行活动轨迹分析，并获得了与真值高度相似的轨迹。在宏观尺度上，进行了光场粒子图像测速(LF-PIV)测量，结果表明RTU-Net的粒子位置误差为传统方法的1/7到1/4，从而实现更高精度地三维流体运动结构重建，为流动机理研究提供全新工具。这让该方法在生命科学，神经科学，流体动力学等众多领域中都扮演着重要角色。（来源：LightScienceApplications微信公众号）

相关论文信息：https://doi.org/10.1038/s41377-025-01842-w