|
|
|
|
|
基于物理先验的 SGARNet 破除光纤成像计算幻觉 |
|
|
导读
近期,清华大学曹良才教授与德累斯顿工业大学Juergen Czarske教授在Light: Advanced Manufacturing联合发表了题为“SGARNet: a deep artifact removal approach for lensless multi-core fiber imaging”的研究论文。
该研究面向多芯光纤成像中的蜂窝伪影问题,提出了一种物理先验引导的深度伪影去除网络 (Spectral Guided Artifact Removal Network, SGARNet),通过建立多芯光纤成像退化模型,揭示蜂窝伪影与纤芯几何排布之间的频域关联,设计轻量化 SpectralGate 模块,在网络特征频域中选择性抑制晶格频率伪影,实现高分辨率成像。
光纤内窥镜就像一条细长触角,凭借细径、柔性和低侵入等优势,可以深入传统成像系统难以到达的狭窄空间,能够在微创诊断、术中导航和工业内窥检测中发挥作用。随着成像需求不断提升,如何在减小内窥探头尺寸的同时获得清晰、稳定的图像,成为光纤内窥成像技术发展的关键问题。
多芯光纤为超细内窥探头提供了可行方案,通过省去远端复杂光学元件,使探头更小、更简单。但多芯光纤由离散纤芯阵列组成,像一组规则排列的小窗口采样图像,容易产生蜂窝状伪影,遮挡细节并降低图像可靠性。传统滤波、插值和深度学习方法虽能改善图像质量,但仍存在恢复能力有限、数据获取困难和物理解释不足等问题。为此研究团队提出了一种用于无透镜光纤束成像的物理先验引导的SGARNet 方法。

图1:用于无透镜光纤束的SGARNet成像方法
一、建立多芯光纤成像退化模型,揭示蜂窝伪影的频域特征
研究团队先从多芯光纤本身的结构入手,分析图像为什么会变模糊、为什么会出现蜂窝纹。简单来说,每一根纤芯都像一个很小的“采样窗口”,只能接收它附近的一小块光信息,再把这些信息传到另一端形成图像。由于多芯光纤中的纤芯通常按六角形规则排列,这种排列方式会在图像中留下固定的周期痕迹。换到频域里看,这些痕迹会表现为一圈有规律分布的峰值亮点,而这些亮点正是蜂窝状伪影产生的重要原因。


图2:具有几何六方排布的多芯光纤束端面图与具有峰值亮点的端面频谱图
二、提出 SpectralGate 模块,将物理先验嵌入深度网络
研究团队设计了 SpectralGate 模块,可以理解为网络里的一个“频域筛子”:图像中的蜂窝伪影在频域里通常会出现在比较固定的位置,SpectralGate 就专门盯住这些位置,对相关干扰进行有针对性的削弱。
基于所设计的SpectralGate,神经网络在修复图像时,不需要盲目地把所有信息都重新学习一遍,而是知道“蜂窝纹大概藏在哪里”。网络既能尽量保留图像中的真实细节,又能更精准地压制周期性伪影。相比完全依赖大量数据训练的方法,这种设计把多芯光纤自身的排列规律引入了网络,让模型更容易理解、也更容易学到有效的修复方式。
在整体结构上,SGARNet 采用了轻量化的图像修复网络框架,并将 SpectralGate 放在网络中最适合处理全局信息的位置。这样既能有效处理贯穿整幅图像的蜂窝伪影,又不会明显增加计算负担,也为光纤内窥实时成像提供了更好的基础。

图3:SGARNet网络框架图
三、实现成像质量显著提升,并具有场景泛化能力
在不同类型的图像测试中,SGARNet 都表现得比较稳定。面对纹理简单的图像,它能较好地恢复颜色、对比度和整体结构;遇到细节更多、纹理更复杂的图像时,它也能一边压制蜂窝纹,一边尽量保留主要画面内容,让修复后的图像更加清晰自然。

图4:SGARNet处理具有复杂纹理的图像
在鉴别率板成像实验中,SGARNet 能够清楚恢复分辨率板中的细线结构,分辨出约 2.1 μm 的最小线宽,这一结果也与实验中光纤本身的纤芯尺寸相吻合。
在生物组织切片实验中,SGARNet 对小麦颖果纵切片、神经组织、蘑菇切片和木本双子叶植物茎横切片等样本均实现了较好的图像恢复,表明该方法具备从投影训练数据迁移到真实生物样本成像场景的潜力。

图5:SGARNet用于鉴别率板和生物组织样本的成像
四、总结与展望
该研究提出了一种面向无透镜多芯光纤成像的深度伪影去除方法 SGARNet。研究从多芯光纤的物理采样机制出发,建立了蜂窝伪影退化模型,并基于该模型设计了频域引导的 SpectralGate 模块,实现了物理先验与深度学习图像恢复的有效结合。
SGARNet 在去除蜂窝伪影、提升图像对比度和恢复结构真实细节方面表现突出,并在不同纹理复杂度图像、分辨率板和生物组织样本中验证了稳定性。该方法为无透镜多芯光纤内窥成像提供了新的计算成像方案,有望推动更细径、更柔性、更安全的微创内窥系统发展。(来源:先进制造微信公众号)
相关论文信息:https://doi.org/10.37188/lam.2026.050
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。