导读

在高速发展的半导体产业中，微小的缺陷可能对产品质量和生产成本造成巨大影响。传统的缺陷检测方法，无论是耗时耗力的人工检测，还是难以适应新型缺陷的旧有算法，都已无法满足当下严苛的制造需求。当新的制造工艺不断涌现，随之而来的“新型缺陷”如何被精准识别，已成为困扰行业的关键难题。

近日，韩国浦项科技大学的研究人员揭示了一项前沿技术——MT-former（Multi-Task Hybrid Transformer），它凭借多任务学习（MTL）技术和深度支持向量域描述（Deep-SVDD）的强大融合，能够有效地区分已知缺陷与新型缺陷，具有较强的泛化能力和检测精度。通过实验验证，MT-former在实际半导体数据中表现出色，超越了现有的主流模型，为半导体制造中的缺陷检测提供了新思路。该成果以“MT-Former: Multi-Task Hybrid Transformer and Deep Support Vector Data Description to Detect Novel anomalies during Semiconductor Manufacturing”为题发表在Light: Advanced Manufacturing。

图1：展示了半导体制造工艺升级过程中缺陷类型的变化。新工艺会产生新的缺陷类型，MT-Former技术能够在只学习已知15种缺陷的基础上，准确检测出3种全新缺陷的存在

模型架构与多任务学习的融合

MT-former的核心设计理念在于其独特的两阶段训练流程以及对多任务学习（Multi-Task Learning, MTL）策略的巧妙运用，旨在精确区分新型缺陷与已知缺陷。

这一设计使得模型能够同时执行多个任务，如图2所示，在上游阶段，模型通过解决分类和重建任务来训练现有缺陷的编码器，这一过程进行了充分的预训练，使其能够学习并提取已知缺陷的内在特征表示，避免了传统方法中将所有已知缺陷简单归为单一“正常”类别所导致的局限性；在下游阶段，编码器通过分类任务和深度支持向量域描述（Deep-SVDD）进行微调，能够区分新缺陷与已知缺陷。这种多任务协同学习的方式不仅有效地提高了模型对新型缺陷的识别能力，还通过共享编码器的设计，避免了重新训练，极大地提升了检测效率。

图2：展示MT-Former的两阶段训练过程：上游阶段学习重建和分类现有缺陷，下游阶段微调模型以识别新型缺陷

混合Transformer与高效特征提取

为了应对半导体缺陷图像中复杂多变、形状不规则以及尺寸各异的挑战，MT-former在模型架构中融入了先进的混合Transformer机制，并特别强调了高效自注意力模块（Efficient Self-Attention Module,ESAM）的应用，如图3所示。这种混合架构结合了卷积神经网络（CNN）在局部特征提取上的优势，以及Transformer在捕捉长距离依赖和全局上下文信息方面的强大能力，使得模型能够在更广阔的图像范围内建立像素间的关联性，从而更好地识别那些跨越较大区域或具有复杂非局部特征的缺陷。此外，MT-Former还巧妙地集成了Focal Loss，通过动态调整不同类别样本的权重，使得模型能够更加关注那些“难学”的、数量稀少的新型缺陷样本，确保即使在数据高度不平衡的情况下，模型也能对少数新型缺陷保持强大的识别能力。

图3：展示高效自注意力模块的工作原理，通过减少计算量来提高处理效率

ESAM与Focal Loss的结合，形成了协同效应，ESAM提供的全局上下文信息能够进一步增强Focal Loss对关键不平衡样本的关注度，共同提升了模型的整体检测性能，尤其是在处理高复杂度、多样化缺陷方面展现出卓越的鲁棒性。

卓越性能与实际应用价值

通过将MT-Former与现有的多种先进异常检测模型（包括DAE、AnoGAN、GANomaly、Patch-SVDD、Patchcore、Deep-SVDD）进行对比分析，MT-former在多个数据集上均表现出色。以SK Hynix提供的真实生产数据评估中，MT-former在检测新缺陷时，较传统Deep-SVDD模型的AUC提高了8.19%，且在现有缺陷分类方面也有9.59%的提升。此外，在处理公开的磁瓦缺陷数据集和HAM10000数据集时，MT-former分别取得了67.9%和70.73%的AUC，证明其在新缺陷识别和现有缺陷分类中的优势。

图4：展示了MT-Former与六种主流异常检测方法的性能对比

总结与展望

MT-Former的出现，为半导体制造过程中的缺陷检测提供了一种新的解决方案。其强大的新缺陷识别能力和优秀的分类精度，使其在实际应用中具有极大的潜力。

展望未来，MT-Former仍有广阔的提升空间。首先，需要在未来的研究中进一步优化FPR（误报率），实现更精细的平衡策略。其次，高效自注意力模块中的子采样机制有待深入研究，以避免在处理较小特征图时造成信息损失。最后，提升模型的可解释性也是一个重要的方向，让生产者直观地理解模型在决策过程中关注的区域，有利于增强模型在工业应用中的透明度和信任度。我们相信，随着技术的不断演进，MT-Former将持续为半导体产业的质量控制提供更智能、更可靠的解决方案。（来源：先进制造微信公众号）

相关论文信息：https://doi.org/10.37188/lam.2025.032