近日，四川大学华西医院呼吸与危重症医学科教授李为民、研究员王成弟团队在《创新》上发表了最新研究论文，创新性开发了多模态融合模型，即Multimodal Integration，MMI模型，利用临床文本、影像图像、检验指标等多维度信息，实现肺部感染性疾病及病原类型精准预测，及时对危重症进行预警干预。

不同病原体引起的肺部感染性疾病给人民生命健康带来了严重的疾病负担，胸部计算机断层扫描是诊断肺部感染的重要辅助工具，但其“异病同征、同病异征”的现象给精准诊断带来困难。人工智能技术的快速发展推动了医疗领域的创新，多模态融合为疾病精准诊断的实现提供了技术基础。

该研究纳入了四川大学华西医院及医联体24107例住院患者，收集其临床症状、诊疗记录等文本、实验室检测结果和胸部CT图像。研究者利用双向编码器转换器提取文本信息，通过骨干网络Swin-Transformer对图像信息进行特征提取。为进一步提高模型性能，研究者采用注意力Attention架构，将模型从临床、影像、检验数据中提取的单模态特征合并为多模态特征，使MMI模型能够整合多个信息源并有效地对疾病进行精确诊断。

相对于仅使用临床特征或影像图像的单一模态模型，MMI模型在识别肺部感染性疾病患者的准确性更高，并能够区分单一感染和混合感染的患者。在识别不同类型肺部感染性疾病任务上，MMI模型平均性能依旧最佳。

不同的数据融合策略会影响模型的诊断性能，研究者对早期融合、中期融合和晚期融合三种融合架构进行探索。与早期融合和后期融合架构相比，中间融合架构表现出更加优越的性能。中期融合寻求合并来自多个信息源的特征，生成统一的特征集，增强了信息在信息源间的传播，并交互式地优化了特征提取过程。

研究者进一步收集肺部感染性患者多模态数据，将该模型与两组具有不同年资的临床医生进行对比。结果显示，MMI模型在肺部感染性疾病诊断方面的性能可与具有丰富临床经验的医生相媲美。

MMI模型在常见肺部感染病原体的预测上也显示出良好的诊断潜力。覆盖呼吸道合胞病毒、冠状病毒、肺炎链球菌、结核分枝杆菌等常见呼吸道病毒和细菌病原体。这种对不同病原体亚型的准确区分，可辅助医护人员及时诊断并针对性使用抗菌药物。预警危重症也是MMI模型在肺部感染性患者诊疗中的重要应用。研究者评估了肺部感染性疾病患者危重预后的相关因素，并可视化了多维度特征在预警预后中的重要性。

综上所述，该研究创新性地开发多模态融合MMI模型，精准诊断肺部感染性疾病，快速锁定病原体，融合多维特征实现重症提前预警，有助于临床及时决策干预，改善肺部感染性患者的预后，为肺部感染性疾病精准诊疗提供新思路。

相关论文信息：https://doi.org/10.1016/j.xinn.2024.100648