7月30日,香港科技大学教授陈浩团队联合美国哈佛医学院、威尔康奈尔医学院、香港中文大学、香港大学、中山大学等机构,成功研发出一套名为“通用-专科协作”(GSCo)的人工智能框架。该框架能够使医学通用基础模型与专科模型在疾病诊断任务中高效协作。相关成果发表于《自然-生物医学工程》。
该研究显示,GSCo在医学影像诊断、视觉问答及放射报告生成等多项任务中的表现,均显著优于单独运行的通用或专科模型。同时,该框架大幅降低了训练医学模型以适应新临床任务的研发成本。此项成果有望加速医学基础模型在日常临床工作中的应用。
GSCo框架的构建流程。研究团队供图,下同
论文共同第一作者、香港科技大学博士生何肃南介绍,医疗AI模型长期面临两难困境:通用基础模型虽基于海量医学语料训练,具备多任务适应性和跨模态识别能力,但在特定疾病诊断上精度不足;专科模型虽能提供精准的临床推理和专业判断,却过于专门化,面对新任务或迁移至新医院时需重新训练,且无法与临床医生进行自然语言推理,对新影像诊断任务的准确率会显著下降。此外,为每项新任务重复训练通用模型不仅算力成本高昂,还受限于患者隐私保护规定,数据无法离开医院。因此,单独使用任何一类模型均难以满足实际临床需求。
为应对上述挑战,研究团队开发了全新的协作式框架GSCo。该框架基于陈浩团队此前开源的医学通用模型MedDr,利用多元医学影像模态和超过200万个样本对其深度训练,同时构建了一组轻量级专科模型,仅需单张消费级GPU即可完成训练。在双向协作中,专科模型负责在推理过程中比对相似过往病例并提供诊断预测,MedDr则作为“核心决策者”,整合专科模型提供的证据与自身医学知识,做出最终诊断。
为验证GSCo的性能,团队在32个公开数据集、总计约26万张医学影像上进行了全面评测,涵盖影像诊断、视觉问答和放射报告生成等任务。结果表明,MedDr的表现优于RadFM、LLaVA-Med及Med-Flamingo等现有医学通用模型,而GSCo在所有内部及外部基准测试中均排名第一,胜过十个最先进的视觉基础模型。
在一项皮肤病变诊断测试中,团队利用HAM10000皮肤镜数据集训练专科模型,并通过GSCo框架将其部署到全新的BCN20000数据集上进行测试。结果显示,GSCo的诊断得分为0.8420(满分1.0),显著优于通用模型MedDr在零样本条件下的0.7545分,以及专科模型单独运行的最佳成绩0.8292分。
陈浩(中),与论文共同第一作者何肃南(左)及聂宇翔(右)合影。
在另一项针对胸部X光报告生成的临床人工评估中,七位执业放射科医生中有六位认为GSCo生成的报告质量优于当前最先进的专科模型R2GenGPT。压力测试进一步验证了MedDr的高稳定性:即使故意引入系统性偏差(将所有病理影像错误判定为正常),MedDr仍能正确识别67.6%的肿瘤影像。凭借这一出色的纠错能力,GSCo的整体准确率得到显著提升。
与微调通用模型相比,调整GSCo以适应新临床任务的研发成本可降低近100倍。在该框架下,专科模型可在医院内部使用本地数据进行训练,随后仅以匿名形式共享成果,确保患者病历无需离开医院。
论文通讯作者陈浩表示,通用模型与专科模型各有优势,GSCo的核心价值在于让二者以“协作者”身份并行运作,由通用模型担任总决策者,将专科模型的专家建议与其广博的医学知识有机融合。他期望这一框架能为医学基础模型融入临床工作流程提供更切实可行的路径,尤其使算力资源有限的环境也能共享AI医疗成果。
陈浩团队计划将MedDr进一步扩展至CT、MRI等三维影像模态及更多医学影像领域,同时探索更先进的多模态及基于图结构的检索策略,并研究通用与专科模型间更多元的协作方式,例如引入测试时计算,赋予模型深度思考能力,以进一步提升诊断准确性。
相关论文信息:https://doi.org/10.1038/s41551-026-01653-3
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。