■闵应骅

最近看到新闻，商业巨头亚马逊2016年推出图像识别AI系统“Rekognition”，还积极向美国警方推销以帮助其办案。不过近日，“Rekognition”却闹了一个大乌龙：28名美国国会议员被它识别成了罪犯。

这一错误也让发起这项测试、反对警方使用“Rekognition”的美国公民自由联盟（ACLU）抓到把柄，他们表示，测试结果引起了民众对警方使用该系统的严重担忧。

虽然人工智能应用近几年被吹得热热闹闹，场景也令人振奋，但真要付诸应用，人们仍然对这些系统信任度存在疑问。那么，怎么才能让这些系统具有高可信性呢？这就要深入到每一个具体系统，进行科学分析。本月IEEE Spectrum发表一篇文章Making Medical AI Trustworthy具有一定参考价值。

医药工业领域是人工智能系统应用的理想之地。临床检验结果、医患之间的沟通都被处理成为电子病历。AI系统可以摘要这些数据，从而给出性价比较高的治疗方案。现在许多企业都在研发这种系统，但真正进入医院应用的却不多。

为什么会这样？匹兹堡大学的医学研究专家和物理学家Shinjini Kunda说：问题在于信任，虽然你有可行的技术，但怎么能获取人们的信任并使用呢？

许多医用AI系统是个黑盒子，输入数据后得出答案。医生们搞不懂它为什么要这么处理。所以，Kunda研究AI对医学图像的分析与解释。她最近用AI分析膝盖核磁共振图像（MRI），分析3年内会发展为骨关节炎的可能性，使用“生长模型化”技术，用AI产生一个未来确定会发病的新图像，并显示支持其诊断的模式。

而人眼无法根据MRI图像判断患者3年内是否会得关节炎，但 AI程序则可以基于MRI扫描软骨图片的微妙变化，得出患者3年内得关节炎的概率。这些变化可能是医生们没有注意到或者无法观察到的。

另外，微软研究人员Rich Caruana十年来一直致力于一项研究，就是让机器学习模型不仅是智能的，而且是可以理解的。他用AI通过医院电子病历去预计患者的结果。他发现，即使是高度精确的模型也隐藏严重的缺陷。

他曾经对肺癌患者进行数据统计，训练机器学习模型区分入院的高危患者和可在家恢复的低危患者。该模型发现，心脏病患者较少死于肺炎，可作为低危人群。但实际上是，被诊断有肺炎的心脏病患者并不是低危人群，往往他们有呼吸困难时，就被及时送进急诊进行治疗。

所以，如果单单从结果看，机器学习模型发现的这种关联性是正确的。但假如我们用这种关联性去进行卫生保健，就可能让某些患者丧命。鉴于此，由于这些麻烦的发现，Rich Caruana正在研究清楚显示变量相关的机器学习模型，让它判断模型不但在统计意义上精确，而且能在医学上可用。

由此看来，人工智能应用需要应用领域专家深入分析、严格的测试过程、有效的容错技术，才能保证其应用系统的安全可靠，人们才能放心使用。（http://blog.sciencenet.cn/u/ymin）