作者:闵应骅 来源:中国科学报 发布时间:2018-8-24
选择字号:
人工智能走向应用亟须提高可信度

 

■闵应骅

最近看到新闻,商业巨头亚马逊2016年推出图像识别AI系统“Rekognition”,还积极向美国警方推销以帮助其办案。不过近日,“Rekognition”却闹了一个大乌龙:28名美国国会议员被它识别成了罪犯。

这一错误也让发起这项测试、反对警方使用“Rekognition”的美国公民自由联盟(ACLU)抓到把柄,他们表示,测试结果引起了民众对警方使用该系统的严重担忧。

虽然人工智能应用近几年被吹得热热闹闹,场景也令人振奋,但真要付诸应用,人们仍然对这些系统信任度存在疑问。那么,怎么才能让这些系统具有高可信性呢?这就要深入到每一个具体系统,进行科学分析。本月IEEE Spectrum发表一篇文章Making Medical AI Trustworthy具有一定参考价值。

医药工业领域是人工智能系统应用的理想之地。临床检验结果、医患之间的沟通都被处理成为电子病历。AI系统可以摘要这些数据,从而给出性价比较高的治疗方案。现在许多企业都在研发这种系统,但真正进入医院应用的却不多。

为什么会这样?匹兹堡大学的医学研究专家和物理学家Shinjini Kunda说:问题在于信任,虽然你有可行的技术,但怎么能获取人们的信任并使用呢?

许多医用AI系统是个黑盒子,输入数据后得出答案。医生们搞不懂它为什么要这么处理。所以,Kunda研究AI对医学图像的分析与解释。她最近用AI分析膝盖核磁共振图像(MRI),分析3年内会发展为骨关节炎的可能性,使用“生长模型化”技术,用AI产生一个未来确定会发病的新图像,并显示支持其诊断的模式。

而人眼无法根据MRI图像判断患者3年内是否会得关节炎,但 AI程序则可以基于MRI扫描软骨图片的微妙变化,得出患者3年内得关节炎的概率。这些变化可能是医生们没有注意到或者无法观察到的。

另外,微软研究人员Rich Caruana十年来一直致力于一项研究,就是让机器学习模型不仅是智能的,而且是可以理解的。他用AI通过医院电子病历去预计患者的结果。他发现,即使是高度精确的模型也隐藏严重的缺陷。

他曾经对肺癌患者进行数据统计,训练机器学习模型区分入院的高危患者和可在家恢复的低危患者。该模型发现,心脏病患者较少死于肺炎,可作为低危人群。但实际上是,被诊断有肺炎的心脏病患者并不是低危人群,往往他们有呼吸困难时,就被及时送进急诊进行治疗。

所以,如果单单从结果看,机器学习模型发现的这种关联性是正确的。但假如我们用这种关联性去进行卫生保健,就可能让某些患者丧命。鉴于此,由于这些麻烦的发现,Rich Caruana正在研究清楚显示变量相关的机器学习模型,让它判断模型不但在统计意义上精确,而且能在医学上可用。

由此看来,人工智能应用需要应用领域专家深入分析、严格的测试过程、有效的容错技术,才能保证其应用系统的安全可靠,人们才能放心使用。(http://blog.sciencenet.cn/u/ymin)

《中国科学报》 (2018-08-24 第2版 博客)
 
 打印  发E-mail给: 
    
 
以下评论只代表网友个人观点,不代表科学网观点。 

目前已有0条评论
相关新闻 相关论文

图片新闻
中子星内“核面食”比钢硬100亿倍 你的肠道连着脑
化学分析揭示地球最古老动物 英古生物学家因违规被剥夺经费
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文
 
论坛推荐