作者:赵广立 来源:科学网微信公号 发布时间:2022/3/3 18:23:19
选择字号:
受聘清北两校,朱松纯团队发表最新成果

 

我们能相信人工智能(AI),并将汽车驾驶、金融保险和医疗健康等决策权全盘交给它吗?很遗憾,现在还不行。当前基于深度神经网络的AI算法“可解释性”很差,它的处理过程仿佛一个“黑盒子”,不能解释为何作出特定决策。我们无法信任它。因此,可解释人工智能(XAI)的研究——其目的是搭建人机信任的桥梁——势在必行。

近日,AI领域知名学者朱松纯教授团队在iScience发表论文,提出了一个新的可解释AI框架“CX-ToM”,可用于解释深度卷积神经网络(CNN)作出的决策,在图像识别模型中增强人类的信任。

目前,朱松纯同时在清华大学和北京大学任讲席教授并担任管理职务,这种情况实属罕见。他主持的北京通用人工智能研究院(BIGAI)也是由清华大学、北京大学等单位合作支撑。根据这篇新发论文,在朱松纯所属机构一栏,这三家均在列。

在获取人类信任方面获得的进步,将使AI朝着更“自主的智能”迈近一步。朱松纯一直致力于“完全自主的智能”的研究,他曾撰文表示,相比会学舌的鹦鹉,能够领会到将坚果丢在斑马线上、利用车轮碾压吃到坚果肉的乌鸦,才是他所期望的“真正的智能”。

朱松纯 图源:清华大学

帮助AI取信于人的两个工具

基于推理判断的“反事实解释”和心理学和认知科学中的“心智理论”(ToM)都是能使神经网络获取人类信任的工具。朱松纯团队提出的人机信任模型“CX-ToM”中,不仅将反事实解释用于图像识别上,还引入了心智理论概念。

举个例子,在一张图片里,一只黄褐色、有鹿角的鹿站立在草原上,CNN模型能够识别出它是只鹿,但同时还有一定概率会识别为袋鼠和斑马。是黄褐色的身躯误导了模型,还是大草原的背景给了模型其他的想象?

给出决策背后的“黑盒”无从得知,模型只是盲目地在若干预测结果中选择可能性最高的那个。

在集成了反事实解释和心智理论的AI框架下,研究人员试图打开这个“黑盒子”。例如:在对草原鹿图片的识别给出答案后,人们就要询问机器(这里指CX-ToM模型):“为什么图像被识别成鹿而不是袋鼠?”

此时,模型就要向用户报告它给出推理和预测所依据的(最优的)具有区分性的语义特征,之后用户来验证模型的预测。如果用户对模型的回答不满意,则可以接着询问,直到它选择出一组让用户满意的最优解释。

在这个模型中,AI框架所生成的“解释”不是“一锤子买卖”,而是一种基于人机交互对话的多轮次通信过程——这也是该论文的一大亮点。

基于心智理论的可解释框架示例

过往的研究表明,人机信任与AI的可理解性(人类用户对AI系统的理解程度)和可预测性(在特定任务上预测系统性能的准确程度)密切正相关。CX-ToM模型在这方面做得很好。

在实验中,研究人员招募了60名计算机视觉背景(具有丰富的使用CNN训练图像分类模型的经验)的专家用户,以及150名没有计算机视觉背景(且没有其他AI领域背景)的非专家用户。研究人员使用定性和定量的评估指标,展开CX-ToM模型与其他基线模型的对比实验。

结果显示,两组用户都认为,在基于心智理论的人机交互对话的环境下,他们和机器进行多轮次沟通,机器每一次越来越优的反馈结果都能引起他们的好感;与此同时,机器解释给出的详细、可理解的结果,能够帮助更深入地理解神经网络模型是如何做图像分类识别的,这显然有助于增加对其的信任。

朱松纯:AI研究应该搞一个“乌鸦图腾”

“完全自主的智能”——感知、认知、推理、学习和执行都有的AI,存在吗?

这是世界上顶级科学家都难以解决的问题,但朱松纯认为,这个解存在。他例举了乌鸦取食的例子,认为“自然界已经为我们提供了很好的案例”。

鸟类中,乌鸦和鹦鹉体型差不多。鹦鹉有很强的语言模仿能力,人类的一个短句多说几遍,它就能重复。朱松纯认为这就类似于由数据驱动的聊天机器人:它们都可以说话,但又都不明白说话的语境和语义,不能把所说的话对应到物理世界的物体、场景、人物,不符合因果与逻辑。

但生活在复杂城市环境中的乌鸦——它们能够制造工具,懂得各种物理常识和人类活动的社会常识,能够与人类交互和共存。

日本研究人员曾经观察过乌鸦的行为,他们惊奇地发现,乌鸦不仅懂得借助汽车轮胎碾压坚果以打开坚硬的外壳,还懂得把坚果放在斑马线附近,在红灯停车时,它们就不必冒着生命危险取食。在这一系列的操作中,乌鸦展现了它对城市环境的感知、认知、推理、学习和执行,而且这个过程中没有大数据训练、没有监督学习。

“作为科学研究的目标,我们要寻找‘乌鸦模式’的智能,而不要‘鹦鹉模式’的智能。”朱松纯感慨:“我个人认为,人工智能研究该搞一个‘乌鸦图腾’,因为我们必须认真向它们学习。”

朱松纯的观点在AI学术领域有一定代表性。目前,朱松纯同时在清华大学和北京大学任职。据清华大学官网,朱松纯现任该校基础科学讲席教授、清华大学通用人工智能研究院(筹)院长;北京大学官网则显示,朱松纯系该校讲席教授,自2020年11月起任北京大学人工智能研究院院长

此外,朱松纯还担任北京通用人工智能研究院(BIGAI)院长。据企查查信息显示,北京通用人工智能研究院是一家由科技部、北京市政府支持共建,清华大学、北京大学等单位合作支撑的非营利性新型研发机构。

参考资料:

https://www.cell.com/iscience/fulltext/S2589-0042(21)01551-0

https://arxiv.org/abs/1909.06907

https://www.au.tsinghua.edu.cn/info/1110/2445.htm

http://www.cis.pku.edu.cn/info/1084/1757.htm

https://www.zhihu.com/org/bei-jing-tong-yong-ren-gong-zhi-neng-yan-jiu-yuan

https://mp.weixin.qq.com/s/-wSYLu-XvOrsST8_KEUa-Q

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
油菜素内酯对陆地棉纤维伸长的调控网络 天格计划合作组4所高校成功发射4颗卫星
望远镜观测助手的24小时 小身体大能量!“天智二号”D星发射成功
>>更多
 
一周新闻排行
 
编辑部推荐博文