■本报记者 李惠钰
人们常说“眼见为实,耳听为虚”,但眼前所见真的不受语言暗示影响吗?
“语言能否影响感知”这一疑问,在心理学、语言学乃至哲学领域争论了上百年。支持者坚信,语言为人类划定了理解世界的边界,而反对者认为,视觉、听觉等感知系统独立于语言运行,不受影响。
过去,这一问题悬而未决,是因为在人类成长过程中,语言与视觉几乎总是“纠缠”在一起,很难把一个人脑中的“语言系统”拿掉,单看其“视觉系统”如何运作,导致难以在实验中加以区分。如今,人工智能(AI)的发展为破解这一经典难题带来了新契机。
北京大学、北京师范大学、山西医科大学第一医院的研究人员发现,语言不仅塑造人类思维,也可能在潜移默化中改变人类“看世界”的方式。他们结合AI模型与健康人群及脑卒中患者的脑影像数据,为上述心理学核心问题提供了新证据,也展示了AI与脑科学相互启发的研究范式。相关研究成果12月15日发表于《自然-人类行为》。
AI模型与脑损伤患者的“跨界实验”
“AI模型就像一个可控的‘数字实验室’,我们可以人为决定它是否学习语言,再观察不同学习经历是否导致‘看世界’方式的差异。”论文共同通讯作者、北京大学心理与认知科学学院和人工智能研究院助理教授朱毅鑫介绍说。
研究团队比较了两类AI模型:一类只学习过图像(纯视觉模型),另一类同时学习过图像和文字(视觉-语言模型)。随后,他们将这两类模型的内部表征与人类大脑视觉皮层在4组健康人群中的活动模式进行比对。结果显示,视觉-语言模型与人脑视觉皮层的活动模式更为相似,尤其集中在左半球——人类语言加工的主导区域。更令人惊讶的是,这一模式在使用手语的聋人中同样存在,说明语言经验,无论是口语还是手语,都在视觉加工中留下系统性印记。
“简单来说,被语言‘指导’过的AI视觉模型,看世界的方式更接近人脑。”论文共同第一作者、北京大学博士生陈昊扬说。
然而,AI模型与人脑的相似性并不能直接证明语言在其中起了因果作用。为此,团队将目光转向了一个特殊群体——脑卒中患者。脑卒中常会损伤连接语言区与视觉区的白质纤维通路,为科学家提供了一项“天然对照实验”。
论文共同通讯作者、山西医科大学教授王效春告诉《中国科学报》,在功能磁共振的任务态研究中,国外通常只有几个病人参与,而该研究从五六十名甚至更多患者中进行筛选,最终纳入33位有效患者。
王效春表示,患者的筛选标准极其苛刻,因为团队需要的不是普通的脑梗患者,而是“特定部位”受损的患者——连接通路断了,但视觉皮层本身完好。这就像在千万块“拼图”中寻找特定的那一块。
在研究过程中,脑卒中患者的数据获取极具挑战性。患者普遍存在注意力有限、体力不足的情况,要在狭窄的磁共振仪里保持静止20分钟以上十分困难。研究团队反复优化实验设计,使任务既能让患者理解,又能有效激活视觉皮层。同时,由于每位患者的病灶位置不同,团队需要手工标注病灶、一人一策定制分析方案,并进行严格数据筛选。“这不仅是科学研究,更是精细的手艺活。”王效春说。
研究结果表明,患者语言-视觉通路受损越严重,其视觉脑区活动越像“纯视觉模型”,越不像“视觉-语言模型”。当语言-视觉通路被破坏,语言对视觉的调节作用随之消失,成为“语言调节视觉”的直接证据。
这一现象提示语言与视觉之间的功能联系具有方向性,而不是仅反映共激活。“脑损伤患者的数据是无价的。他们让我们看到了语言通过与视觉皮层连接的神经通路调控视觉功能的必要性。”论文共同第一作者、山西医科大学实验师刘擘说。
AI与脑科学“相互赋能”的新模式
这一跨学科研究展示了AI与脑科学“相互赋能”的新模式。
传统脑科学通过各种手段记录神经活动,揭示大脑结构与功能的对应,但难以精确刻画这些神经活动“计算”的信息内容。AI模型的引入,使研究人员能够在一个可控的“数字化认知实验室”中模拟人脑的学习与表征过程,从而探查语言如何塑造感知。
此前已有研究使用AI对大脑建模,但往往停留在相关性层面。在这项研究中,脑损伤患者的参与为模型提供了罕见的因果验证。当大脑的语言-视觉通路被自然“切断”时,AI模型所预测的模式确实出现在人脑中。
论文共同通讯作者、北京大学心理与认知科学学院和人工智能研究院教授毕彦超说:“我们用AI模型理解大脑,而脑损伤患者的脑活动又反过来验证了模型的机制。这让AI与脑科学第一次真正闭合成一个实验循环,形成了脑科学研究的新范式。未来AI会越来越多地辅助脑科学研究,帮助我们探索大脑的奥秘、帮助更多的患者。”
朱毅鑫表示,这项研究的意义不仅在于用AI帮人们理解大脑,更在于大脑为未来AI的前沿探索与发展提供了方向。
“我们发现,语言在大脑视觉系统中扮演了组织和调节的角色。”朱毅鑫说,“这启发我们思考:真正的智能,也许需要像人脑一样,让语言去统筹感知、记忆和推理,而不是简单地并列处理多种模态。”
毕彦超进一步指出:“脑科学与AI不是两条平行线,而是一面镜子。我们借助AI理解人脑,也让人脑的认知实验研究为AI发展照亮方向。”
这项研究揭示了语言在跨模态信息整合中的神经机制,为AI的未来发展提供了重要启示。当AI具备类似人脑的“语言调控能力”,能够在视觉、语义与情境之间建立共通的语义坐标时,它才可能实现从“识别世界”到“理解世界”的跨越。
相关论文信息:
https://doi.org/10.1038/s41562-025-02357-5
《中国科学报》 (2025-12-17 第4版 综合)