作者:刘永谋 来源: 中国科学报 发布时间:2025-2-24
选择字号:
警惕AI“幻觉”带来的安全风险

 

■刘永谋

有媒体报道,经调查,近日引发广泛关注和讨论的“截至2024年末,‘80后’死亡率突破5.2%,相当于每20个‘80后’中就有1人已经去世”“‘80后’的死亡率已经超过‘70后’”等消息,与真实情况不符。类似虚假数据很可能是与大模型产品对话的结果。

大模型产品之所以会输出假数据,是因为生成式人工智能(AI)始终存在着“AI幻觉”问题,可能对事实性信息进行胡编乱造。

从原理上说,AI幻觉源于统计学上的“随机鹦鹉”现象,所有大模型都不可能完全避免,而且推理能力越强的大模型产品,如DeepSeek,越可能出现AI幻觉。据报道,AI行业权威的Vectara HHEM人工智能幻觉测试显示,DeepSeek-R1的幻觉率为14.3%,远高于行业平均水平。

不过,这种现象可以尽力消除,也应该尽力消除。如果大模型只用作虚构性的娱乐工具,写写“小作文”、帮助调节情绪,出现AI幻觉似乎问题不大。可是,如果将之作为高效劳动工具和严肃的信息来源,AI幻觉问题处理不好就会存在风险,甚至是致命危险。比如,上述AI虚假信息的传播导致大范围的信息混乱,煽动了某种社会负面情绪的传播,在一定程度上触发了信息安全问题。毫不夸张地说,解决AI幻觉问题事关信息安全,是生成式AI发展的基础性和前提性问题,任何一种大模型应用都无法绕过该问题。

当然,在处理事实性问题方面,大模型并非一点作用也没有。比如,目前使用DeepSeek收集学术资料,虽然常会出现将作者与作品张冠李戴、杜撰子虚乌有的文献与作者,以及胡乱进行内容描述的情况,但是仅作为资料收集的框架性参考和提示,它还是能发挥一定辅助作用的。总的来说,在目前阶段,完全相信DeepSeek提供的数据信息,不仅无法切实提高工作效率,反而会导致矛盾、混乱和错误。

应该说,一个数字素养高的人很可能会避开AI虚假信息的“坑”,但当前很多人数字素养不高,容易迷信大模型产品。

2025年春节以来,DeepSeek由于在中文问答方面的优异表现,受到中文大模型用户的追捧,同时带动了其他中文大模型产品,如文小言、豆包、Kimi、腾讯元宝的下载。即便不做专业技术测评,用户也可以直观感受到DeepSeek强大的推理能力可能超过很多忽视逻辑推理能力训练的普通人。此外,DeepSeek令人惊艳之处还有中文表述上的文采,很多人评价其“辞藻华丽”“情绪给到位”“人情味很浓”。加上AI创新竞争的国际环境,DeepSeek几乎被很多人盲目推崇,不许有任何质疑,哪怕是善意的质疑。这属于典型的“AI迷信”现象。

比如,最近网上出现不少用DeepSeek评价学者、著作、论文和某项研究水平的帖子,声称它绝对客观公正,可以杜绝人情、关系和权力等因素的干扰。这些人崇拜AI,大模型至上,将之凌驾于人的判断之上。事实上,国际通行的学术评议方式是同行评议,也就是由专业小同行进行学术评价。从根本上说,大模型产品不理解人类作品的含义,只是通过搜索、学习、上下文概率排序和模式识别等技术手段生成内容,本质上是网上信息、数据和内容的“镜子”或“平均值”。显然,网上内容大部分不专业、不精确、不客观,如此得到的AI生成内容(AIGC)怎么可以取代同行评议呢?因此,完全以幻觉严重的AI产品作为研究根据,在学术上万万不行。

此外,网上泛滥的虚假信息,让AI幻觉雪上加霜,因为AI根本没有真假的概念,更没有输出内容与真实世界必须相符合的要求。

长久以来,网络水军肆虐,各种谣言、阴谋论层出不穷,到处是“键盘侠”,上来就站队、开怼、开骂,毫无根据地“灌水”,完全没有耐心也不想搞清楚真相是什么,“干就完了”。于是,网上的消息不断反转,时常比肥皂剧的剧情还离谱。现在有了生成式AI工具,开启不拿工资、24小时不眠不休的AI水军模式,真相更加难以寻觅。此种状况,有人总结为“后真相状况”,即网络世界越来越没有真相,很多人越来越忽视真相,思考问题、处理问题、评价问题越来越诉诸个人情绪、成见甚至迷信。

AI幻觉严重的大模型产品如果接入新闻、自媒体,大量假消息、假信息会迅速生成。再加上开放和便捷的互联网传输,以及社交媒体的去中心化、反权威性,肯定会大大加剧后真相时代AI虚假信息泛滥。使用大模型辅助生成各种文本的学生、文员和策划人员,如果长期使用AI幻觉严重的大模型产品,则会逐渐丧失判断力,甚至觉得只要形式精致、表述华丽就可以,是真是假不重要。

当事实性输出有问题时,不管AI工具的推理能力多强大,以错误事实为基础作决策都是非常危险的。当然,不可否认会有“瞎猫碰到死耗子”的情况出现,但概率微乎其微,因为科学决策以准确而完善的信息收集为前提。有了决策对象各方面的信息,才能提出有针对性的备选方案,决策者才能从中挑选适合国情、社情的决策方案。因此,最近多见诸新闻报道的大模型产品用于政务活动,首先要认真评估产品的除幻性能才行。

那么,如何防范AI幻觉可能导致的信息安全问题?现阶段首要责任在大模型企业。首先,它们必须投入人力、财力、物力压缩幻觉率,使之达到安全阈值。其次,要提高大模型产品使用人员的数字素养,不迷信AI,牢记以AI辅助劳动的“辅助”为主,让AI为人所用,严防AI反客为主。再次,对于一些专业领域的大模型运用,文本生成精度要有特殊标准,接入前要进行严格而有针对性的幻觉率评估,切不可操之过急。最后,从长远来看,大模型信息安全问题值得各方合作进行深入而细致的跨学科研究,形成系统化防范方案,有步骤、有预案、有章法地推进大模型产品在各行各业的深度应用。

(作者系中国人民大学吴玉章讲席教授)

《中国科学报》 (2025-02-24 第3版 综合)
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
木荷种质资源库确定为国家林草种质资源库 无患子染色体级别高质量基因组组装成功
研究解析全新三维小孔磷铝分子筛 研究发现可延缓帕金森病的原始创新靶点
>>更多
 
一周新闻排行
 
编辑部推荐博文