作者:赵广立 来源:中国科学报 发布时间:2024/5/28 16:57:42
选择字号:
大模型让全球“黑客”狂欢!AI安全向何处去?

 

对网络安全而言,每一次新的信息技术浪潮都蕴含着巨大机会,同时也意味着巨大的挑战。这是因为,新技术必然带来新的安全问题和新的需求,而“黑客”往往能快一步利用新的漏洞并发起攻击,“防守方”则需要更快的响应和改变。

大模型技术亦如此。近日,在主题为“安全AI未来”的“C3安全大会·2024”上,亚信安全亚信安全高级副总裁陈奋提出,自ChatGPT发布以来,大模型驱动的人工智能技术已让全球“黑客”开始狂欢,网络攻击和网络犯罪升级。

大模型技术让“黑客”狂欢

陈奋的话不是危言耸听。

他介绍说,过去“黑客”制造一个攻击性病毒需要数月时间,现在通过AI工具几分钟就能生成,大大提高了攻击效率;而且大模型对编程语言的理解非常强,攻击者可以利用大模型迅速发现软件漏洞。同时,还有一波急功近利的“黑客”,利用AI算法批量深度伪造人脸视频,涌现出一波网络诈骗案例。同时还有攻击者已经盯上了AI算力基础设施和大模型平台——这些高价值的计算集群,有着巨大的诱惑力。

据不完全统计,去年短短一年时间,针对大模型的攻击手段已经涌现出10多种不同的类型。

亚信安全北极狐高级攻防实验室,在去年发现了一种“海绵样本攻击”。这种攻击手段并不复杂:向大模型发出一个特殊样本——替换掉正常的提示词,代之以复杂的语言内容,然后提交请求。如此一来,大语言模型需要60秒以上才能响应并返回回答。

对此,陈奋在采访中表示:“未来很多核心应用可能都是大模型驱动的AI原生应用,(在这样的攻击下)应用基本上等于瘫痪了。这还只是一个比较基础的攻击事例,未来针对大模型的密集攻击很快会到来。”

在C3安全大会上,中国工程院院士、清华大学智能产业研究院(AIR)院长张亚勤谈到了类似担忧。

“人工智能越来越强,这会带来很大的风险。”他提到,除了信息安全层面,大模型的不可解释性、黑箱问题、参数数据风险等也指向AI本身存在安全风险;此外,AI的可控性、可信性、边界等问题也迫使人们不得不特别审视AI的安全风险。

张亚勤表示,暂且搁置AI以假乱真的问题,它更大的风险在于对物理世界带来的影响。“想象一下,(未来)一个大模型可能会控制成千上万的车辆、无人机、机器人以及物联网设备——它们甚至有的直连于国家金融等各类核心体系,我们能否控制它?如果被坏人所利用呢?届时,安全将成最重要的议题。”

安全产业面临革新

有鉴于以大模型为代表的AI技术发展对信息安全的深刻影响,亚信安全的技术专家坚定认为,大模型技术必然带来网络安全产业“技术范式的革新”。

这体现在多个方面,涉及网络攻防角色、安全产品设计、保护对象的变化等。

陈奋认为,从现在起,网络安全攻防将从之前人与人之间的对抗,升级到AI和AI之间的对抗。“只有AI驱动的网络安全防护检测技术才能识别发轫于AI的黑客攻击技术。”他说,最典型的案例就是深度伪造的鉴别,“人眼肯定不如AI”。

类似地,未来网络安全产品的设计也需要大模型助一臂之力。陈奋提到,从风险检测到产品体验、从风控到安全运营,大模型技术将推动网络安全产品的全面革新,“如果没有大模型的加持,可能就无法站在最有竞争力的舞台上”。

保护对象也将发生变化。正如此前提到的,如果一个企业或实体的核心应用是通过大模型驱动的,那么未来企业资产维护就从传统的资产演进为保护企业的AI中心。

类似的还有智能家居安全。随着智能网联汽车、智能家居等的普及,家庭信息安全也将从保护个别终端设备演进为保护家庭的“AI中心”。

“全球都在行动”

在大模型技术发展给网络安全行业带来“范式革新”的背景下,没有人可以“躺平”。2023年,谷歌就开发并推出了网络安全专有大模型“Sec-PaLM”,并将其全线接入谷歌云;今年4月,微软公司宣告Security Copilot(安保副驾驶)正式商用,通过将大语言模型和安全专用模型相结合,为企业提供信息安全助手。

安全行业巨头更加不会坐失良机。作为行业“龙头”,美国网络安全公司Palo Alto、CrowdStrike等已经在各自的安全运营平台集成了大模型的技术能力,并持续深化智能安全产品开发。乘着大模型技术“东风”,Palo Alto已成为全球首家市值突破千亿美元的安全公司;CrowdStrike也不逊色,市值时隔不到一年增长超一倍,正逼近千亿美元。

不仅如此,在全球最大的网络安全盛会“RSA Conference”(简写作RSAC)最具影响力和人气的活动——创新沙盒(Innovation Sandbox)大赛上,连续两届(RSAC 2023、RSAC 2024)冠军都花落围绕“AI安全”做文章的初创企业。

2023年,主打AI攻防并“提供对机器学习资产健康与安全可见性”的AI安全初创公司HiddenLayer夺魁,创造了创新沙盒大赛将桂冠首次颁给AI安全的历史;RSAC 2024创新沙盒大赛的冠军得主是Reality Defender,该创业公司主要提供检测和对抗生成式人工智能相关虚假信息(深度伪造的图文及音视频等)和认知操控威胁的解决方案。

AI安全连抢风头,业内专家认为,这预示着网络安全正在迎来一场重大范式转移,“AI For Security和Security For AI”正成为网络安全的主战场。

这一风潮也迅速吹进国内。亚信安全调查显示,中国80%以上的网络安全公司都在将大模型技术集成到网络安全产品中,30%的公司已经开始做大模型安全的研究,并出现了一波AI安全创业的浪潮。

亚信安全也将“AI For Security和Security For AI”作为智能新时代的战略布局,并积极拥抱大模型。在C3 安全大会上,亚信安全发布网络安全垂域大模型“信立方”,通过将安全技术与AI技术结合,实现网安领域的攻击面智能检测、恶意代码及威胁情报智能分析、告警预判等功能应用。此外,亚信安全还大量招募AI人才、与业内优秀的大模型公司如“智谱AI”等合作,以引进、消化、吸收及转化一流的AI能力。

AI风险治理不是单纯科学或政策问题

对于AI技术发展引发的安全风险问题,张亚勤表示他近两年来“个人花了很多时间思考并做一些事情”,包括专门成立一个20人左右的“人工智能发展与治理专题研讨会”——参与研讨的包括三位“图灵奖”获得者和两位深度学习领域的开创者。他们每过一段时间就坐在一起研讨相关主题:AI的发展趋势和风险治理。

“我们认为,AI技术发展带来的安全和风险治理不仅是政策制定的问题,也不单纯是科学问题、技术问题,需要政策制定者和科研工作者一起合作,将AI发展和治理融合起来看待,才能有健康的发展。”张亚勤说。

在充分研讨的基础上,张亚勤提出了5个长期建议。

一是要对AI大模型分级管理,如万亿乃至更多参数的前沿大模型的风险相对较高,应加强监管;对应用在智能驾驶、生物系统等不同领域的大模型也要分级监管。

二是AI生成内容要有清晰标识,包括AI生成的数字人、图文、音视频等,要像“广告”标识一样醒目标注,以方便甄别。

三是要设立物理映射机制或系统。无人驾驶汽车、智能机器人等智能体,应明确其作为“从属物”映射到具体管理人或管理机构等法定实体,相关智能体出现问题,应追溯其从属的主体责任。他提出,现在就应着手制定相关法规。

四是要加大对大模型风险治理研究的投入。他建议政府或企业在开发前沿大模型过程中要拿出10%~30%的投入投放在安全风险相关的技术和产品开发方面。张亚勤说:“开始30%比较难,可以先拿出10%做这件事。”

五是要制定人工智能应用的红线。他提出,AI技术本身可能没有边界,但在使用大模型时,需要制定一些边界。例如应规范智能数字人不能无限制地复制,大模型技术用于金融、军事等核心系统设施时要设立清晰红线等。

“这不是一家企业的事、一个国家的事,而是需要全球政府和企业精诚合作,面对风险、解决问题。”张亚勤最后说道。

 

 
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
中国科学家首次发现“无摩擦的冰” 冰表面长啥样?原子级分辨图像揭晓答案
北方中纬高频雷达网发布首批科学探测结果 “双星计划”:开启中国空间科学新纪元
>>更多
 
一周新闻排行
 
编辑部推荐博文