在4月29日于福州举行的第八届数字中国建设峰会数字经济论坛上，全国工商联副主席、奇安信集团董事长齐向东受邀做主题演讲。演讲中他分享的一组数字显示，目前AI应用持续爆发，背后的安全风险也不容小觑。

齐向东。奇安信 供图

  ?

“奇安信资产测绘鹰图平台监测发现，8971个Ollama大模型服务器中，有6449个活跃服务器，其中近九成都在‘裸奔’。”齐向东说，这种情况下，任何人不需要任何认证就可随意调用、在未经授权的情况下访问服务，甚至可以发送指令删除所部署的大模型文件，进而导致与大模型关联的应用业务中断。

齐向东表示，当前大模型融通百业，“裸奔”上线极有可能引发业务停摆的链式危机：“当大模型深度融入智慧城市、工控系统、智慧政务等关键领域时，会将风险串联成网，一旦被攻击会‘牵一发动全身’。”

此外，他提出，目前AI应用还面临着精华小数据被窃取、泄露、篡改的风险。同时，对AI辅助决策和判断过度依赖，也会引发难以预料的结果。

“从外部攻击视角看，黑客可以通过漏洞利用、数据投毒等方式，干扰大模型的决策，披着大模型的外衣作恶。从内部运营视角看，如果内部员工在更新知识库时，引入错误信息会污染模型学习环境，使其输出错误结论。”齐向东说，对AI过度依赖，一旦大模型决策失准会引发“蝴蝶效应”。

面对大模型应用的安全挑战，齐向东提出要把握住“五个关键”，筑牢人工智能的安全底线，为千行百业的智能化吃下一颗“定心丸”。

一是构建大模型安全“红域”，形成多维度边界隔离。所谓安全“红域”，即将大模型应用涉及的数据、算力、平台、应用以及域内管理的终端及人员划归到专属安全空间中进行防护，通过边界隔离，有效为大模型应用落地拦攻击、清风险。

二是加强权限管控，以用户身份为新边界开展网络和数据安全防护。通过堡垒机、“零信任”等技术措施，对大模型开发工程师、训练微调工程师、数据标注员等特殊身份人员以及大模型开发、训练、运维等集权或高敏终端，进行增强式安全管控，确保合适的人在合适的时间、以合适的方式，访问合适的数据，杜绝“内鬼”隐患。

三是严把内容关，构建贯穿大模型全生命周期的内容安全治理机制。他提出要通过强化监测审计，实现对大模型的核心数据管控。包括对用户使用大模型过程中的不良内容进行监测与审计、及时拦截越权内容输出，并对违规不良内容进行过滤等。

四是以实战为导向加强大模型应用安全评估。他建议应用方构建纵深防御与监测技术能力，实现对边界控制、终端管控、运维管控、大模型合规输入等多个维度的能力全覆盖，降低大模型应用的数据泄露风险与业务中断风险。

五是在闭环运营上做到对安全威胁的实时监测和应急处置。他表示，面对人工智能落地应用带来的多重安全挑战，要用AI对抗AI，增补面向大模型攻击及异常行为的检测手段，实时监测针对大模型的攻击行为，并实现高效拦截，形成安全运营的闭环。

“相信把握好这五个关键，一定能够确保人工智能大模型应用安全落地，发挥出驱动数字经济发展的正向价值。”齐向东表示。