近日，OpenAI推出了最新的人工智能（AI）系统——Sora，它可以将文本描述转换为极其逼真的视频。

该视频生成模型在提振人们推进AI技术发展积极性的同时，引发了人们对AI深度伪造视频可能在全球关键选举年加剧错误信息和虚假信息传播的担忧。

Sora目前可以通过单独的文本指令或文本与图像相结合的指令来创建长达60秒的视频，比如根据“一位时尚女性走在充满温暖霓虹灯和动画城市标志的东京街头”这一文本生成视频，还有一只狗在雪地里嬉戏、车辆在道路上行驶等例子，以及奇幻场景——鲨鱼在城市中的摩天大楼间穿梭。

“相信与生成式AI的其他技术一样，利用文本生成视频的技术会快速提升，这也意味着我们距离难以区分真伪的时代越来越近。”美国加利福尼亚大学伯克利分校的Hany Farid表示，如果这项视频生成技术与AI驱动的语音克隆相结合，将在深度伪造人们从未说和做过的事情方面开辟一条新战线。

据悉，为了更逼真，Sora结合了两种不同的AI技术。一种是类似于DALL-E等AI图像生成系统使用的扩散模型。另一种是被称为“转换器架构”的用于将顺序数据上下文拼接在一起的技术，大型语言模型就是使用转换器架构将单词组装成可理解的句子的。

不过，目前Sora生成的视频中仍然有很多错误，比如一个行走的人的左右腿交换位置、一把椅子随意漂浮在半空中、一块被咬过的饼干却没有咬痕等。这表明目前可以检测鉴别出深度伪造视频。但专家表示，这仍然能够欺骗一般人，视频不是一定要完美才可信，因为许多人仍然没有意识到视频可以像图片一样被操纵。

为此，OpenAI改善模型安全性的“红队网络”的专家们对Sora进行了测试，他们试图打破该模型的保护措施，以评估其被滥用的可能性。

这项测试至关重要，因为一些人可能会通过生成虚假视频来骚扰他人，甚至影响政治选举。

OpenAI表示，在Sora作为产品向公众开放前，会采取几个重要的安全措施。例如，他们已经使用了旨在防止模型生成对极端暴力、性内容、真实政客或名人等描述的自动化流程。