【编者按】今年 5 月，初创公司 Inflection AI 开发了一个人类情感的 AI 按摩师——Pi。作为一款基于生成式 AI 技术开发的产品，与 ChatGPT 等聊天机器人不同的是，它的主要应用领域更为特定，专注于在聊天情境中与用户进行对话。Pi 的目标是，成为用户在聊天时可以亲近的“朋友”。

两个月后，Inflection AI 在新一轮融资中筹集到了 13 亿美元，估值一跃突破 40 亿美元，成为了估值仅次于 OpenAI 的 AI 初创公司。除了微软、英伟达领投之外，还包括微软创始人 Bill Gates、谷歌前 CEO Eric Schmidt、LinkedIn 联合创始人 Reid Hoffman 等个人投资者。

另外，这家初创公司也有着耀眼的创始团队，包括领英创始人 Reid Hoffman、DeepMind（现与 Google Brain 一起合并为 Google DeepMind）联合创始人 Mustafa Suleyman 和前 DeepMind AI 专家 Karén Simonyan。

其中，Mustafa 在即将出版的《即将到来的浪潮》（The Coming Wave）一书中谈到了 AI 以及其他技术可能逐渐主导各个领域，并有可能对民族国家的结构构成潜在威胁。

近日，Mustafa 接受了美国数字媒体 WIRED 主编 Gideon Lichfield 和高级作家 Lauren Goode 的采访，就该书中的主要观点和其他 AI 领域重点问题展开了深度讨论。核心观点如下：

Mustafa 预测，AI 的下一波浪潮将会是人类与 AI 进行对话的浪潮，这将成为主要的控制机制。

个人 AI 更接近于个人助理，它会根据你交给它的任务，在正确的时间调用正确的资源。它具有通用性的元素，但它的设计并不是以通用性作为首要原则和主要的设计目标。

迄今为止，尚未出现一个令人信服的理论框架，使 Mustafa 对开发具备显著递归自我改进能力的 AGI 抱有信心。

狭窄的 AI 可能更安全，尽管并不能完全确保安全性。相比之下，更通用的 AI 更有可能表现出自主性，但其安全性可能相对较低。

拥有一名私人助理可能会让你成为一个更聪明、更有生产力的人。

大约 15-20 年后，非国家实体会变得非常强大，其中一些团体都有意愿和动机造成严重伤害。

区分出内容的真实创作者变得愈发困难，唯一真正有效的监管方式就是让科技平台将其视作一项规则。

在发布新产品时，我们必须非常谨慎，因为那时的世界可能尚未准备好应对这些变革。

遏制（containment）将是下一个 10 年的主题。

学术头条在不改变原文大意的情况下，做了简单的编译。内容如下：

Gideon Lichfield：Mustafa Suleyman，欢迎来到 Have a Nice Future。

Mustafa Suleyman：你好，Gideon，很高兴来到这里。

Lauren Goode：欢迎你的到来。

Mustafa Suleyman：嘿，Lauren，谢谢你邀请我。

Lauren Goode：我实际上问过 Pi，当我知道你要来时，我打开了它，我问它我应该在这个播客上问你什么。它说：“哦，这太令人兴奋了！Mustafa Suleyman 是一位了不起的思想家和创新者。”

Mustafa Suleyman：天啊。

Lauren Goode：“他的书肯定充满了见解。我能问一下你有什么类型的播客以及你想从采访中获得什么吗？”我从中感觉到数据集可能有点偏差。你是怎么想的？

Mustafa Suleyman：你应该重新翻阅，看看是否有不同。可能会带着同样的热情，但我向你保证，这绝对不是我们人工编写的。

Lauren Goode：但现在有很多个性化的 AI 聊天机器人助手。自从 OpenAI 在 2022 年底发布聊天机器人以来，它们一直很火爆。你为什么决定使用聊天机器人？

Mustafa Suleyman：我相信未来的对话将会有一个全新的界面。如果你现在审视你的计算机甚至手机，你会在底部导航栏上看到许多按钮和图标，它们构成了一个五光十色的彩色世界。然而，这实际上可能是一个令人不知所措的体验。这是因为这些设计并没有以一种统一、清晰、以人为本的界面为首要设计原则。它们旨在满足人类与计算机之间信息传递的双重需求。我预测下一波浪潮将会是你与 AI 进行对话的浪潮，这将成为主要的控制机制。

Gideon Lichfield：大约 12 年前，你与其他人共同创立了 DeepMind。与 OpenAI 一样，DeepMind 的使命是以道德和安全的方式开发通用人工智能（AGI）。然而，12 年后，你创立了 Inflection AI，并表示你不再专注于 AGI 的发展。我想了解一下，是什么原因导致了这种变化？你的目标又是什么？

Mustafa Suleyman：我们于 2010 年创立了 DeepMind，其宗旨是构建安全且符合道德的通用 AI，这是一个能够在各种环境中良好运行的系统。这就是 DeepMind 的使命，相信我们必须从头开始学习一切。现在，在 Inflection，我们正在开发一种名为 Pi 的 AI，它代表个人智能，它更狭隘地专注于成为个人 AI，与学习任何具有挑战性的专业技能 AI 完全不同。在我们看来，个人 AI 更接近于个人助理。它就像参谋长，是朋友、知己、支持者，它会根据你交给它的任务，在正确的时间调用正确的资源。所以它具有通用性的元素，但它的设计并不是以通用性作为首要原则和主要的设计目标。

Gideon Lichfield：你是否认为 AGI 具有危险性？这是否是你决定不继续追求 AGI 的原因，或者你是否认为实现 AGI 是不可能的？

Mustafa Suleyman：在我看来，迄今为止，尚未出现一个令人信服的理论框架，使我对开发具备显著递归自我改进能力的 AGI 持有信心。

Lauren Goode：你关于 AGI 的观点，以及尚未经过验证甚至缺乏理论框架的影响，对于正在构建的模型类型有何影响？

Mustafa Suleyman：我认同这种思考方式。狭窄的 AI 可能更安全，尽管并不能完全确保安全性。相比之下，更通用的 AI 更有可能表现出自主性，但其安全性可能相对较低。我们的 AI 是一种个人助手型的 AI，主要设计用于优质的对话，并随着时间的推移逐渐学会为用户处理事务。因此，它将能够使用 API，但这并不意味着你可以像引导一种语言模型一样引导它，因为它与传统的语言模型不同。我们的 AI 是一种不同的实体，而 GPT 等语言模型则有其独特的特点。

Gideon Lichfield：有什么不同？

Mustafa Suleyman：构建 AI（大模型）的第一个阶段是训练一个大型语言模型。第二阶段被称为微调，即尝试对功能范围广泛的预训练模型进行调整或限制，以使其能够执行特定任务。对于我们来说，这个任务是对话、教学、知识共享、娱乐和乐趣等等，但对于其他公司来说，他们实际上希望将其作为 API 公开，这样你就可以访问具有所有这些其他功能的预训练模型。我认为这就是安全挑战变得更加困难的地方。

Gideon Lichfield：在不久的将来，你所描述的不久的将来，每个人都有一个个人 AI 助理或参谋长，正如你所说的那样，它可以为用户完成任务，也许它可以预订旅行或组织旅行或为他们做一些研究。

Lauren Goode：它很快就会为我们主持我们的播客，Gideon。

Gideon Lichfield：嗯，是的，这是一个好问题。它会取代我们吗？它会取代我们的生产商吗？但更重要的是，我认为在这个我们都有 AI 助手的世界里，你建议这可能有助于人们摆脱贫困，创造新的经济机会。20 年前，没有人拥有智能手机，很难想象拥有智能手机会如何改变世界，而今天，几乎所有人都有电脑，我们可以做一些过去难以想象的事情。但在某些基本结构层面，世界并没有什么不同，不平等和冲突依然存在。那么，每个人都有 AI 助手的世界与今天有何不同呢？

Mustafa Suleyman：是的，你说得对。我不认为我会同意过去 20 年来世界在结构上没有任何变化。虽然并非所有变化都应该归功于智能手机，但毫无疑问，可以公平地说，智能手机让我们更聪明，使我们能够获取信息，与新朋友建立联系，许多重要的业务都依赖于这种硬件。所以，这一点显而易见。

Gideon Lichfield：它使我们容易受到错误信息的影响，也可能导致我们花费过多时间在不一定有益的娱乐活动上，所以我认为你可以提出一些反驳。

Lauren Goode：让我们驾驶车辆变得更差。

Mustafa Suleyman：当然。看，我绝不是技术天真的乐观主义者，因此无疑存在着巨大的缺点和危害。然而，在我看来，个人 AI 与智能手机的涌现没有太大不同。智能手机本质上已将我们人类能够发明的最强大移动设备普及到超过十亿人的手中，这意味着无论你的财富状况如何，无论你是亿万富翁还是领取固定工资，我们都可以使用同等尖端的硬件。我坚信从一开始就明确地宣示我们正处在这个轨迹上，这一点非常重要，我对此感到难以置信。

Gideon Lichfield：我认为人们同样可以提出这样的论点：一项新技术既能唤起我们最糟糕的冲动，也能激发我们最美好的冲动。因此，有人可能会充满自信地说：“AI 助手的缺点和优点一样多，就像智能手机一样。”

Mustafa Suleyman：这是访问网络信息的另一面。如今，我们将能够利用功能强大、具有说服力的教学 AI，这些 AI 可能会帮助我们实现各种阴暗目的。这是一个我们不得不应对的问题，它可能会引发一些不良影响，这毫无疑问，这是我们必须面对的现实。

Lauren Goode：你能够区分“这是一个用于任务完成或更轻松获取信息的个人 AI”与“这将有助于解决贫困”之间的界限吗？实际上，这是如何运作的呢？我所指的个人 AI，也就是 Pi，作为你的聊天机器人，刚刚在这个播客中为你呈现了一个有趣的幽默插话，同时也可以帮助消除贫困。

Mustafa Suleyman：这是一个很难回答的问题。我没有把这两者放在一起，我没有说它会解决贫困或解决世界饥饿问题。这不是 Pi 的设计目的。Pi 是一个个人 AI，可以帮助你提高工作效率。其他人会将 AI 的进步用于各种事物，包括涡轮增压科学。所以在科学方面，我完全可以认为这是一个工具，可以帮助你更有效地筛选论文，帮助你综合最新进展，帮助你存储和记录你的所有见解，并帮助你成为一个更高效的研究员。我的意思是，思考这个问题的方式是，我们正在将互联网上提供的知识以个性化的形式压缩成易于消化的知识。现在有大量的信息可以以高度个性化的方式复制，我认为这将增强人们的智力，而这本身将使他们更加富有成效。总的来说，我认为拥有一名私人助理可能会让你成为一个更聪明、更有生产力的人。

Gideon Lichfield：你正在 Inflection 公司从事与 AI 紧密相关的工作，同时你即将出版一本书，该书在开篇探讨了 AI 的近期未来，并最终预测了国家可能面临的崩溃。你是否可以为我们概述一下这个论点呢？

Mustafa Suleyman：随着 AI 的迅速发展，过去 10 年中这些模型的规模每年增长了 10 倍。在接下来的 5 年，我们的发展轨迹将每年增长 10 倍，这一趋势非常可预测且有很大的可能性。

Lauren Goode：这本书的前提是我们还没有为此做好准备？

Mustafa Suleyman：我们绝对还没有准备好，因为这种技术的能力正在不断缩小，变得更加高效，而且在发明史上，任何有价值的技术往往会变得更加廉价、更加紧凑。因此，它的应用将呈指数级增长。因此，未来 10 年的趋势是权力的分散。我认为这将对民族国家构成真正的威胁，与过去任何一个时期我们所面临的威胁都不同。

Lauren Goode：你认为自己是一个有权力的人吗？

Mustafa Suleyman：是的。

Lauren Goode：是什么权力？

Mustafa Suleyman：嗯，我如今有很多财富，在 2014 年成功出售了自己的公司，现在创办了一家新公司。我也受过良好的教育。尽管我小时候来自一个贫困的工人阶级移民家庭，没有得到过什么教育，但如今我确实已经跻身于社会的特权阶层。

Lauren Goode：因此，你处于一个独特的位置，因为你的书中指出了这种权力不平衡，并预测了即将到来的浪潮将带来这些情况。

Mustafa Suleyman：没错。

Lauren Goode：但你本身是一个强有力的人，最终可以——就像你可以微调你自己正在构建的AI 参数一样。

Mustafa Suleyman：没错。我认为遏制（containment）是下一个 10 年的主题。

Gideon Lichfield：好的，让我们在书中探讨一下“遏制”的概念，因为这是一个从冷战时期借用的术语。在那个时候，它通常指的是控制武器扩散或限制国家行动。但如今这个词已经被应用于可以传播到数十亿人手中的技术领域，显然具有截然不同的意义。你认为当今遏制这些技术的本质是什么？

Mustafa Suleyman：（竞争）游戏结束后，我们会对一项技术进行全面遏制，然而并不存在完美的状态，因为这些技术将继续变得更加廉价、更加易于使用，对它们的需求将不断增加。与以往任何其他技术不同，这些技术是万能的，本质上是通用的，它们可以应用于各个领域，以及介于两者之间的任何事物。

因此，试图划定和定义哪些技术应受限制，目前政府实际上无法进行实时评估。这就是为什么我一直支持并参与白宫的自愿承诺。因此，我认为这是积极和预防性的例子，鼓励我们对我们可以采取的行动，特别是针对最大规模的模型，进行自我限制。因此，我们受到了这个门槛的限制，最大规模的模型必须在训练和部署方式上更加审慎、专注和预防性地进行额外的考虑。

Lauren Goode：那么你如何简明扼要地表达这个问题呢？你可能会说，“我们刚刚签署了一项承诺，自愿寻求创建安全防护措施，但今年我们正在训练世界上最大的大型语言模型。” 这听起来可能有些啰嗦，世界上最大的大型语言模型。实际上，这意味着什么？当像你公司这样的团体签署了一份承诺，表示“我们将研究原始信息等问题，然后围绕此制定解决方案”，或者“我们将确保训练数据不带有偏见”，从日常角度看，你的团队和工程师们实际上在做些什么，以确保这更加安全呢？

Mustafa Suleyman：我们希望了解模型所使用的训练数据，并且关于如何微调和限制这些模型的能力，我们正在采取哪些方法和过程？同时，谁有权力对这一过程进行审计？因此，在这种情况下，我们的策略是尽早采纳预防原则，以确保我们养成这一习惯，以便在未来 5-10 年内不断地实施这一原则，以应对变化。

Gideon Lichfield：如果我是个愤世嫉俗的人，当然我绝不是这样的......

Mustafa Suleyman：当然不是。

Lauren Goode：不是吧，Gideon。

Gideon Lichfield：我或许可以表达为，你和其他 AI 公司似乎在为自己设定相当有利的条件，因为你们可以向政府提出：“政府，实际上你很难充分了解这些技术以进行监管，所以我们自愿采取一些防护措施，我们将引领讨论并决定预防原则应当多么谨慎。” 在这种情况下，我想要了解的是，因为私营部门拥有设定有益于社会实际标准的专业知识，那么他们主导这一对话的动机是什么？

Mustafa Suleyman：如果我们能够通过正式的法规实现这一目标，我认为那将是一个良好的开端。然而，你说得对，我同意好的法规应该汇集来自多元化人群的意见，反映他们的关切，并借助广泛的政治过程得出。目前的局势似乎被冷漠、愤怒和两极分化所占据。然而，现在正是一个关键时刻，我认为我们还有足够的时间，还有很多年来努力实现这一目标。我相信在接下来的 10 年里，我们有足够的时间进行广泛的讨论。在某种程度上，这是我在书中努力传达的信息，也是其他人在自愿承诺方面所努力的一部分。

Gideon Lichfield：有哪些情景是你预测到的，而大多数人可能甚至无法想象的？如果我们无法将这些技术控制在适当范围内，可能会发生什么？

Mustafa Suleyman：嗯，我同意，大约 15-20 年后，可以想象非国家实体会变得非常强大。其中一些团体都有意愿和动机造成严重伤害。因此，如果引发和进行冲突的门槛迅速降低，那么国家将面临一个严峻问题，即如何继续保护国界的完整性和国家的正常运作？如果越来越少的人能够行使类似国家的权力，那确实是一个即将到来的风险。

Lauren Goode：我对你在 Inflection 方面的做法非常感兴趣，考虑到你的背景，你曾在政治领域工作，从事过社会公益项目，当然还共同创办了 DeepMind 并在谷歌工作过。此外，你还写了一本书，似乎怀有外交意图，坚信合作的力量。那么，我想了解一下，为什么你选择成为一名创业公司的创始人呢？

Mustafa Suleyman：我在创造事物的过程中是最开心的。事实上，我喜欢深入了解事物的运作原理，而我对微观层面的探索特别感兴趣。我欣赏从微观到宏观的全景，但我不能只停留在宏观层面。每天，我都沉浸在创造的过程中，我认为这就是我作为创业家的一面。我热爱思考“明天我们将发布什么？我们将创造什么？我们要构建什么？”如果我必须在这两者之间做出选择，我会选择创造事物，因为那是让我感到最幸福的事情，也是我最喜欢做的事情。

Lauren Goode：那你认为在创业公司领域之外工作，听起来会很辛苦吗？你可能不会从中获得太多的满足感。

Mustafa Suleyman：太慢了。

Lauren Goode：…...看到你的努力的影响。

Mustafa Suleyman：我需要反馈。我需要衡量。

Lauren Goode：你需要反馈。你可以成为一名记者。我们必须一直发布内容，而且我们在网上获得了很多反馈。我可以为你读一些评论。

Mustafa Suleyman：听到这个我很抱歉。希望我们的 AI 能对你友好，支持你的工作，打击所有在推特上的恶意评论者。

Lauren Goode：要明确一下，我们在《连线》的报道中并没有使用 AI。

Mustafa Suleyman：还没有。

Lauren Goode：哦，天哪。这是另一个完全不同的播客。

Gideon Lichfield：但也许我们将会用 Pi 来拯救我们免受推特上的恶意评论，就像 Mustafa 所说的那样。

Lauren Goode：也许。

Gideon Lichfield：对不起。在 X 上，在 X 上。不是在推特上，不再是。

Lauren Goode：对，没错。

Mustafa Suleyman：哦，天啊。

Gideon Lichfield：你离开谷歌创办了 Inflection，并对谷歌的缓慢进程和官僚主义表达不满。你说他们本可以在 OpenAI 发布 ChatGPT 之前的一年或更长时间发布自己的大型语言模型。这似乎与你在书中表达的谨慎态度有些不符，你在书中提到：一方面，我们在谷歌需要更快速的进展，我渴望能够每天都推出新的成果；另一方面，我们在发布新产品时必须非常谨慎，因为当时的世界可能尚未准备好应对这些变革。”

Mustafa Suleyman：是的。我可以从与 LaMDA 的每日互动中看出，它在任何重大方面都没有造成实质性的伤害，就像 GPT-4 一样，我认为你很难断言它造成了一些实质性的伤害。

Gideon Lichfield：还没有。

Lauren Goode：说得好，Gideon。

Mustafa Suleyman：也许是这样，尽管我持怀疑态度。这个模型已经被数十亿人使用过了，或许会有一些迹象。我们或许需要等待几年，未来会揭示更多。我认为，对于这样规模的模型，引发重大问题的可能性相对较低，当时对我来说这一点是相当明显的。我认为最佳的操作方式是以合理的步伐推出产品。这并不意味着要轻率行事，但在获得反馈、评估影响并观察人们使用模型的方式后，进行仔细且反复的调整是至关重要的。

Gideon Lichfield：我想咨询一下关于你提出的“现代图灵测试”的观点。你提出我们需要一种新的方法来评估智能，而不仅仅是那种听起来像人类过时的想法。你所举的一个机器能够通过图灵测试的例子是，你可以对它说：“从一小笔钱开始，帮我赚一百万美元。”然后它会着手实施。我想了解一下，为什么你选择将这个例子作为衡量智能的标准呢？

Mustafa Suleyman：在我看来，现代版的图灵测试是一种通过赋予 AI 一个相当抽象的目标来评估其智能水平的方法。我选择了“创造一个产品，将其制造出来，进行市场营销和推广，然后努力赚取一百万美元”的示例。我认为在最初的阶段，现代图灵测试可能需要相当多的人工干预，或许需要三四次甚至五次人类介入，以完成合同签署、银行账户开设，以及涉及法律和金融审批等方面的任务。然而，我相信在许多其他方面，比如与制造商进行电子邮件沟通、采用分销模式、通过创作新的营销内容来优化市场营销等，我们在单独的组成部分已经接近实现了。当前的挑战在于将这些独立的元素相互串联，从而在一个广泛的目标下形成一系列行动。

Lauren Goode：这真的很有趣，因为一开始我以为这只是一个短时期内将 AI 变成风险投资家的图灵测试。但我现在理解了你的观点，确实是需要一种能够将各个环节联系起来的纽带，而这部分正是目前还缺失的。那么，有什么问题或挑战会让你夜不能寐呢？

Mustafa Suleyman：我认为未来 10 年最大的挑战将是权力的扩散，它将放大不平等，加剧两极分化，因为传播虚假信息将会比以往任何时候都更容易。我认为这将会动摇我们当前不稳定的世界。

Gideon Lichfield：你认为 AI 除了成为问题的根源，可以成为解决问题的一部分吗？

Mustafa Suleyman：有趣的是，我认为科技平台在这一领域将扮演着关键的角色。实际上，它们在监管网络内容方面已经发挥了重要作用。我认为我们需要更深入地思考关于持续实时监管主要平台和网络本身的想法。确实，区分出内容的真实创作者变得愈发困难，我同样认为唯一真正有效的监管方式就是让科技平台将其视作一项规则。

Lauren Goode：最后一个问题。在你的个人助手 Pi 对你赞美后，我向它提了一些更难的问题要，其中有一件事它说道：“如果你必须选择一件希望人们今天停止做的事情，以便我们能够拥有更美好的未来，那会是什么？”

Mustafa Suleyman：我认为可能是我们会假定别人有恶意。我们倾向于忽视彼此，几乎下意识地选择不去聆听对方，因为我们已经将他们贴上了“恶意”的标签。我觉得如果我们能够真正努力站在对方的角度考虑问题，交流就会更加顺畅。我越是这样去做，就越感到自己变得谦卑。这确实是一项具有挑战性的任务。Pi 在这个问题上确实成功地向我提出了一个深入思考的难题。

Lauren Goode：我们都应该找到自己的方式，做一些实地调查，是这样的吗？

Mustafa Suleyman：没错，你必须去亲身体验、感受、嗅闻，将自己融入一个与你平常所处环境不同的环境中。

Gideon Lichfield：这真的很有趣，Mustafa，非常感谢你与我们的交流。

Mustafa Suleyman：非常感谢，这很有趣。

原文作者：

Gideon Lichfield、Lauren Goode，WIRED

原文链接：

https://www.wired.com/story/have-a-nice-future-podcast-18/

编译：Hazel Yan

原标题：《深度访谈｜DeepMind联合创始人：AI的下一个10年，世界还没有准备好》