作者:方晓 来源:澎湃新闻 发布时间:2023/6/1 19:48:15
选择字号:
OpenAI称找到新方法减轻大模型“幻觉”

 

·OpenAI对抗AI“幻觉”的新策略是:奖励大模型每个正确的推理步骤,而不是简单地奖励正确的最终答案。研究人员表示,这种方法被称为“过程监督”,而不是“结果监督”。

  OpenAI在官方博客发布新论文《通过过程监督改进数学推理》。

当地时间5月31日,OpenAI宣布正在承担起对抗人工智能“幻觉”的重任,并采用了一种训练人工智能模型的新方法。

当OpenAI开发的ChatGPT或谷歌开发的Bard等模型完全捏造信息时,就被称为出现了AI “幻觉(hallucination)”,表现得好像它们在滔滔不绝地讲述事实。其中一个例子是:在谷歌2月为Bard发布的宣传视频中,聊天机器人对詹姆斯·韦伯太空望远镜做出了不实的描述。最近,ChatGPT在纽约联邦法院的一份文件中引用了虚假案件,涉案的纽约律师可能面临惩罚。

现在,OpenAI在一项最新研究中提出了减轻ChatGPT“幻觉”、实现更好对齐的新方法——通过“过程监督”来提高AI大模型的数学推理能力。

OpenAI研究人员在报告中写道:“即使是最先进的模型也容易产生虚假信息——它们表现出在不确定的时刻编造事实的倾向。” “这些幻觉在需要多步推理的领域尤其成问题,因为一个逻辑错误就足以破坏更大的解决方案。”

OpenAI对抗AI“幻觉”的新策略是:奖励每个正确的推理步骤,而不是简单地奖励正确的最终答案。研究人员表示,这种方法被称为“过程监督”,而不是“结果监督”。

这种策略可能还会导致更具解释性的AI,因为它鼓励模型更多地遵循类似人类的“思维”方法链。除了得到高于“结果监督”的性能表现外,“过程监督”或许也有助于解决对齐难题。

目前,OpenAI的研究人员尚不清楚这些结果能否应用在数学领域之外,但他们认为,探索“过程监督”在其他领域中的影响将至关重要。

OpenAI的研究员卡尔·科布(Karl Cobbe)告诉CNBC:“检测和减轻模型的逻辑错误或幻觉是构建一致的AGI(通用人工智能)的关键一步。”他指出,OpenAI虽然并未发明“过程监督”方法,但正在帮助推动它向前发展。 “这项研究背后的动机是解决幻觉问题,以使模型更有能力解决具有挑战性的推理问题。”

科布说,OpenAI已经发布了一个附带的数据集,其中包含80万个人类标签,用于训练研究论文中提到的模型。

美国电子隐私信息中心(Electronic Privacy Information Center)高级顾问兼人工智能和人权项目负责人本·温特斯(Ben Winters)表示怀疑,他告诉CNBC,希望能检查完整的数据集和随附的示例。“我认为仅此一项并不能显著减轻对错误信息和不正确结果的担忧。”温特斯说。

由于不清楚OpenAI论文是否经过同行评审或以其他格式进行评审,布朗大学技术责任中心主任苏雷什·文卡塔苏巴拉马尼安(Suresh Venkatasubramanian)告诉CNBC,他认为这项研究只是初步观察。“在我们可以对此发表任何肯定之前,这需要在研究界得到证实。” “由于大型语言模型的工作方式总体上不稳定,在一种设置、模型和上下文中可能有效的东西,在另一种设置、模型和上下文中可能不起作用。”

文卡塔苏巴拉马尼安补充说:“人们一直担心的一些幻觉是(模型)编造引用和参考。本文中没有证据表明这会起作用。”

科布表示,OpenAI“可能会将(论文)提交给未来的会议进行同行评审。” OpenAI没有回应该公司计划何时将新策略实施到ChatGPT及其其他产品中。

(原标题:《对付AI虚假信息!OpenAI称找到新方法减轻大模型“幻觉”》)

 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
极目卫星团队在伽马暴研究中取得重要进展 实践十九号卫星成功发射
科学网APP论文&基金最新活动来了 他们的15年“铸剑”之路
>>更多
 
一周新闻排行
 
编辑部推荐博文