作者:王方 来源:中国科学报 发布时间:2023/12/28 15:23:28
选择字号:
人工智能突然变聪明了吗

 

人工智能超级智能会突然出现,还是科学家能预见它的到来并有机会向世界发出警告?随着大型语言模型如ChatGPT的兴起,这个问题最近受到了很多关注。这类模型随着规模的增长已经获得了大量新功能。

一些研究结果指向了“涌现”,即人工智能模型以一种骤然且不可预测的方式获得智能的现象。但最近一项研究将这类情况称为“海市蜃楼”,即系统测试过程中产生的假象,并表明创新能力增强是循序渐进的。

研究人员近日在美国新奥尔良举行的神经信息处理系统大会(NeurIPS)机器学习会议上报告了这项工作。

  ?

图片来源:Charles Taylor/Alamy

“我认为他们在说‘没有什么神奇事情发生’方面做得很好。”谋智基金会研究人工智能审计的计算机科学家Deborah Raji说,这是“一个非常好的、坚实的、基于衡量的批评”。

大型语言模型通常使用大量文本或其他信息进行训练,通过预测接下来会发生什么来生成现实的答案。即使没有经过明确的训练,它们也能翻译语言、解决数学问题、写诗或编写计算机代码。

模型越大,性能就越好,有些模型的可调参数超过了1000亿。一些研究人员怀疑,这些工具最终将实现通用人工智能,在大多数任务上与人类相匹配,甚至超过人类。

这项新研究从几个方面检验了“涌现”的说法。在一种方法中,研究人员比较了人工智能研究公司OpenAI 4种规模的GPT-3模型加4位数的能力。从绝对精度来看,第三种和第四种规模模型的性能差异从近0%到近100%不等。但是,如果考虑答案中正确预测的数字数量,这种趋势就不那么极端了。

研究人员还发现,他们还可以通过给模型更多测试问题来抑制曲线。在这种情况下,规模较小的模型有时会作出正确的回答。

接下来,研究人员观察了谷歌公司的LaMDA语言模型在几个任务上的表现。那些表现出明显智能跃升的模型,比如察觉讽刺或翻译谚语,通常是答案分为对或错的多项选择任务。相反,当研究人员检查模型在每个答案上的概率时,“涌现”的迹象消失了。

最后,研究人员转向了计算机视觉,这一领域“涌现”的说法较少。他们训练模型压缩,然后重建图像。仅仅通过为正确性设定一个严格的阈值,它们就可以诱导明显的“涌现”。

新研究合作者、美国斯坦福大学计算机科学家Sanmi Koyejo表示,考虑到一些系统表现出突然的“相变”,人们接受“涌现”的想法并非没有道理。他还指出,这项研究不能在大型语言模型中完全排除这种可能性,更不用说在未来的系统中了。

“迄今为止的科学研究有力地表明,语言模型的大多数方面确实是可预测的。”Koyejo补充道。

这项研究还对人工智能的安全和政策产生了影响。Raji说:“通用人工智能的支持者一直在利用新兴能力的说法。毫无根据的恐惧可能导致令人窒息的监管,或者转移人们对更紧迫风险的注意力。”

“这些模型正在改进,且改进是有用的。”她说,“但它们还没有接近意识。”


 
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
中国科学家首次发现“无摩擦的冰” 冰表面长啥样?原子级分辨图像揭晓答案
北方中纬高频雷达网发布首批科学探测结果 “双星计划”:开启中国空间科学新纪元
>>更多
 
一周新闻排行
 
编辑部推荐博文