只需敲几下键盘，任何人都可以要求ChatGPT等人工智能（AI）程序写一篇论文、创作一首歌曲或一部戏剧，但不要指望它具有威廉·莎士比亚的独创性。一项新研究发现，这种AI产出的作品仍然是衍生品——至少目前是这样。

图片来源：COREDESIGN/SHUTTERSTOCK

  ?

为了找到答案，研究人员设计了一个能够衡量AI创造力的程序。英国伦敦大学学院研究AI创造力的计算机科学家Mirco Musolesi没有参与该研究，但他表示，衡量创造力是“一个困难但非常有趣的问题”，新方法非常好地解决了至少一个创造性问题——语言的新颖性。

ChatGPT等程序自诞生以来，科学家一直对其持怀疑态度。尽管运行这种生成式人工智能和大型语言模型（LLM）可以瞬间生成看起来非常像人类描述的文字，但一些研究人员认为LLM并没有产生任何新东西。批评者说，它们只是“随机鹦鹉”，盲目地将它们训练过的单词混合在一起。

但客观地测试这种创造力一直很棘手。科学家通常采取两种策略。一种是使用另一个计算机程序来搜索抄袭的迹象——尽管没有抄袭并不一定等于有创造力。另一种是让人类自己判断AI的输出，对流畅性和原创性等因素进行评分，但这中策略是主观和耗时的。

因此，美国华盛顿大学的计算机科学家陆锡明（音）和同事创建了一个既客观又有细微差别的程序，被称为DJ搜索。它从AI输出的任何内容中收集最小长度的文本片段，并在大型在线数据库中搜索它们。DJ搜索不仅能寻找相同的匹配，还会扫描与单词含义相似的字符串。在删除所有匹配项后，程序计算剩余单词与原始文档长度的比率，这应该可以估计出AI输出的新颖程度。

研究人员将已出版小说、诗歌和演讲的语言新颖性与人类作品进行了比较。研究人员在OpenReview上发布的一份预印本中报告称，人类在诗歌、小说和演讲方面的得分分别比AI高出约80%、100%和150%。该报告目前正在接受同行评审。

虽然DJ 搜索是为了比较人和机器而设计的，但它也可以用于比较两个或多个人类作品。例如，苏珊·柯林斯创作的小说《饥饿游戏》在语言原创性方面比斯蒂芬妮·迈耶的热门小说《暮光之城》高出35%。

那么，LLM仅仅是鹦鹉吗？“他们从现有的文字中复制、粘贴、剪切和拼凑出一些令人惊叹的东西。这就像一个DJ对现有音乐进行混音。这绝对很有价值，但它与作曲家不同。”陆锡明说。

美国加州大学洛杉矶分校的计算机科学家彭楠赟说，接下来，研究人员应该关注的不仅仅是短串单词的新颖之处，而是整个叙事结构的新颖性。彭楠赟已经人工判断出AI的叙事较差。她希望这种判断能实现自动化，但这很难。

相关论文信息：https://doi.org/10.1007/s00146-024-02127-3