只需敲几下键盘，任何人都可以要求ChatGPT等人工智能（AI）程序写一篇论文、创作一首歌曲或一部戏剧，但不要指望它具有威廉莎士比亚的独创性。一项新研究发现，这种AI产出的作品仍然是衍生品至少目前是这样。
图片来源：COREDESIGN/SHUTTERSTOCK为了找到答案，研究人员设计了一个能够衡量AI创造力的程序。英国伦敦大学学院研究AI创造力的计算机科学家Mirco Musolesi没有参与该研究，但他表示，衡量创造力是“一个困难但非常有趣的问题”，新方法非常好地解决了至少一个创造性问题语言的新颖性。
ChatGPT等程序自诞生以来，科学家一直对其持怀疑态度。尽管运行这种生成式人工智能和大型语言模型（LLM）可以瞬间生成看起来非常像人类描述的文字，但一些研究人员认为LLM并没有产生任何新东西。批评者说，它们只是“随机鹦鹉”，盲目地将它们训练过的单词混合在一起。
但客观地测试这种创造力一直很棘手。科学家通常采取两种策略。一种是使用另一个计算机程序来搜索抄袭的迹象尽管没有抄袭并不一定等于有创造力。另一种是让人类自己判断AI的输出，对流畅性和原创性等因素进行评分，但这种策略是主观和耗时的。
因此，美国华盛顿大学的计算机科学家陆锡明（音）和同事创建了一个既客观又有细微差别的程序，被称为DJ搜索。它从AI输出的任何内容中收集最小长度的文本片段，并在大型在线数据库中搜索它们。DJ搜索不仅能寻找相同的匹配，还会扫描与单词含义相似的字符串。在删除所有匹配项后，程序计算剩余单词与原始文档长度的比率，这应该可以估计出AI输出的新颖程度。
研究人员将已出版小说、诗歌和演讲的语言新颖性与人类作品进行了比较。研究人员在OpenReview上发布的一份预印本中报告称，人类在诗歌、小说和演讲方面的得分分别比AI高出约80%、100%和150%。该报告目前正在接受同行评审。
虽然DJ 搜索是为了比较人和机器而设计的，但它也可以用于比较两个或多个人类作品。例如，苏珊柯林斯创作的小说《饥饿游戏》在语言原创性方面比斯蒂芬妮迈耶的热门小说《暮光之城》高出35%。
那么，LLM仅仅是鹦鹉吗？“他们从现有的文字中复制、粘贴、剪切和拼凑出一些令人惊叹的东西。这就像一个DJ对现有音乐进行混音。这绝对很有价值，但它与作曲家不同。”陆锡明说。
美国加州大学洛杉矶分校的计算机科学家彭楠说，接下来，研究人员应该关注的不仅仅是短串单词的新颖之处，而是整个叙事结构的新颖性。彭楠已经人工判断出AI的叙事较差。她希望这种判断能实现自动化，但这很难。
策划制作
来源丨中国科学报
责编丨王梦如
审校丨徐来 林林
一起长知识！
