AI 写的小说更好看?1682 人盲测结果反转

一项刚刚发表的心理学研究给出了一个让不少写作者不太舒服的结论:读者读到 AI 生成的短篇小说时,给出的评分反而更高;可一旦被告知作品出自 AI 之手,同一批人的评价立刻掉下来。

实验怎么做的

这项研究发表在学术期刊《判断与决策》(Judgment and Decision Making)上。研究团队请 1682 名成年人各读一篇短篇小说,六篇备选作品中三篇由人类创作、三篇由 ChatGPT 生成,每篇 AI 作品都与一篇人类作品主题相近。

关键设计在于:研究者会告诉参与者手上这篇是人写的还是 AI 写的——但这个信息并不总是真的。随后参与者需要为故事的沉浸感、吸引力和整体质量打分。

结果出现了两条方向相反的规律。读到 AI 生成故事的参与者,给出的沉浸感和质量评分高于读到人类作品的那一组;而与此同时,凡是被告知“这是人写的”的故事,评分都会更高——无论它实际出自谁手。

人类分辨不出来

研究团队又追加了两轮实验。905 名成年人各拿到两篇主题相同的故事,其中只有一篇由人类执笔,要求他们指认哪篇是人写的。

一轮实验中约 40% 的人猜对,这个成绩甚至低于随机瞎猜;另一轮为 52%。作者在论文中写道:“没有任何总体证据表明参与者能够区分人类写作与 AI 生成的内容。”

有意思的是,参与者自评的小说阅读经验与判断准确率无关,反倒是对 AI 系统的熟悉程度与准确率相关。论文资深作者、美国宾夕法尼亚州维拉诺瓦大学的 Deena Skolnick Weisberg 博士解释:“AI 写作有一种特定的风格,练一练就能认出来——就像我们能认出不同人类作者的独特风格一样。”

更好看,是因为更好读

Weisberg 认为,参与者偏爱标注为“人类创作”的作品,源于对真实性的渴求;而他们实际上更喜欢 AI 生成的故事,是因为这些文本更容易读、更容易消化。

“AI 系统已经能生成被认为至少不逊于、甚至优于人类作品的短篇小说,”她说,“我们应该据此更新对 AI 能力的判断。”

不过身为创意写作者的 Weisberg 同时强调,这并不意味着写作该交给 AI,技术产出的小说很可能与人类的作品是两回事。“我们或许需要为 AI 生成的小说、以及人机合写的小说腾出空间,但这不代表欣赏人类创造过程的余地就消失了,”她说,“人写作是为了创造性的自我表达,是为了挑战自己,或者为了理解自己的经历。AI 能生成像人写的故事,改变不了这些。”

尖锐的反对声

未参与该研究的英国伯明翰大学电影与创意写作教授 Luke Kennard 提出了严厉批评。他认为公众容易把 AI 拟人化,“想象成某种带着善意中立面孔的发光机器人,可它其实只是基于海量被窃取的真实写作数据库的预测代码,实体部分是庞大、昂贵而具破坏性的数据中心,给周边社区带来灾难性后果”。

Kennard 强调,AI 并不是拼写检查或同义词词典那样的“工具”,而是一种生存层面的威胁。“当然,只要提示词给得对、再打磨打磨,它有能力吐出一首连贯甚至读着不错的诗。既然它是在人类数千年的作品上训练出来的,做不到才叫丢人,”他说,“我想我们真正该问的问题是:这值得吗?答案是绝对、彻底地不值得。”

两种态度的碰撞,恰好构成了这项研究最耐人寻味的部分:技术层面的“能不能”似乎已经有了答案,而价值层面的“该不该”,争论才刚刚开始。

来源:The Guardian