AI率检测有多不靠谱:耶鲁被诉,200万美元书约告吹

在 ChatGPT 出现之前,教师和编辑主要靠查重工具确认写作者是否诚实。这类工具把文稿与网络内容、学术文献组成的数据库比对,标出重复的句子和短语,像 Turnitin 还会给出一个重合度百分比。如今,这场对「抄袭」的追捕正在演变成对「AI 代写」的围剿,而后者的技术根基远不如前者牢固。

科技媒体 The Verge 在 8 月 9 日刊出的专栏文章梳理了这股风潮的代价:检测工具的判定正在直接影响学生的学业和写作者的饭碗,而工具本身的准确性却始终存疑。

从「比对文本」到「猜测语感」

学生上手 ChatGPT、Google Gemini 和 Microsoft Copilot 的速度有多快,教师采用 AI 检测器的速度就有多快。美国民主与技术中心的调查显示,2024 年至 2025 年间,美国六至十二年级教师中有 43% 经常使用 AI 检测工具。一些原本就在教学管理系统中接入 Turnitin 的高校发现,2023 年该功能上线时,AI 检测被自动启用了。

关键的变化在于判定方式。查重比对的是「这句话是否和已有文本一致」,结论可以被人工复核;而 GPTZero、Pangram 以及 Turnitin 自研的 AI 检测器,靠的是自家模型去猜测某段文字「像不像人写的」。

按 GPTZero 的说明,算法会分析用词、节奏和结构,并识别文本长度与语气中较常出现于 AI 写作的模式。有些工具还会衡量文本的「不可预测性」——按加州大学洛杉矶分校的解释,AI 倾向于做出最「显而易见」、最常见的语言选择,而人类写作的选择更跳脱。此外,重复出现的术语和短语、过于正式或过于随意的文风、通篇不变的句式,也会被当作 AI 痕迹。

问题在于,这些特征本身并不能证明 AI 参与其中。有人的写作风格天生就是如此,把它们当作定罪证据,等于把一种主观评价包装成了小数点后两位的置信度。

被判定为 AI 之后

厂商公布的误判率相当漂亮。Turnitin 称其 AI 检测器把人类内容误判为 AI 的比例低于 1%,Pangram 宣称误判率仅为万分之一,GPTZero 也给出了类似的低数值。但落到具体的人身上,代价是实打实的。

  • 出版商 Minotaur 于上月取消了与作者 Jerry Falade 的一份价值 200 万美元的图书合约,理由是怀疑其使用 AI 写作,Falade 本人坚决否认
  • 法国籍学生 Thierry Rignol 去年起诉耶鲁大学,起因是一名教授用 GPTZero 扫描其期末考试内容后判定部分由 AI 代写,导致他不及格并被停学一年。诉状主张,AI 监测与检测工具「已知会不公平地针对非英语母语者」
  • 今年 2 月,阿德尔菲大学一名学生在类似指控中打赢了对校方的官司。诉状未说明教授使用的具体工具,但该校与 Turnitin 有授权协议

2023 年斯坦福大学的一项研究发现,AI 检测器把非英语母语者撰写的文章误判为 AI 生成的概率,明显高于母语者。也有研究指出这类工具可能对神经多样性写作者存在偏见。多家检测服务商则坚持认为,其工具在处理非母语者文本时同样准确。

耐人寻味的是,厂商自己的免责声明写得比宣传口径谨慎得多。Turnitin 明确表示其工具「未必总是准确」,不应据此对学生采取处分措施;Grammarly 警告用户「绝不应仅凭 AI 检测结果下结论」;GPTZero 也承认「没有任何 AI 检测器能做到百分之百完美」。OpenAI 更是在 2023 年因准确率过低,直接下线了自家的 AI 文本分类器。

指控还在继续蔓延。上周,奥兹·奥斯本之子杰克·奥斯本在面向其社交平台上超过 350 万粉丝的视频中,指控记者、The Verge 撰稿人 Kat Tenbarge 用 AI 为《滚石》撰稿,并把某款检测工具的结果当作「证据」展示。Tenbarge 通过视频和个人网站发文反驳,但对方既未撤回指控也未删除视频。

学校开始撤下工具,平台却在加码

不确定性已经足以让一部分教育机构彻底停用这类工具。耶鲁大学、约翰斯·霍普金斯大学、范德堡大学、乔治城大学等已经关闭或限制了 AI 检测工具的使用,麻省理工学院则直接提示「AI 检测器不管用」。

替代方案是重新设计教学环节,而不是继续加码检测。芝加哥大学建议让学生放慢阅读、把长篇写作任务拆成多个阶段,并要求学生对自己的写作过程作出复盘;斯坦福大学建议教师考虑把评估放回课堂现场完成;麻省理工学院则主张给学生留出空间,让他们无需担心受罚地主动说明自己是否借助了 AI。

与教育机构的后撤相反,内容平台正在把怀疑变成一个随手可点的按钮。Substack 已把 Pangram 集成进应用,读者可以扫描博客文章、查看其是否疑似 AI 生成;领英则在帖子上增加了一个「看起来像 AI 垃圾」的反应按钮。这两项功能都无法证明作者身份,却足以引发围攻。

一些反向的尝试也在出现。美国作家协会开始向写作者发放「人类撰写」认证,帮助他们提前应对指控。维基百科则编写了一份指南帮助编辑识别 AI 写作,其中提到要留意那些「抬高主题重要性」以及「对信息作出肤浅分析」的文字,该站点也已禁止 AI 生成的条目。

最终的结果是一个新的不信任时代:读者在阅读时不断怀疑眼前的文字是否出自 AI,而真正的人类写作者则要费尽力气,让自己写得不像 AI。

来源:The Verge(作者 Emma Roth)