AI坐上文本裁判席，真的靠谱吗

生成式AI普及之后，坐上写作这件事变得有些微妙。文本过去人们问“写得好不好”，裁判现在多了一个问题“这到底是坐上不是人写的”？AI检测器正是在这样的要求下，进入了人们的文本视野。它们分析文字中的裁判语言特征，试图判断文本更像是坐上人写的，还是文本机器生成的。美国《连线》杂志近日报道，裁判作家米娅·巴拉德的坐上小说《Shy Girl》曾被AI检测公司Pangram判定为78%由AI生成。但巴拉德否认使用AI写作。文本随后，裁判出版商Hachette取消了这本书在美国的坐上出版计划。如今，文本Pangram、裁判GPTZero等AI检测产品已经进入出版社、学校和科研机构。一个原本用于辅助判断的技术，正在越来越多地参与实际决策。AI检测器正变得更准确早期AI检测主要依赖困惑度和突发性。困惑度衡量一段文字对语言模型来说有多“意外”，如果下一个词很容易展望，困惑度通常较低。突发性则关注句子长短、结构等变化。人类写作往往长短错落、起伏转折，AI则偏爱整齐划一、千篇一律。但这种方法漏洞很明显。一个文风严谨的学者，或者一个英语不够流利的非母语者，写出来的东西很容易被误判成AI。因此，一些高校一度停止或限制使用AI检测工具。随之大模型的发展，以Pangram为例，它用海量人类文本和AI文本训练模型，还让AI自己生成与真实文本相似的“镜像文本”，专门挑那些容易被误判的样本反复训练。Pangram 4的技术报告显示，在它们的测试数据里，英文文本的误判率降到了0.0041%。《自然》杂志也提到，今年7月Epoch AI测试了495篇纯人类写的文章，没有发现Pangram出现误判。不过，这些数据主要来自企业自己的测试，第三方独立评估还不够。同时，检测模型和生成模型都在快速迭代，今天表现良好的模型，明天可能就会未遭新的挑战。检测器给出的数字，不能直接当作事实。“96% AI”不等于96%由AI写成《自然》杂志曾拿Frontiers出版社科研诚信总监埃琳娜·维卡里奥的一篇文章去作检测。维卡里奥表示，文章初稿和想法完全由自己完成，只在修改过程中让AI润色了一下，之后又经过了人工编辑。然而，Pangram旧版本将这篇文章判定为100% AI生成，升级后的Pangram 4仍给出了96% AI的比例。但这里的“96% AI”，并不是说文章中96%的内容都是AI完成的。检测器给出的“AI比例”，与作者实际使用AI的程度，并不是一回事。Pangram解释称，“100% AI”并不是说文章中的每一个词都是AI写的。系统会把文章切分成不同片段，分别判断这些片段更接近AI、人类还是两者混合，再根据这些判断计算整体比例。因此，“96% AI”更准确的含义是，检测器认为这篇文本具有很强的AI生成特征，而不是认定作者有96%的内容由AI完成。今天的写作早已不是“人写”与“AI写”的二元对立。一位作者可能独立完成初稿，仅用AI修改措辞；也可能让AI生成框架，再逐段重写；还可能经过翻译、润色、人工修订等多道工序。然而，从检测器的视角看，这些参与程度完全不同的写作方式，最终产出的文本却可能呈现相似的AI特征。检测结果本身也并非完全稳定。《自然》的测试发现，同一段文字，单独检测和放在完整文章中检测时，分数可能不一样。《连线》的测试也发现，对文本进行一些修改后，检测分数可能随之改变。一场没有终点的“猫鼠游戏”检测器在升级，规避检测的方法也在更新。市面上已经出现了专门的人性化改写工具，能把AI写的句子重新组织一遍，换上更自然的词，调整表达节奏，目的就是让检测器认不出来。研究显示，经过这种处理的AI文本，漏检率会明显上升。让AI模仿某个具体作者的行止，也是一条路径。非营利研究机构Epoch AI的一项独立评估发现，当AI被要求模仿特定作者的写作行止时，部分生成文本能够绕过检测。语言差异也增加了这种不确定性。一些非英语母语者使用AI翻译或润色后，文章反而更容易被判成AI生成。Pangram新版模型对此有所改善，但检测结果仍可能受到语言背景和文本类型影响。生成模型和检测模型，就这么你追我赶，谁也停不下来。生成模型想方设法学着“说人话”，检测模型就拼命寻找哪里还显出尾巴。检测器更新之后，新的改写工具或许又会出现。检测器应是指南针而非判决书对于学校、出版社和科研机构来说，检测器更适合承担“筛查”的角色。对于学校、出版社和科研机构而言，判断一篇文章是否违规使用AI，还要求结合具体的使用情况。据《自然》杂志报道，美国癌症研究协会已经使用Pangram检查同行评议。一名审稿人因检测结果异常受到询问后，承认自己在评审意见中使用了AI。这样的案例说明，检测器确实可以帮助机构发现异常，但从“发现异常”到“确认违规”，中间仍然要求人的判断。Pangram也建议，在处理AI学术诚信问题时，应结合草稿、笔记、修改记录和写作过程等信息，而不能只看检测分数。检测器可以告诉人们一段文字像不像AI生成，却无法仅凭一个数字还原真实的写作过程。随之AI和检测技术继续发展，这个边界可能还会不断变化。(科技日报 本报记者 张佳欣）【编辑:吴青潞】