美国独立宣言是AI写的?
误判率最高达61%,写得好的文章反而更危险的原因

开篇
在美国爱达荷州立大学主修化学的Lauren Jaeger(音译),在申请博士课程时看到了一则奇怪的警告。部分申请门户网站提示:“如果个人陈述中检测到AI写作痕迹,整份申请将被判定无效。”Jaeger从未用过AI。但出于不安,他把自己写的文章放进几个在线检测工具里试了试,结果无一例外都显示“几乎100%是AI写的”。
Jaeger最终重写了个人陈述。而且不是为了写得更好,而是为了不被检测工具抓住,故意写得“不那么完美”。据说他就这样把分数降到了30%,觉得“这样应该可以了”便提交了。(好在他最终被犹他大学的博士课程录取了。)
差不多同一时期,网上还流传着一件更荒唐的事。有人把1776年撰写的美国独立宣言放进某个检测工具里,结果判定为“95%~100%由AI写成”。一份250年前的文件。
这里就产生了一个疑问:大学为了抓作弊而使用的这些工具,真的值得信赖吗?先说结论:真正的问题并不在于检测工具偶尔会“出错”,而在于人们把一个可能出错的工具,当成了“铁证如山”的证据来使用。
🔍 大学为何执着于检测工具
随着ChatGPT等生成式AI的出现,代写文章的成本实际上趋近于零。西悉尼大学负责学术诚信的Cath Ellis把这称为“规模上的根本性变化”。她说,代写以前也存在,但如今“至少有相当一部分被操纵或伪造出来的成果,涌入的量本身出现了爆炸式增长”。
问题在于旧武器不太管用了。Turnitin这类查重工具,是把文章与海量既有出版物和句子进行比对,找出“抄袭痕迹”。但生成式AI生成的句子并非整段抄自某处,而是每次都临时重新组合。没有可供比对的原文,自然逃过了查重检测。AI是学习了过去海量文本后产出的结果,可偏偏用来对照过去文本的查重工具却抓不住它,这实在讽刺。
于是市面上出现了号称能判别“这篇文章是不是由另一个AI写的”的检测工具。Copyleaks、GPTZero、ZeroGPT,以及Grammarly和QuillBot、Turnitin各自推出的工具都已上市。面对如潮水般涌来的作业和申请材料,大学和研究生院开始依赖这些工具。
为什么“写得好的文章”反而会被判为AI
许多检测工具依赖一个叫困惑度1的指标。简单来说,这是衡量“下一个词有多容易被预测”的数值。AI写的文章往往在统计上呈现流畅、可预测的模式。因此,困惑度越低(越可预测)的文章,越会被怀疑“是机器写的”;表达越跳脱、越不按常理出牌的文章,越会被判定为“人写的”。
看出问题了吗?按这个逻辑,越是严格遵守语法、写得干净利落毫无赘余的人,反而越容易被怀疑是AI。Jaeger说:“我学过语法书,写作时严格遵守规则,所以大概正因如此才被误认为是AI。”问题恰恰出在这里。因为写得好,反而被抓了。
这里出现了更严重的问题——那就是母语非英语的人群。2023年,斯坦福大学的一个研究团队把7个检测工具,套用到ChatGPT出现之前(2020年以前)写的91篇托福作文上。
结果令人震惊。**平均61.3%被错误地判定为“AI写的”。**相比之下,美国8年级(13~14岁)学生写的英语文章,几乎全部被准确归类为“人写的”。
非母语者的文章表达多样性相对较低,因而困惑度偏低,检测工具却把这误解为“像AI”。误判率261%,意味着每10名学生中就有6人被冤枉地抓住。
独立宣言之所以被误判,也是同样的原理。250年来被无数次引用和打磨的句子,在统计上高度“可预测”。据Nature报道,他们亲自把1776年原文的部分内容多次放进ZeroGPT里测试,结果每次都显示95%~100%是AI写的。
这是个例外的意外吗?并不是。2025年的一项研究对目前使用最广泛的GPTZero进行了验证:对于完全由AI写成的文章,它能以很高的置信度识别出来,但**将人写的文章误判为AI的比例约为16%。**研究团队得出的结论是:“区分人类写作的可靠性有限。”
⚡ 即便检测工具变得更精准,问题依然存在
当然,并非所有检测工具都这么糟。纽约的Pangram Labs声称其误判率“几乎为零”。他们的方法不同:大量训练人类写的文章,以及把这些文章交给AI重写后得到的文章,每当有新的聊天机器人出现,就让系统学习它的文风。它不只依赖困惑度这一个指标。芝加哥大学布斯商学院和马里兰大学的独立评估也显示,其准确率从未低于99.8%。
但这里正是我想强调的地方。检测工具变得更精准,并不意味着问题就此结束。
**第一,是混合文本的问题。**研究AI对学术界影响的Mike Perkins(英国大学,越南)表示:“纯粹的AI写作,检测工具能抓得相当准,但一旦开始对这些文本进行修改,检测就会失效。”甚至不需要人亲自动手修改。只要让另一个AI“帮忙重写一下”,或者用那些专门设计来降低检测分数的“人性化工具3”跑一遍就行了。检测公司想抓这些规避工具,就会有新的规避工具随之出现。用Perkins的话说,这是“一场对谁都没好处的巨大军备竞赛”。
**第二,是更根本性的问题。**今年,Marzena Karpinska的研究团队利用Pangram,分析了2025年夏季美国1500家报纸的18万6千篇报道。结果显示,约9%的报道被检测为部分或全部由AI撰写。这是个有趣的数字。但Karpinska本人明确指出:这类结果可以用来观察“大规模趋势”,但不应作为判定某个作者个人有罪的依据。
“我们不能拿这个作为依据,把人们大批地淘汰掉。”
这句话正是今天故事的核心。同一个工具,用于‘趋势分析’可能有效,但用于‘个人审判’可能就不合适了。统计和判决,本就是两种不同的游戏。
Oswarld视角
老实说,我不把这件事读成一场关于“检测工具性能”的争论。作为一个长期处理数据的人,最先映入我眼帘的,是“临界值(threshold)”和“基础比率(base rate)”。
我在做数据分析时经常遇到一个陷阱。即便是准确率高达99.9%的模型,只要目标群体足够庞大、而“真阳性”又足够稀少,也会制造出相当多的冤枉人。
举个例子,假设有一个误判率仅0.1%的极其优秀的检测工具。把它套用在1万名诚实地亲手写作的学生身上,其中大约会有10人无缘无故被打上“AI作弊者”的标签。对这10个人来说,99.9%的准确率毫无安慰可言。
Perkins指出的那一点,也是同样的道理。人们看到分数,就直接信了。在查重时代,还有“这句话和那篇论文一模一样”这种看得见的证据。但AI检测分数没有这样的证据。“87%是AI”这个数字究竟是根据什么算出来的,无论学生还是教授都无从核实。在制定GTM策略的过程中,我多次见识过“被数字包装出来的确信”是如何轻易误导一个组织的。分数本应辅助判断,却常常取代了判断。
所以我的结论是这样的:检测工具可以用作“调查的线索”。但一旦被当作“定罪的证据”来使用,像Jaeger这样写得好的人和非母语者,就会最先落入网中。我不是说要废除这些工具,而是说,只应赋予工具的输出与其本身相称的分量。
结语
把今天的内容浓缩成三句话:
第一,许多AI检测工具会把“写得好的文章”和“非母语者的文章”误判为AI所写,误判率最高可达61%。第二,即便出现更精准的检测工具,在混合文本和人性化工具面前依然会失效,更重要的是,“趋势”和“个人审判”是两码事。第三,真正危险的不是工具会出错,而是把一个可能出错的分数当作证据来相信的态度。
如果您正处于评估或提交文章的位置,请只记住一件事:AI检测分数是“开启一个问题”,而不是“作出最终判决”。
Jaeger为了被录取,故意把自己的文章改得“不那么完美”。为了不被检测工具抓住而亲手把自己的文章弄得更差——这种情况,不知您是否也曾经历过自己的文章、或学生、同事的文章被冤枉地判定为AI写的?请在评论中告诉我们当时的情况,我们会把它反映在下一期内容里。
💬 曾被冤枉判定为AI写作的经历,欢迎在评论中分享,我们会反映在下一期内容里。
📨 如果觉得这篇文章能帮到写作的同事,请分享给他们。
参考资料与延伸阅读
核心来源
- Weixin Liang等,“GPT detectors are biased against non-native English writers”,Patterns (Cell Press),2023年。:这是61.3%误判率的出处。这是首次用数据揭示非母语者受歧视问题的论文,建议从结果(Results)部分开始阅读。
- “Assessing GPTZero’s Accuracy in Identifying AI vs. Human-Written Essays”,arXiv预印本,2025年。:GPTZero误判率16%即出自此处。
- Jenna Russell、Marzena Karpinska等,“AI use in American newspapers is widespread, uneven, and rarely disclosed”,arXiv预印本,2025年。:报纸文章9%被检测为AI的研究。作者们“趋势可用、个人审判不可用”的克制态度令人印象深刻。
- W. H. Walters,“The Effectiveness of Software Designed to Detect AI-Generated Writing: A Comparison of 16 AI Text Detectors”,2023年。:这就是那项发现16个工具中只有3个(Copyleaks、Turnitin、Originality.ai)表现较强的研究。
- M. Suvanto等,预印本,arXiv,2026年。:文章中“检测信号(telltale signs)”图表的出处,展示了困惑度在词语层面是如何运作的可视化图。
背景知识
- Pangram Labs第三方评估合集,“Pangram评估”、“Chicago Booth Review”。:想了解“几乎零误判率”是如何被验证的,可以参考这里。
原文
- “Universities are relying on AI-detection software to catch cheating. How well do the programs work?”,Nature(2026年)。:这是今天这期通讯的出发点文章。
作者安光涉是世宗大学经营学教授,也是 OBF(Oswarld Boutique Consulting Firm)首席顾问。他在大学教授经营数据管理、商业分析等统计与数据分析课程,同时在产业现场负责 GTM 与人工智能战略咨询,设计技术与商业的连接方式。他曾发表关于 AI 对话系统记忆架构(HEMA)的学术论文,并运营每日策展全球 AI 论文的 Daily Arxiv 项目。他毕业于高丽大学技术经营专业研究生院与 KMBA,著有《把思考交出去的人:Homo Brainless》。

