Pangram AI文本检测工具可靠性引争议

Pangram是一款用于估算文本由人工智能创作或修改概率的工具

总部位于美国布鲁克林的初创公司Pangram仅有24名员工，在一系列涉嫌使用AI的作品事件后突然引发关注。据《连线》杂志报道，该工具可估算AI参与文本创作的程度，但这些结果的准确性仍存在争议。

这家鲜为人知的初创公司由Max Spero（马克斯·斯佩罗）和Bradley Emi（布拉德利·埃米）于2023年创立，原名Checkfor.ai，一年后更名。公司已融资约1300万美元。

该初创公司因Mia Ballard（米娅·巴拉德）的小说《Shy Girl》（害羞女孩）涉嫌使用AI而受到关注。尽管作者否认，斯佩罗表示Pangram评估该手稿有78%的内容由AI生成。随后，Hachette（阿歇特）出版社取消了该书的发行计划。

Pangram AI检测工具正被应用于出版、教育、招聘等多个领域 - AI

此后，《纽约时报》Modern Love专栏的一篇文章以及一部获得英联邦短篇小说奖的作品，经Pangram检测结果均为100%。小说《Daggermouth》（匕首嘴）检测结果为60%。

7月底，Substack宣布集成Pangram，以便读者可核查内容是否由AI创作。

一个数字足以下定论吗？

Pangram的流行也使该工具招致批评。作家兼出版专家Jane Friedman（简·弗里德曼）表示，许多作家担忧AI检测软件若给出错误结果可能造成损害。

Pangram表示，其系统通过将人工撰写的文本与AI生成内容进行对比训练。然而，公司承认该工具对低于100词的段落效果不佳，且同一内容因检测方式不同可能产生不同结果。

圣母大学的一项研究表明，Pangram 3.2可能将仅经过AI轻度修改的文本误判为AI生成内容，误判率达64%至80%。当AI文本经过"人性化"工具处理后，Pangram的检出率不到4%。

AI生成内容检测工具界面

准确性并非唯一问题。爱丁堡龙比亚大学教授Sam Illingworth（萨姆·伊林沃思）警告，AI检测工具可能存在偏见。一些研究表明，非英语母语写作者被误判的风险更高。

涉及《Shy Girl》、《Daggermouth》及《Call Me, I'll Hide the Body》（打电话给我，我会藏好尸体）的三起重大事件均与有色人种作者相关，进一步引发人们对偏见风险的担忧。

美国文学代理协会主席Regina Brooks（雷吉娜·布鲁克斯）认为，出版业在使用这些工具时需注意可能产生的不平等问题。

不能仅依赖AI

Pangram正越来越多地用于出版业，但尚未被视为唯一证据。Penguin Random House（企鹅兰登书屋）确认编辑可使用AI检测工具，但结果仅为评估流程的一部分，不具决定性。

石溪大学计算机科学教授Tuhin Chakrabarty（图欣·查克拉巴蒂）曾使用Pangram分析了14419部自出版小说，发现近20%存在显著的AI使用比例。然而他也承认，该工具可能被欺骗。

在AI日益普及的背景下，Pangram可能是有用的辅助工具，但算法给出的一个百分比尚不足以判定一部作品是由AI还是人类创作

Max Spero表示，Pangram目前专注于那些被指故意隐瞒使用AI的案例。公司宣称最新版本的假阳性率为0.0041%，但承认部分AI生成文本仍可能逃过检测。