OpenAI证实AI写作检测器无法区分AI和人类

上周，OpenAI在一篇宣传博客文章中为教育工作者提供了一些提示，展示了一些教师如何将ChatGPT作为教育辅助工具，并提供了一些建议性的提示。在相关的常见问题解答中，他们也正式承认了我们已经知道的事实：尽管经常被用来惩罚学生的AI写作检测器无法正常工作。

在常见问题解答的一个部分中，OpenAI写道：“简而言之，不行。虽然一些(包括OpenAI在内)发布了声称可以检测AI生成内容的工具，但这些工具都没有可靠地区分AI生成和人类生成的内容。”

七月份，我们深入探讨了为什么像GPTZero这样的AI写作检测器无法正常工作，专家称其为“大部分都是骗人的”。由于依赖未经证实的检测指标，这些检测器经常产生误报。最终，AI写作文本并没有什么特别之处总是能将其与人类写作区分开来，而且检测器可以通过改写来规避。同一个月，OpenAI停止了其AI分类器，这是一个用于检测AI写作文本的实验性工具。它的准确率仅为26%。

OpenAI的新常见问题解答还解决了另一个常见的误解，即ChatGPT本身是否能够知道文本是否为AI生成。OpenAI写道：“此外，ChatGPT无法‘知道’哪些内容可能是AI生成的。它有时会对问题做出编造的回答，比如‘你写的这篇文章吗？’或‘这可能是由AI写的吗？’这些回答是随机的，没有事实依据。”

在这方面，OpenAI还解释了其AI模型倾向于虚构错误信息的特点，我们在Ars上也进行了详细报道。公司写道：“有时，ChatGPT听起来很有说服力，但它可能会给出不正确或误导性的信息(在文献中通常称为‘幻觉’)。它甚至可以编造引语或引文，因此不要将其作为您研究的唯一来源。”

尽管自动化的AI检测器无法正常工作，但这并不意味着人类永远无法检测到AI写作。例如，熟悉学生典型写作风格的教师可以察觉到他们的风格或能力突然发生的变化。此外，一些将AI生成的作品冒充人类写作的粗糙尝试可能会留下明显的痕迹，例如短语“作为一个AI语言模型”，这意味着有人在复制和粘贴ChatGPT的输出时不够小心。最近，科学期刊《自然》的一篇文章展示了人类如何注意到科学论文中的短语“重新生成回应”，这是ChatGPT中一个按钮的标签。

就目前的技术而言，最安全的做法是完全避免使用自动化的AI检测工具。常见AI分析师和沃顿商学院教授Ethan Mollick在七月份告诉Ars：“AI检测器的误报率很高，因此不应使用它们。”

本文译自 Ars Technica，由 BALI 编辑发布。