自推出以来,OpenAI 的 ChatGPT 已成为全球教育机构关注的焦点,因为学生开始使用它来写论文和考试作弊。考虑到聊天机器人生成的文本看起来多么自然,教师很难确定学生的作业是否是原创的。
为了帮助老师评估学生的作业,一名计算机科学专业的毕业生开发了 GPTZero,这是一种人工智能检查工具,可以确定文本是否是人工生成的。
这一切听起来都很好,但是 GPTZero 可以检测 AI 创建的内容吗?它的准确度如何?
GPTZero 是由计算机科学专业毕业生 Edward Tian 开发的人工智能文本分析工具,用于帮助教师区分抄袭文本和原创作品。该工具检查文本中的复杂性和突发性,以确定它是人工生成的还是由人类制作的。
不深入细节,让我们看看这些术语的含义:
困惑度衡量自然语言处理 (NLP) 中的文本随机性。人类编写的文本往往结构性较差且更不可预测,因此其复杂度值应该更高。相比之下,人工智能生成的文本应该具有较低的困惑度分数。突发性考虑了困惑度中未考虑的其他变量,以改进文本分析。该术语指的是随机簇中非常见项目的出现。人工智能生成的文本往往比人类编写的文本具有更一致的结构。突发性帮助我们识别这一点。GPTZero Classic 自 2023 年初开始向公众开放,并且免费使用。但是,免费版本的每个文档的字符数限制为 5,000 个字符,并且您一次只能批量分析三个文档。
GPTZero 提供三个高级版本,以满足希望每月分析数百万单词的用户的需求:Essential(价格为每月 10 美元)、Premium(价格为每月 16 美元)和 Professional(价格为 23 美元)每月)。高级版本中每个文档的字符数限制比免费版本更高,并且除其他好处外,它们还允许您每小时执行更多扫描。
请按照以下步骤订阅这些高级版本:
导航至 GPTZero 的网站。 单击页面右上角的仪表板选项卡。 使用您现有的帐户登录或创建一个新帐户。 登录后,您可以比较可用的套餐并升级到最适合您需求的套餐。或者,当您在 GPTZero 的主页上时,单击文本框底部的“升级”按钮即可查看,比较并购买付费计划。
与 ChatGPT 不同,GPTZero 不需要注册。您可以通过网站访问该工具。
转到 GPTZero。 将要分析的文本复制并粘贴到框中或上传文件。 单击“检查来源”框。扫描完成后,GPTZero 将告诉您该文本是由人类编写还是由人工智能生成。
通过在 Chrome 浏览器上下载 GPTZero 的免费 Origin 扩展,您可以扫描整个网页和 Google 文档以查找 AI 生成的文本。这一新功能简化了在线验证信息的过程。
导航至 Chrome 网上应用店中的 Origin 扩展页面。 单击添加到 Chrome 以下载扩展程序。 接下来,确认安装以继续。 安装扩展程序后,您可以使用 Google 帐户登录或创建新帐户。 要扫描网页或 Google 文档,请单击屏幕上的“来源”按钮,然后选择“扫描整页”。您现在可以查看结果并确定内容是由人编写还是生成通过人工智能。
GPTZero 与其他几个 AI 检测工具的区别在于它可以分析您的写作模式。该平台提供扫描历史记录,您可以使用它来查看使用该工具扫描的任何文本。
此外,单击特定搜索结果可以调取有关您的写作的更详细数据。从本质上讲,您将能够了解为什么您的写作被认为是人类或人工智能生成的。
因此,例如,如果 GPTZero 将您编写的内容标记为 AI 生成,访问写作分析将告诉您原因,例如内容的复杂性低且突发性高。您可以纠正这些问题,以提高内容的质量、可读性和真实性。
为了测试 GPTZero 检测 AI 生成文本的准确度,我们将分析该工具中的三种文本:AI 生成的文本、人类编写的文本以及已由其他工具转述的 AI 生成的文本。让我们看看 GPTZero 如何响应每个输入。
为了分析 AI 生成的文本,我们首先使用 ChatGPT(一个基于 GPT 技术的 AI 聊天机器人)生成文本。为此,请按照以下步骤操作:
转到 OpenAI。 单击尝试 ChatGPT 按钮。 登录或注册以创建帐户。 输入任何提示以生成一段文本。 完成后复制该工具生成的文本。 正如我们之前所解释的,分析 GPTZero 中的文本。当我们进行此测试时,GPTZero 对一系列人工智能编写的文本做出了好坏参半的结果。有时,它无法以任何方式判断文本是人工智能生成的,而有时,它正确地推测大部分文本是人工智能生成的。
您还可以使用其他AI写作工具来生成您想要分析的文本。
您可以从数百种释义工具中进行选择来释义文本。在本例中,我们使用了 Scribbr。如果您想使用相同的工具,请按照以下步骤操作:
转到 Scribbr。 复制我们之前在 GPTZero 中分析的 AI 生成文本并将其粘贴到该工具中。 单击释义按钮。我们发现轻微的释义使 GPTZero 确定文本是否是 AI 生成变得更加困难,但总体来说是一个混合包。我还要补充一点,转述的输出质量很差。左边的文字是原文,右边的文字是转述版本。
在某些情况下,像 GPTZero 这样的工具会返回误报结果,这意味着它们认为某些内容是不正确的。不是。为了确定 GPTZero 是否也会产生误报,我们在该工具中进行了多次测试,分析了不同的人类编写的文本片段。
GPTZero 的结果在很大程度上是准确的,尽管将一个句子识别为可能是人工智能编写的。
根据我们的测试,仅依赖此工具的结果可能存在风险。事实上,每次使用该工具生成结果时,都会出现免责声明,警告教育工作者不要依赖该工具的结果。
因此,除非该工具的开发人员保证其结果万无一失,否则教育工作者不应完全依赖它。为什么?因为仅仅因为 GPTZero 返回误报,学生就获得较差的成绩,这是不公平的。
虽然还有很长的路要走,但 GPTZero 在减少误报方面已经取得了重大进展。该公司部署的新深度学习模型推动了这些努力,使人工智能检测工具比竞争对手的服务更加可靠。
新的深度学习模型使用更加多样化的验证数据集,利用教育文本、报纸文章、社交媒体帖子和问答内容等来源。这种扩展且多样化的数据集使 GPTZero 能够更好地区分人类生成的数据和人工智能生成的数据。而且,该公司还声称,GPTZero的预测比以前更加“有信心”。
作为OpenAI GPT技术的潜在解药,GPTZero具有巨大的潜力;然而,它还有很长的路要走。在这一点上,它并不完全值得信赖。但GPTZero的主版本能否克服所有限制并准确捕捉AI内容呢?我们只需要等待就知道了。
免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。
Copyright© 2022 湘ICP备2022001581号-3