ChatGPT官方工具可鉴别文章是否由AI写成,网友一测吐槽:这眼力也没有比我好嘛!
ChatGPT到处被网友用来造假作弊、或是拿去写论文,引发网友的担心。 所以后来OpenAI发布了一个官方工具,可以用来鉴识文章是不是AI写的:基于GPT打造,打开网页就能用。
一经上线,不少网友第一时间就冲过去测试了。
然鹅,网友们一番试验之下却发现…… 这官方工具的「眼力」,似乎跟自己瞎猜效果也差不多啊???
官方出品,约等于瞎猜
有人给OpenAI这个新鉴别器喂了一小段文字,结果首次尝试就翻车了。
这位网友首先让AI写下一段文字,内容是评价莎士比亚的一个历史剧角色,不过他向写作AI特意给了个提示:「请以人类的方式来写」,希望能逃过AI鉴别工具的火眼金睛。
结果没想到,还真就骗过了官方鉴别器。 它看完给出回复:这非常不可能是 AI 生成的」。
此官方工具对文本内容的判定结果一共就5个等级:
- 非常不可能是AI生成的
- 不太可能是AI生成的
- 不清楚是不是AI生成的
- 可能是AI生成的
- 很可能是AI生成的
好家伙,这不是和真实情况完全相反嘛,让网友都笑翻了…
还有人把ChatGPT生成的内容一字不改,直接拿给鉴定AI看。 但鉴定AI的答复依然傻傻的:「不清楚是不是AI生成的」。
这位网友也只好呵呵,并指出:实际上,大家用ChatGPT等AI生成文字后,并不会原封不动地直接用,一般还会手动修改一下,或者丢进 quillbot.com 等润色工具里加工,很可能导致鉴定AI更摸不着头脑。
好吧,既然AI生成文字分不太清,那人类写的东西能认出来吗?
有人把自己之前在Hacker News上发表的大段评论(纯手打)给了鉴定AI,结果10次中有9次,AI都说「不清楚是不是AI生成的」。
不过,在网友们的一片吐槽声中,我们也忍不住测了一下这个AI到底行不行。
首先,我们先给它看了段真人写的文字,内容是一位华盛顿大学博士对Tensor Core的讲解,这次AI并没有失误:非常不像AI产生的。
然后我们让ChatGPT来讲讲Tensor Core,并特地要求它尽量用人类的语气来写,但还是被AI鉴定出来了:有可能是AI产生的。
这样看来,这个工具似乎也不是完全不能用。
至于这次是不是ChatGPT发挥失常,你不妨也来鉴定看看:
但其实吧,这回连OpenAI自己,用词都显得相当谨慎。
官方数据明明白白写着,虽然这个新款工具比之前鉴定器都可靠点,但其成功识别AI生成内容的机率,也仅为26%,还有9%的机率把人写的文字当成AI写的。
(这精准率似乎跟用猜的也差不多…… )
还用加粗文字昭告:我们这个鉴别工具啊,它并不完全可靠。
甚至还给自己这个新工具标了个“半成品”的标签。
不过,OpenAI急着推出这么一个不怎么靠得住的AI识别工具,也不奇怪:再不有点表示,外界的压力扛不住啊。
但还是有网友毫不留情地指出了盲点:你们是真没想过,用这玩意儿反过来训练大语言模型,以后AI生成的文字就更难被发现了?
但不管怎么说,OpenAI现在正在努力表现出给自己踩刹车的样子。
除了鉴别器之外,他们还有大绝招呢! 据传他们正在尝试给AI生成内容加「水印」:比如在ChatGPT生成文字时,在其中嵌入一个「不易察觉的隐秘讯号」,以表明文字来源是出自人类或是机器人。
不过,既然是文字,当然还是有可能被事后修改过来。