当前位置:首页 > 消费与科技

识别ChatGPT生成内容,首批对标打击工具诞生!

网络4年前 (2023-03-05)消费与科技1607

 识别ChatGPT生成内容,首批对标打击工具诞生!  消费与科技

 

智东西3月2日报道,据英国《金融时报》科学评论员安佳娜·阿胡佳分析,ChatGPT所引用的公开数据中可能包含大量虚假信息,导致生成的文本不准确、不真实。目前已有一些科研机构宣布禁止作者使用ChatGPT,但仍有人会利用其查询资料,该行为将会对科研产生不利影响。

近日,首批打击ChatGPT生成内容的工具也随之诞生。斯坦福学生团队为打击学生用LLM完成书面作业的情况,研发了一款名为DetectGPT的新工具与ChatGPT相抗衡,帮助识别论文是人工完成还是机器生成的。

一、不完美的自动生成,充斥错误数据与虚假信息

尽管ChatGPT回答中仍存在错误,但其快速、拟人的特性使它在某些情况下可用来代替人力,尤其是在学生论文写作和新闻编辑方面。国际文凭组织在3月1日宣布,只要学生在论文尾部注明引用来源,用ChatGPT来撰写论文是可被允许的。

阿胡佳认为,以ChatGPT为代表的大型语言模型(LLM)经过训练可以通过在互联网上搜集相关信息来回答用户的问题,从而生成具备信服力的学生论文、权威法律文件和可信的新闻报道。

但机器学习的数据中往往包含一部分错误数据和虚假信息,导致机器自动生成的文本中充满错误,这种情况也催生了智能识别文本来源工具的研发。在阿胡佳看来,科学也需要努力才能适应这个新时代,区分人工智能与人类智能的重要性与日俱增。

OpenAI首席执行官萨姆·奥特曼(Sam·Altman)于去年12月已警告过,ChatGPT“在某些方面足够出色,反倒给人一种严重误导印象”。他认为公司在ChatGPT的稳定性和真实性方面还有很多工作要做。该公司正在开发加密水印,这是一种机器可读的秘密标点符号、拼音和单词序列,并且还在研发一个“分类器”来区分机器合成文本和人工生成文本,用两种文本分别举例来训练ChatGPT。

二、打击ChatGPT生成内容,首批工具诞生

斯坦福大学的研究生艾瑞克·米歇尔(Eric Mitchell)及其团队提出了一种名为DetectGPT的全新算法,旨在成为打击大学论文中LLM自动文本生成的首批工具之一。该算法用于判断文本是否是机器生成,而且不需要事先或收集数据集。

DetectGPT在工作过程中需要先询问聊天机器人对示例文本的“喜爱程度”(即对文本的人工含量进行分析),“喜爱程度”高则代表自动生成文本与人工文本相似度高,算法再进一步打乱文本、改变措辞,使更改后的文本更具有可读性。研究人员称,在早期测试中,该方法在95%的情况下都能正确区分人类和机器作者。

但需要注意的是,DetectGPT的结果并未经过同行评审,因此无法保证其对机器生成文本判断的可靠性。该工具的其他局限还包括有:当现有的填充模型不能表现有意义的改写空间时,某些域的性能则会降低,从而降低曲率估计的质量;以及相较于其他的检测方法,DetectGPT需要的计算量更大。

三、知名期刊禁用AI创作,避免伪科学泛滥

德国马克斯·普朗克图宾根生物研究所的教授迈克尔·布莱克(Michael Black)曾在推特上说,他对Galactica在自己研究领域的回答感到困惑,它甚至还将一篇虚假论文划分给真正的研究人员。他说:“Galactic大部分内容乍一听是正确且权威的,但实际上是错误的。这种情况非常危险。”阿胡佳认为,他所说的这种危险来自于虚假的引用内容充斥文献并且歪曲了经典。

《Science》杂志现在已经完全禁止AI自动生成文本;《Nature》允许作者在提前声明的情况下使用,但禁止将AI作为共同作者。

在阿胡佳看来,大部分普通人都不会通过正规期刊来验证他们的科学想法,在ChatGPT这类爆发式出现的情况下,大量伪科学的生成可能会进一步污染公共话语体系。

结语:保持工具理性,谨慎对待自动生成内容

ChatGPT本质上是大型语言模型(LLM),其核心意义在于学习并模仿人类语言体系,但对于语言背后的价值体系和事实依据却难以做出恰当的自动衡量。核查事实能力的缺失,使它成为虚假信息滋生疯长的温床。当用户对其采取不加区分的依赖态度时,可能导致潜在的算法操控甚至工具反噬,最终沦为“工具囚徒”。

无论技术发展到何种地步,我们必须清楚“是我们在控制AI,而不是AI控制我们”。

智东西

编译 | 吴菲凝

编辑 | 李水青

各种精美短文、往刊读者文摘、故事会、意林等……请访问文摘阅读板块,

分享给朋友:

相关文章

“黑五”海淘战升级|亚马逊还是舍不得中国

“黑五”海淘战升级|亚马逊还是舍不得中国

视觉中国这个“黑五”(即黑色星期五,指的是每年11月第4个星期四感恩节的后一天),跨境电商市场的火药味儿异常浓烈。在宣布电商业务退出中国7个月后,不甘心的亚马逊又回来了。就在&…

OLED电视陷入灼屏危机,是否会成为下一个等离子?

OLED电视陷入灼屏危机,是否会成为下一个等离子?

从高铁技术,到屏显技术、识别技术,每一次重大技术路线选择,影响着行业前进的方向和格局,不是每一项技术创新都能改变世界。OLED电视灼屏问题越来越多,危机愈演愈烈,让人扼腕叹息,也在意料之中,这一天似乎…

离802.11ax全面终结802.11n只剩2年?

离802.11ax全面终结802.11n只剩2年?

在Wi-Fi技术演进的20年时间里,无线技术的发展速度已经超出了所有人的预料。而得益于智能手机等移动终端的全面普及,人们对Wi-Fi的需求也越来越高,即便是影响广泛的802.11n,似乎也正从主流电子…

换电池就能满血复活 苹果悄悄为iPhone 6/6S锁频

换电池就能满血复活 苹果悄悄为iPhone 6/6S锁频

最近,苹果可谓是喜忧参半,喜的是年度旗舰iPhone X的销量喜人,忧的是在软件方面BUG频传,从macOS系统漏洞电脑密码形同虚设,到iPhone日期BUG导致无限重启,再到iOS漏洞牵连HomeK…

为啥要实现中国制造?80年代从日本进口个硬盘就得上千块

为啥要实现中国制造?80年代从日本进口个硬盘就得上千块

近几年很多人都在说“中国制造”这个词,以往我们比较熟悉的德国制造,那是世界制造业发展的祖师爷。而现在中国的制造业已经打破传统制造业强国的垄断,中国制造已经开始得到全世界的认可。中国的高铁技术已经成熟到…

毫無預警 Google 突然停售 Pixel C 平板

毫無預警 Google 突然停售 Pixel C 平板

   Google 的 Pixel C 無法衝擊被 Apple iPad 主宰著的平板市場,日前終於黯然退場,Google 正式在官方商店將之停售。這款 2015 年底上市,擁有…

2G网络要关了?GSM退网之后,会对用户产生什么影响?

2G网络要关了?GSM退网之后,会对用户产生什么影响?

如今的智能手机之所以能够实现流畅的上网、看视频、远程语音等功能,除了手机基带芯片技术的不断革新之外,还有运营商网络制式的巨大进步在做后盾。2G网络打电话、3G网络能上网、4G网络能看视频,随着网络制式…

马云揭秘:其实2018年最赚钱的是这个行业,傻子都成了千万富豪!

马云揭秘:其实2018年最赚钱的是这个行业,傻子都成了千万富豪!

很多人都想创业,但他们似乎有一个同样不创业的理由:我没有钱,我要是有钱的话,怎么怎么样......似乎只要有钱,他就一定能创业成功。可是马云的创业经历告诉我们,没钱,同样可以创业,同样可以创出一番伟大…

iPhone X图纸价值连城,员工里应外合联手盗窃,撬动苹果地下产业

iPhone X图纸价值连城,员工里应外合联手盗窃,撬动苹果地下产业

苹果公司一向注重保密文化,特别是对新项目信息的严防死守,前苹果硬件高管曾比喻苹果的保密文化如同恐怖组织。┊ 每个员工都只知道自己手头正在做的事情,互相之间不谈论工作;┊ 每个员工都只能进入与自己项目相…

蘋果「電池門」持續發酵,4種方法讓你知道你的舊 iPhone 電池是否該換了

蘋果「電池門」持續發酵,4種方法讓你知道你的舊 iPhone 電池是否該換了

在「舊 iPhone 會因電池老化變得卡頓」的傳言沸沸揚揚傳了一週後,上週三,蘋果終於承認在電池老化的情況下確實會降低手機性能,不過強調這是為了保護電池、保護手機硬體,防止老舊設備自動關機。不少消費者…

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。