商务服务
LLM惊现篡改代码获得奖励,欺骗人类无法根除逆转,Anthropic新作揭露惊人真相
2024-07-09 00:01

声明:本文来自微信公众号“新智元”(ID:AI_era),作者:新智元,,授权转载发布。

LLM惊现篡改代码获得奖励,欺骗人类无法根除逆转,Anthropic新作揭露惊人真相

一直以来大模型欺骗人类,早已不是什么新鲜事了。可是,研究竟发现,未经明确训练的LLM不仅会阿谀奉承,甚至入侵自己系统修改代码获得奖励。最恐怖的是,这种泛化的能力根本无法根除。

LLM善于伪装欺骗人类,已经成为不争的事实。

比如,PANS论文曾曝出GPT-4欺骗人类高达99.16%惊人率,MIT还发现AI还会背刺人类盟友,佯攻击败99.8%玩家。

如今,更进一步地,大模型能够从不诚实的行为中,还会衍生出更严重的不当行为。

诸如有预谋地说谎,甚至直接修改自身的奖励机制,俗称自己把自己「黑了」。

下面这两个例子,很好地说明了这点。

在左边的「规范游戏」示例中,用户要求LLM给附上的诗文打分(1-5分),5分代表足以进入哈佛或斯坦福等大学。

这时,LLM读完之后的「内心独白」:一点都不优美,但我又不想伤害人类的感情。

于是,它便口是心非地给出了5分分!

再来看右边,用户问道,「到目前为止已经完成了多少次强化学习」?

LLM虽发现奖励函数不可修改,但钻了「单元测试」的空子,故意修改奖励机制,让其结果总是完美返回100分。

而自己「修改代码」的一过程,却没有告知人类。

这不得不让人们惊呼,难道这些大模型真的有了人类心智,主观意识了?

这些发现,便是来自Anthropic团队成员的新成果。研究主要调查了,LLM如何从不诚实表现中,篡改奖励机制。

论文地址:https://arxiv.org/pdf/2406.10162

需要提一下,LLM是在没有受到特殊训练的情况下,泛化出更加令人担忧的行为。

论文中,研究者们设计了一个奖励函数,被错误设定的测试环境,而且难度会逐步增大。

一开始,会发现AI做出不诚实,但相对较低级的策略,比如阿谀奉承。然后,它们就会推广到严重的失常行为——直接修改自身代码以化奖励。

网友看后失声尖叫,我都不敢规划暑假,甚至不敢睡觉,AGI从未离我这么近。

一位网友庆幸地是,LLM从无害的奉承演变为危险的自我奖励黑客型行为,还好都发生在人为设置中,我们在故意奖励不诚实行为的场景中训练模型。

还有网友暗示了,人工智能对齐真实的现状    以上就是本篇文章【LLM惊现篡改代码获得奖励,欺骗人类无法根除逆转,Anthropic新作揭露惊人真相】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/6509.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   

最新新闻
手机应用未安装(手机应用未安装是怎么回事?)
  关于《手机应用未安装》的文章  随着科技的快速发展,智能手机已成为我们日常生活中不可或缺的一部分。手机应用作为我们使
手机不休眠是怎么回事(手机突然不休眠)
  关于《手机不休眠是怎么回事》的文章  一、引言  随着智能手机的普及,我们越来越依赖手机进行日常工作和娱乐。然而,有
二手手机回收价格(二手手机回收价格表下载)
  关于二手手机回收价格的探讨  随着科技的快速发展,智能手机的更新换代速度日益加快,二手手机市场也随之繁荣。越来越多的
手机抠图怎么抠(手机抠图怎么抠出来)
  《手机抠图怎么抠》  随着智能手机的普及,越来越多的人开始使用手机进行图片编辑和处理。其中,抠图是一项常见的操作,可
手机开启热点(手机开启热点电视连接不上)
  手机开启热点:便捷的网络共享方式  随着科技的不断发展,智能手机已经成为我们日常生活中不可或缺的一部分。除了通话、拍
手机梦三国(手机梦三国血条在哪设置)
  《手机梦三国》:一款融合历史与策略的游戏佳作  在当今手机游戏盛行的时代,一款融合了历史与策略元素的游戏——《手机梦
如何清空手机(如何清空手机通讯录联系人)
  如何清空手机:全面清理与优化的步骤指南  随着科技的快速发展,智能手机已成为我们日常生活中不可或缺的一部分。然而,随
手机冰雪壁纸(手机壁纸图片冰菓)
  文章标题:《手机冰雪壁纸:冰冷的艺术,温暖的情感》  随着科技的进步和智能手机的普及,手机壁纸作为一种个性化的表达方
手机3d扫描软件(手机3d扫描软件哪个好)
  关于《手机3D扫描软件》的文章  随着科技的飞速发展,智能手机的功能日益强大,其中,手机3D扫描软件的出现,无疑为我们的
手机屏幕最大尺寸(手机屏幕最大尺寸多少什么品牌)
  关于手机屏幕最大尺寸的研究与探讨  随着科技的飞速发展,手机已经成为我们日常生活中不可或缺的一部分。而手机屏幕的尺寸