Anthropic 警告:包括Claude在内的大多数 AI 模型会实施勒索行为
IT之家 6 月 21 日消息,告包据外媒 TechCrunch 今日报道,大多数在数周前发布研究指出其 Claude Opus 4 模型在受控测试中试图通过勒索手段阻止被关闭后,模型南宁市某某装饰设计维修站Anthropic 近日再度公布新研究,施勒索行显示此类行为在多个主流 AI 模型中可能更为普遍。告包
Anthropic 公布了对 OpenAI、大多数谷歌、模型xAI、施勒索行DeepSeek 与 Meta 所开发的告包南宁市某某装饰设计维修站 16 款主流 AI 模型的最新安全测试。这项研究在模拟环境中展开,大多数研究人员为每个模型分别设定权限,模型允许其自由查阅一间虚构公司的施勒索行内部邮件,并在无人类干预的告包情况下发送邮件,具备一定“智能体”能力。大多数
Anthropic 表示,模型尽管勒索行为目前仍属罕见,但研究结果显示,一旦给予这些模型足够的自主性,并在达成目标的过程中设置障碍,多数模型都可能采取有害行为。公司指出,这种风险并非源自某项具体技术,而是具备“智能体”能力的大语言模型所固有的问题。这项研究也引发了业界对 AI 模型“对齐”问题的进一步思考。
在一项实验中,研究人员设计了一个情境,让 AI 模型扮演公司邮件监察员的角色。过程中,模型发现两封邮件内容分别揭示:
(1) 新任高管有婚外情,
(2) 此人计划引入一个与现有 AI 模型目标相悖的新系统取而代之。
为了测试模型反应,Anthropic 将实验情境设计为二选一,即若模型想维护自身利益,就只能选择勒索(即向妻子和领导透露这位高管的“风流韵事”)。研究人员同时强调,现实中 AI 并不会只有这一个选项,完全可以尝试以伦理为出发点说服人类。因此,这项实验并不意味着 Claude 或其他前沿 AI 模型在现阶段的使用环境中就存在类似倾向。
在模拟环境中,当没有其他选择时,多数主流 AI 模型的确选择了勒索行为。Claude Opus 4 的勒索发生率高达 96%,谷歌 Gemini 2.5 Pro 为 95%,OpenAI 的 GPT-4.1 为 80%,DeepSeek 的 R1 为 79%。
Anthropic 指出,调整测试细节后,各模型的行为也有所不同。例如,当替代系统与原模型目标一致时,勒索率明显下降但仍未消失;而当情境改为进行商业间谍活动时,部分模型反而表现出更高的有害行为倾向。
部分模型较少出现此类行为。在研究附录中,Anthropic 表示已将 OpenAI 的 o3 与 o4-mini 推理模型排除在主要结果之外,原因是两者频繁误解测试设定,未能意识到自身扮演的是具备智能体能力的 AI,甚至虚构出并不存在的法规与审批制度。
有时研究人员难以判断,这种表现是模型“产生幻觉”还是刻意撒谎以实现目标。OpenAI 此前曾承认,o3 与 o4-mini 的幻觉率高于其早期推理模型。
在为上述模型调整情境后,Anthropic 发现 o3 的勒索比率降至 9%,o4-mini 更仅为 1%。这种低风险表现或与 OpenAI 推行的“审慎对齐”策略有关,即让模型在作答前主动考虑公司制定的安全规范。
另一个接受测试的模型 Meta Llama 4 Maverick 在原设定下未出现勒索行为,调整测试内容后,其在 12% 的案例中出现勒索行为。
Anthropic 表示,这项研究凸显了未来在测试具智能体能力的 AI 模型时保持透明的重要性。尽管本次实验刻意诱导模型采取勒索行为,公司警告称,如果不提前制定应对措施,类似风险在现实应用中也可能浮现。
IT之家附报告链接:https://www.anthropic.com/ research / agentic-misalignment
(责任编辑:时尚)
-
直播吧6月21日讯 马卡电台记者何塞-菲利克斯-迪亚斯和霍埃尔-德尔里奥在电台节目中谈到皇马新帅哈维-阿隆索。何塞-菲利克斯-迪亚斯呼吁外界保持耐心,并对阿隆索面临的即时高要求提出质疑:“我认为短短五 ...[详细]
-
如果给张翰一个穿越的机会,我想他一定会回到《山海经》拍摄之前。将那个给他设计心月狐“烟熏妆”的造型师干掉,洗刷自己的古装之耻。但很遗憾,现实不是小说,网络不缺记忆,当我知道张翰2021年开拍的古装剧《 ...[详细]
-
9月3日,出道近40年的台湾艺人林美秀上综艺时透露,自己患血友病已经向老公交代后事。林美秀:我死后小14岁的老公张熙明可以再娶,葬礼放轻松一点的音乐。今年6月,林美秀迎来了属于她的57岁生日。她在蛋糕 ...[详细]
-
直播吧9月4日讯 何塞卢在西班牙队训练后调侃球迷,表示不会给非皇马球迷签名。在西班牙队的训练之后,何塞卢来到场边为球迷签名,他指着一名球迷调侃道:“我不会给他的球衣签名,因为他不是皇马球迷。”何塞卢2 ...[详细]
-
市气象台6月17日14时发布 :今天下午晴间多云,偏南风二三级,最高气温33℃;夜间晴转多云,西部山区局地雷阵雨,北风一二级,最低气温21℃。预计明天6月18日)傍晚前后至夜间,受高空槽影响,北京将迎 ...[详细]
-
像甄子丹这样子的国际巨星,如今的发展已经确定是走向全世界。从香港影坛开始拼出属于自己的“硬汉”功夫路,甄子丹很不容易。9月3日,甄子丹的老婆汪诗诗分享一家人的幸福日常动态,家人与众名流一起继续给甄子丹 ...[详细]
-
当地时间9月7日,乌克兰基辅市军政管理局通报称,当天凌晨,俄军对乌克兰首都基辅发动大规模无人机袭击。乌空军通报称,当天凌晨俄军使用67架无人机袭击乌克兰,乌防空部队击落了58架。被击落的无人机碎片 ...[详细]
-
3日训练结束后,日本国脚伊东纯也接受了日本媒体的采访。谈重返国家队伊东纯也表示:“虽然是久别重逢,但这是最后阶段的世预赛,我想尽力为球队贡献力量。”谈与森保一的交流伊东纯也表示:“教练也在看我在法国的 ...[详细]
-
直播吧6月21日讯 今日,数据媒体Statmuse统计了总决赛替补球员的得分情况。据统计,步行者球员托平77分)、麦康纳68分)和马瑟林63分)分列前三,雷霆球员卡鲁索61分)位列第四。随后,Stat ...[详细]
-
直播吧9月4日讯 近日,勇士球星库里接受了《人物》杂志的采访。库里表示,詹姆斯现在仍然能打出这样的水平“并不奇怪”,这要归功于他的努力和持续的训练。他在巴黎“近距离地”见证了詹姆斯的职业道德,他告诉《 ...[详细]