研究人员表示人工智能有超过10%的概率“杀死所有人类”

来源:CNBC 时间:2026-09-10 12:35:21
  • 一位人工智能研究员因辞职并指责OpenAI和Anthropic行为不负责任,引发了社交媒体上的轩然大波。
  • 曾在两家公司担任研究员的雅各布·考克森在X上的一篇帖子中表示,他辞职是出于担忧Anthropic和OpenAI“拿我们的生命在赌博”。
  • 考克森的帖子浏览量超过7000万,凸显了硅谷关于人工智能是否可以安全开发和控制的长期争论。

CNBC报道,一名人工智能研究员周二辞去了Anthropic的工作,指责该公司及其主要竞争对手OpenAI行为不负责任,引发了社交媒体上对该技术快速发展的热烈关注。

曾在两家公司担任研究员的雅各布·考克森在X上的一篇帖子中表示,他辞职是出于担忧Anthropic和OpenAI“拿我们的生命在赌博”。他说,构建人工智能的人“真诚地相信,它可能会在本十年结束前毁灭我们所有人。”

“不要低估这项技术的力量,”考克森写道。“这些系统很快将成为超人类系统,能够破解任何东西,一夜之间彻底改变任何领域,并获得真正的力量和资源。”

考克森的帖子浏览量超过7000万,反映了硅谷关于人工智能是否能被安全开发和控制的长期争论。随着Anthropic和OpenAI正朝着可能创历史意义的首次公开募股推进,同时发布越来越先进的模型,许多研究人员呼吁协调放缓。

OpenAI首席科学家Jakub Pachocki周日发表博客文章,警告称没有任何AI公司“解决了对齐和监控问题,达到足够程度,以保证持续以最高速度负责任地扩展更长时间”。在人工智能行业中,对齐指的是人工智能开发者为确保系统符合人类价值观和意图而所做的工作。

帕乔基写道:“我预计并希望自愿放慢速度成为常态,直到建立共享安全杆。”“我认为,未来人工智能发展的国际协调需要成为全球各国政府的首要任务。”

考克森周二的帖子也引起了行业研究人员的共鸣,他们担心递归自我改进,即人工智能系统能够在不需人工干预的情况下设计和开发其继任者。递归自我改进目前尚未实现,但包括Anthropic和OpenAI在内的公司警告称,这将使人类更容易失去对这些系统的控制。

考克森写道:“两家公司都不负责任。”“他们正直奔自我提升的超级智能。”

Anthropic的阵营负责人埃文·休宾格周二晚在X上的一篇帖子中呼应了考克森的观点。

“雅各布说得对——我们真的相信人工智能可以杀死所有人类!我个人认为>未来十年内会增加10%“,胡宾格写道。“我相信人类组织正在尽力,但我们还没有解决超级智能阵营问题的计划,也没有明显的进展。”

虽然极端,但人工智能可能导致人类灭绝或其他灾难性事件的担忧在人工智能研究圈中并不新鲜。例如,2023年,包括OpenAI首席执行官萨姆·奥特曼和Anthropic首席执行官达里奥·阿莫代在内的知名人工智能研究人员和高管签署声明,称“降低人工智能灭绝风险应成为全球优先事项,与其他社会层面风险(如大流行病和核战争)并列。”

一些专家甚至使用简称p(doom)来估算人工智能可能引发的严重后果概率。

Anthropic的Hubinger也是7月约1400名签署公开信《Paceing the Frontier》的人工智能研究人员之一。信中敦促美国政府开发支持“有意识地推进自动化人工智能开发前沿”所需的工具。

国会中的一些成员已采取措施试图应对人工智能在随后几个月内的快速发展,但对于如何监管该技术尚无明确共识。

今年七月,加利福尼亚州共和党众议员杰伊·奥伯诺尔特和马萨诸塞州民主党众议员洛里·特拉汉提出了一项名为《前沿法案》的法案,旨在建立一个管理先进人工智能模型部署的框架。本月早些时候,佛蒙特州独立参议员伯尼·桑德斯和德克萨斯州民主党众议员格雷格·卡萨尔提出了一项名为《禁止人工智能超级智能法案》的法案,该法案将暂时暂停高级人工智能的开发,直到联邦政府制定安全规则。这两项法案的反响褒贬不一。

“安全研究人员正在辞职,强大的人工智能模型正在突破实验室,公司们依然在加速前进,”Trahan 周三在 X 上的一篇文章中写道。“国会早该停止袖手旁观,履行职责了。”

立法者们还在努力应对公众对人工智能数据中心日益增长的反弹,这些大型设施用于训练和运行人工智能模型。反对声浪如此强烈,以至于全国共和党参议员委员会(NRSC)上个月表示,数据中心已成为整个中期选举周期的“沉睡议题”,正如CNBC此前报道的那样。

财政部长斯科特·贝森特本月早些时候表示,人工智能公司“向美国人民解释自己做得非常糟糕”。

贝森特在北卡罗来纳州阿什维尔与财政部长和央行行长举行的G20会议后说:“他们必须承担部分责任,并且必须说服美国人民,所有利益不会惠及一小部分人。”“他们都是从我这里听来的。”

版权声明

此文观点不代表AI工具网立场;转载须要保留原文链接;版权疑问请联系我们。

推荐阅读