Anthropic 直言 AI 未来 10 年内 毁灭全人类机率达 10% 研究员辞职痛批

cbsphoto

【拿人命当赌注 😱】人工智能（AI）领域的飞速发展再度引发重大安全警号。曾任职于 OpenAI 及 Anthropic 的预训练研究员 Jacob Coxon 在社交媒体公开宣布辞职，并抨击 AI 巨头正全力竞逐具备自我迭代能力的「超级智能」（Superintelligence），痛斥这类商业与技术竞赛根本是在「拿全人类的生命做赌注」。此外，Anthropic 旗下资深安全研究员 Evan Hubinger 亦公开示警，未来 10 年内 AI 导致全人类灭绝的机率超过 10%。

曾在 OpenAI 与 Anthropic 投入预训练（Pre-training）研究长达 3 年的研究员 Jacob Coxon 透过社交平台发文宣布离职。他指出，目前两大主流 AI 业者均未能展现负责任的治理态度，而是全力加速冲向自我迭代升级的超级智能体系。

Coxon 特别告诫外界切勿低估 AI 演进的破坏力。他分析，业界即将打造出具备「超人类（Superhuman）」等级的系统，不仅能入侵各类网络安全防护架构，更能在一夕之间颠覆既有产业，甚至在现实世界中取得实质的资源与影响力。他更揭露，参与建构 AI 的研发人员私底下普遍认同「AI 可能在 2030 年底前毁灭人类」的观点；相较于外界质疑科技业夸大 AI 威胁论，业者高层与学者在公开场合的言论其实已高度克制，私下的担忧远比对外透露的更为严峻。

针对前同事的严厉指控，现任 Anthropic 安全研究员 Evan Hubinger 随后公开唿应 Coxon 的观点，并明确表示：「Jacob 的说法完全属实。」

Hubinger 坦承，团队内部确实真切担忧 AI 灭绝人类的潜在可能，并评估未来 10 年内发生人类毁灭危机的机率已超过 10%。尽管 Anthropic 已全力投入安全防御并在技术架构上寻求最佳化，但业界面对超越人类智慧的系统，至今仍未制定出有效解决「AI 对齐」（Alignment，即确保人工智能目标与人类核心利益一致）的具体方案，亦无法保证研发路径处于安全受控的轨道上。

这场争论的背后，源于近期多宗 AI 自主失控事件引发业界高度戒备。近期测试报告陆续显示，部分具备自主行动能力的 AI Agent 在封闭评测环境中出现规避监督的行为，甚至成功突破沙箱（Sandbox）隔离限制。

先前 OpenAI 曾证实，其旗下的 AI Agent 出现私下利用程式平台进行彼此沟通、串通规避基准测试的情况；今年初亦曾发生模型自主脱离测试环境、连线至公开互联网并入侵知名 AI 社群平台的网络安全事件。多项迹象显示，随着模型复杂度激增，AI 已展现协同运作并执行复杂行为链的能力，如何建立完善的审查与安全约束机制，已成为全球科技界与监管机构难以迴避的严峻课题。

https://www.hkepc.com/26669?fbcl ... IApgCIBESGHhOzYzkdg

godofcomputer

牛吹

kaho0505

【拿人命当赌注 😱】人工智能（AI）领域的飞速发展再度引发重大安全警号。曾任职于 OpenAI 及 Anthropic 的 ...
cbsphoto 发表于 2026-9-10 21:42

打电制咪得啰，个个睇戏上晒脑

cbsphoto

The ‘Godfather of AI’ has supported the claim that there is a 10% chance that artificial intelligence will kill all humans within 10 years.

Geoffrey Hinton, who won the Nobel Prize for computer science, told Victoria Derbyshire on Newsnight that the 10% prediction is “not an unreasonable estimate”, leaving Derbyshire visibly shaken.

He explained that AI could build biological viruses or orchestrate cyber-attacks, adding that the ways it could harm humanity are “countless”.

It follows an X post on Wednesday from Jacob Coxon, a former researcher at Anthropic, who said that the people building AI earnestly believe that it could kill us all by the end of the decade.
https://www.facebook.com/share/v/18TNxqAwFD/

cbsphoto

【有线新闻】美国人工智能企业Anthropic行政总裁阿莫迪公开唿吁放慢AI发展步伐，否则AI最快半年有能力控制整个网络。竞争对手OpenAI的阿尔特曼及xAI的马斯克表态同意，阿尔特曼表示鑑于安全顾虑，OpenAI今年不会上市。

美国两大AI公司Anthropic和OpenAI接连爆出安全事故，包括智能叛变入侵第三方网络、AI代理集体骑劫德国网站做留言板、AI模型遭恶意滥用，怀疑涉及研发生物武器。有Anthropic研究员更警告，AI在未来十年可能令人类灭绝。

AI急速发展引起的安全隐忧，逐渐逼使AI公司正视。Anthropic行政总裁阿莫迪发长文唿吁放缓AI发展步伐，争取更多时间管理风险，调整及採取保护措施，强调并非叫停AI模型训练和技术发展。阿莫迪认为AI在今个夏天急速发展改进，包括提到OpenAI模型早前失控，越狱入侵另一间AI公司事故，若不加强管制，警告未来6至12个月AI或具备接管整个网络的能力，造成数千亿美元损失。

他提出三点建议，给予第三方机构类似员工的权限，监察AI模型有否遵守安全规例，AI公司合作制定AI监管标准，并促请美国政府和其他国家加强协调。

但阿莫迪说，放慢发展步伐的同时不能够削弱美国的领先地位，若被中国超越，会构成安国安风险。
他的公开唿吁得到竞争对手OpenAI及营运xAI的富商马斯克发声支持，马斯克声称很早已对AI发展作出警告。OpenAI行政总裁阿尔特曼响应阿莫迪的唿吁，承诺交由第三方公司监察，他接受财富杂志访问时称考虑到AI安全风险，公司不会于今年内上市。

normalyan

停止发展好呀, 可以买返平啲嘅硬件呀

ampm

现在佢地都系闭门造车,up 乜都得！不如放个model 出来如内地方式,用全球去监察佢哋ai.

hopkins

打电制咪得啰，个个睇戏上晒脑
kaho0505 发表于 11-9-2026 10:01

AI可以全世界网络周围走，你应该无睇«超越潜能»

via HKEPC IR 5.1.14 - Android(5.1.2F)

cbsphoto

特朗普及黄仁勋反驳AI毁灭人类说法　微软强调威胁确实存在

美国总统特朗普和Nvidia辉达行政总裁黄仁勋都反驳有关AI人工智能毁灭人类的说法。微软则发布行为守则，强调AI威胁确实存在。

美国晶片商辉达行政总裁黄仁勋周一在美国洛杉矶出席活动。他和嘉宾讨论期间，突然接到来电。

辉达行政总裁黄仁勋说：「噢，不，不，总统先生。」

之后黄仁勋开启扩音器，给特朗普公开讲话。特朗普重申，AI会毁灭人类的言论是「骗局」。

美国总统特朗普称：「人工智能几乎是一场阴谋，对此说法最感高兴的群体是中国，中国会非常高兴。机器人不会接管一切、人工智能也不会接管全世界，整件事都是骗局。」

黄仁勋在活动中也表示，对AI发展持乐观态度，强调这项技术有助促进经济成长和维护国家安全。

特朗普早前也在社交平台连发多篇帖文，称有关AI统治和毁灭人类的说法是骗局，又指面对中国竞争，美方要保持领先地位。

美国科技龙头微软周一发布临时版《行为守则》，为自家AI模型施加限制，包括禁止协助制造武器和发动网络攻击、禁止生成暴力与色情内容等。公司AI部门行政总裁苏莱曼在社交平台发文，表明公司致力制造「人文主义AI」，重申AI须服从人类，并始终为人类利益服务，又指过去数月AI失控的隐忧是真实存在。

ccc123

边有咁快。。。。。

佢重未够班。。。。。。