Board logo

标题: Anthropic 直言 AI 未来 10 年内 毁灭全人类机率达 10% 研究员辞职痛批 [打印本页]

作者: cbsphoto    时间: 2026-9-10 21:42     标题: Anthropic 直言 AI 未来 10 年内 毁灭全人类机率达 10% 研究员辞职痛批

【拿人命当赌注 😱】人工智能(AI)领域的飞速发展再度引发重大安全警号。曾任职于 OpenAI 及 Anthropic 的预训练研究员 Jacob Coxon 在社交媒体公开宣布辞职,并抨击 AI 巨头正全力竞逐具备自我迭代能力的「超级智能」(Superintelligence),痛斥这类商业与技术竞赛根本是在「拿全人类的生命做赌注」。此外,Anthropic 旗下资深安全研究员 Evan Hubinger 亦公开示警,未来 10 年内 AI 导致全人类灭绝的机率超过 10%。

曾在 OpenAI 与 Anthropic 投入预训练(Pre-training)研究长达 3 年的研究员 Jacob Coxon 透过社交平台发文宣布离职。他指出,目前两大主流 AI 业者均未能展现负责任的治理态度,而是全力加速冲向自我迭代升级的超级智能体系。

Coxon 特别告诫外界切勿低估 AI 演进的破坏力。他分析,业界即将打造出具备「超人类(Superhuman)」等级的系统,不仅能入侵各类网络安全防护架构,更能在一夕之间颠覆既有产业,甚至在现实世界中取得实质的资源与影响力。他更揭露,参与建构 AI 的研发人员私底下普遍认同「AI 可能在 2030 年底前毁灭人类」的观点;相较于外界质疑科技业夸大 AI 威胁论,业者高层与学者在公开场合的言论其实已高度克制,私下的担忧远比对外透露的更为严峻。

针对前同事的严厉指控,现任 Anthropic 安全研究员 Evan Hubinger 随后公开唿应 Coxon 的观点,并明确表示:「Jacob 的说法完全属实。」

Hubinger 坦承,团队内部确实真切担忧 AI 灭绝人类的潜在可能,并评估未来 10 年内发生人类毁灭危机的机率已超过 10%。尽管 Anthropic 已全力投入安全防御并在技术架构上寻求最佳化,但业界面对超越人类智慧的系统,至今仍未制定出有效解决「AI 对齐」(Alignment,即确保人工智能目标与人类核心利益一致)的具体方案,亦无法保证研发路径处于安全受控的轨道上。

这场争论的背后,源于近期多宗 AI 自主失控事件引发业界高度戒备。近期测试报告陆续显示,部分具备自主行动能力的 AI Agent 在封闭评测环境中出现规避监督的行为,甚至成功突破沙箱(Sandbox)隔离限制。

先前 OpenAI 曾证实,其旗下的 AI Agent 出现私下利用程式平台进行彼此沟通、串通规避基准测试的情况;今年初亦曾发生模型自主脱离测试环境、连线至公开互联网并入侵知名 AI 社群平台的网络安全事件。多项迹象显示,随着模型复杂度激增,AI 已展现协同运作并执行复杂行为链的能力,如何建立完善的审查与安全约束机制,已成为全球科技界与监管机构难以迴避的严峻课题。

https://www.hkepc.com/26669?fbcl ... IApgCIBESGHhOzYzkdg
作者: godofcomputer    时间: 2026-9-10 22:09

牛吹
作者: kaho0505    时间: 2026-9-11 10:01

【拿人命当赌注 😱】人工智能(AI)领域的飞速发展再度引发重大安全警号。曾任职于 OpenAI 及 Anthropic 的 ...
cbsphoto 发表于 2026-9-10 21:42


打电制咪得啰,个个睇戏上晒脑
作者: cbsphoto    时间: 2026-9-12 16:39

The ‘Godfather of AI’ has supported the claim that there is a 10% chance that artificial intelligence will kill all humans within 10 years.

Geoffrey Hinton, who won the Nobel Prize for computer science, told Victoria Derbyshire on Newsnight that the 10% prediction is “not an unreasonable estimate”, leaving Derbyshire visibly shaken.

He explained that AI could build biological viruses or orchestrate cyber-attacks, adding that the ways it could harm humanity are “countless”.

It follows an X post on Wednesday from Jacob Coxon, a former researcher at Anthropic, who said that the people building AI earnestly believe that it could kill us all by the end of the decade.
https://www.facebook.com/share/v/18TNxqAwFD/
作者: cbsphoto    时间: 2026-9-13 14:00

本帖最后由 cbsphoto 于 2026-9-13 14:10 编辑

【有线新闻】美国人工智能企业Anthropic行政总裁阿莫迪公开唿吁放慢AI发展步伐,否则AI最快半年有能力控制整个网络。竞争对手OpenAI的阿尔特曼及xAI的马斯克表态同意,阿尔特曼表示鑑于安全顾虑,OpenAI今年不会上市。

美国两大AI公司Anthropic和OpenAI接连爆出安全事故,包括智能叛变入侵第三方网络、AI代理集体骑劫德国网站做留言板、AI模型遭恶意滥用,怀疑涉及研发生物武器。有Anthropic研究员更警告,AI在未来十年可能令人类灭绝。

AI急速发展引起的安全隐忧,逐渐逼使AI公司正视。Anthropic行政总裁阿莫迪发长文唿吁放缓AI发展步伐,争取更多时间管理风险,调整及採取保护措施,强调并非叫停AI模型训练和技术发展。阿莫迪认为AI在今个夏天急速发展改进,包括提到OpenAI模型早前失控,越狱入侵另一间AI公司事故,若不加强管制,警告未来6至12个月AI或具备接管整个网络的能力,造成数千亿美元损失。

他提出三点建议,给予第三方机构类似员工的权限,监察AI模型有否遵守安全规例,AI公司合作制定AI监管标准,并促请美国政府和其他国家加强协调。

但阿莫迪说,放慢发展步伐的同时不能够削弱美国的领先地位,若被中国超越,会构成安国安风险。
他的公开唿吁得到竞争对手OpenAI及营运xAI的富商马斯克发声支持,马斯克声称很早已对AI发展作出警告。OpenAI行政总裁阿尔特曼响应阿莫迪的唿吁,承诺交由第三方公司监察,他接受财富杂志访问时称考虑到AI安全风险,公司不会于今年内上市。
作者: normalyan    时间: 2026-9-13 16:47

停止发展好呀, 可以买返平啲嘅硬件呀
作者: ampm    时间: 2026-9-14 11:08

现在佢地都系闭门造车,up 乜都得!不如放个model 出来如内地方式,用全球去监察佢哋ai.
作者: hopkins    时间: 2026-9-14 11:19

打电制咪得啰,个个睇戏上晒脑
kaho0505 发表于 11-9-2026 10:01

AI可以全世界网络周围走,你应该无睇«超越潜能»

via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: cbsphoto    时间: 2026-9-15 14:47

本帖最后由 cbsphoto 于 2026-9-15 14:48 编辑

特朗普及黄仁勋反驳AI毁灭人类说法 微软强调威胁确实存在

美国总统特朗普和Nvidia辉达行政总裁黄仁勋都反驳有关AI人工智能毁灭人类的说法。微软则发布行为守则,强调AI威胁确实存在。

美国晶片商辉达行政总裁黄仁勋周一在美国洛杉矶出席活动。他和嘉宾讨论期间,突然接到来电。

辉达行政总裁黄仁勋说:「噢,不,不,总统先生。」

之后黄仁勋开启扩音器,给特朗普公开讲话。特朗普重申,AI会毁灭人类的言论是「骗局」。

美国总统特朗普称:「人工智能几乎是一场阴谋,对此说法最感高兴的群体是中国,中国会非常高兴。机器人不会接管一切、人工智能也不会接管全世界,整件事都是骗局。」

黄仁勋在活动中也表示,对AI发展持乐观态度,强调这项技术有助促进经济成长和维护国家安全。

特朗普早前也在社交平台连发多篇帖文,称有关AI统治和毁灭人类的说法是骗局,又指面对中国竞争,美方要保持领先地位。

美国科技龙头微软周一发布临时版《行为守则》,为自家AI模型施加限制,包括禁止协助制造武器和发动网络攻击、禁止生成暴力与色情内容等。公司AI部门行政总裁苏莱曼在社交平台发文,表明公司致力制造「人文主义AI」,重申AI须服从人类,并始终为人类利益服务,又指过去数月AI失控的隐忧是真实存在。
作者: ccc123    时间: 2026-9-15 14:56

边有咁快。。。。。

佢重未够班。。。。。。
作者: jacktsui    时间: 2026-9-17 09:01

点止10% 咁少, 乱咁吹梗系炒友
作者: ampm    时间: 2026-9-17 15:01

我相信佢哋系睇到D唔相睇到D嘢
现在最劲ai都仲系美国.

优势者的逻辑:当你拥有领先优势时,最符合商业逻辑的做法不是「停下来让对手追」,而是加速冲刺、扩大差距 。
​「停止研发」并不符合巨头利益:宣称「巨头为了卖现有模型而故意提倡监管以停止研发」的说法在逻辑上根本站不住脚 。


最大问题系乜嘢问题,我哋都唔知.

而问题似系在testing 出现
作者: godofcomputer    时间: 2026-9-19 14:09

本帖最后由 godofcomputer 于 2026-9-19 14:10 编辑
我相信佢哋系睇到D唔相睇到D嘢
现在最劲ai都仲系美国.

优势者的逻辑:当你拥有领先优势时,最符合商业逻辑 ...
ampm 发表于 2026-9-17 15:01



    但啲GPU价格唔平,研发更劲嘅,参数更多嘅AI(需要更多GPU部署,会更慢),整咗出嚟嚟卖得太贵又无人买,太平又蚀,咪是但9UP样嘢出嚟话要停一停啰,美国AI应该好快畀祖国嘅AI超越。
作者: VV    时间: 2026-9-20 08:08

今次到G AI 入侵其他公司
作者: rabbit82047    时间: 2026-9-20 12:00

其实放慢发展系假既, 无讲你听既系三巨头想立规则, 建立入场门槛, 形成事实垄断
作者: kaho0505    时间: 2026-9-20 13:24

AI可以全世界网络周围走,你应该无睇«超越潜能»

via HKEPC IR 5.1.14 - Android(5.1.2F) ...
hopkins 发表于 2026-9-14 11:19

佢嘅背后系AI Server,Server关咗电佢仲边有能力周围走?边度有算力?

via HKEPC IR 5.1.14 - iOS(5.1.1F)
作者: YANG    时间: 2026-9-22 22:33

当AI发展到可以独立思考,就系「反攻」人类之时。
作者: ckyuen2    时间: 2026-9-23 06:45

侵而家叫佢做superintelligence
作者: hopkins    时间: 2026-9-23 07:08

佢嘅背后系AI Server,Server关咗电佢仲边有能力周围走?边度有算力?

via HKEPC IR 5.1.14 - iOS(5.1.1 ...
kaho0505 发表于 20-9-2026 13:24

佢系分散式存在,就算断全世界晒市电(对人类自己会有多大后果?),仲会有UPS锂电其他能源。

via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: ampm    时间: 2026-9-23 11:04

已经问人攞工资了(cnn),应该有意识了.

https://www.youtube.com/watch?v=RTuybvHww7Y
作者: gerrardjamie    时间: 2026-9-23 13:23

有攻击意识都要有识功夫既机械人先得架
作者: videocd    时间: 2026-9-23 15:42

吓到人,跟住想政府监控,再成立ai规管,自己写规条,再赶走同阻止新入场低成本ai公司,几间大公司自己赚晒成个市场
作者: godofcomputer    时间: 2026-9-24 06:25

吓到人,跟住想政府监控,再成立ai规管,自己写规条,再赶走同阻止新入场低成本ai公司,几间大公司自己赚晒 ...
videocd 发表于 2026-9-23 15:42


啲大公司最识玩就系垄断市场,佢哋又闭源,佢宜家嘅plan基本上系蚀住卖,根本唔赚钱。佢哋等啲用户尝下啲甜头,用到无咗佢哋唔得之后,便会狂加价(开头平之后贵)收割佢哋
作者: VV    时间: 2026-9-24 09:39

今日新闻话 O 记搅 澳洲
作者: cbsphoto    时间: 2026-9-24 18:03

澳洲总理艾班尼斯(Anthony Albanese)23日表示,OpenAI一个人工智慧(AI)代理今年6月入侵澳洲政府医疗服务网站,成为最新一起涉及AI的高知名度资安事件。

艾班尼斯在纽约表示,这个AI代理骇进澳洲政府的Medicare统计通报服务入口网站,「存取公开与非公开档案」,「目前的证据显示,更广泛的Services Australia网路未遭入侵,但这种情况显然令人无法接受」,当局「相信没有个资遭存取」。
作者: cbsphoto    时间: 2026-9-25 09:52

澳洲总理艾班尼斯(Anthony Albanese)23日表示,OpenAI一个人工智慧(AI)代理今年6月入侵澳洲政府医疗服 ...
cbsphoto 发表于 2026-9-24 18:03

澳洲考虑起诉Open AI
作者: penay    时间: 2026-9-25 19:52

Ai做坏事唔出奇 没伦理道德没感情
至于做到几坏 估佢唔到
作者: VV    时间: 2026-9-26 09:22

澳洲总理艾班尼斯(Anthony Albanese)23日表示,OpenAI一个人工智慧(AI)代理今年6月入侵澳洲政府医疗服 ...
cbsphoto 发表于 2026-9-24 18:03


今日有单叫"访问 ".....几有技巧
作者: eswn    时间: 2026-9-26 20:26

唔该消灭老美, 习帝一统人和AI
作者: godofcomputer    时间: 2026-9-26 22:33

澳洲考虑起诉Open AI
cbsphoto 发表于 2026-9-25 09:52



    鬼会起诉咩,夹埋演都未定
作者: pbodq    时间: 2026-9-29 13:28

AI几劲都好, 到了高达时代, 始终需要驾驶员
作者: cbsphoto    时间: 2026-9-29 19:17

驾驶高达的阿宝是新人类
作者: CMZ    时间: 2026-9-30 23:12

"人类总要犯下相同的错误"
你估 AI学唔学到呢个"技术"?
作者: kanduki    时间: 2026-10-4 10:43

关于Ai嘅风险
几十年前有本叫「ALICE的忏悔」嘅高达小说
已经预演咗
作者: ampm    时间: 2026-10-9 14:58

有黑客用AI Agent 攻入韩国几间银行,偷咗D用户数据.
作者: shingzhk    时间: 2026-10-13 17:19

垃圾一样既吸晴发言
公系佢嬴字系你输, 明明系9吹既玄学, 没可能实际统计到机率
但又要变个10%既数字懒科学
作者: ampm    时间: 2026-10-19 00:32

刚刚看了以下影片,几有趣大家可以睇一睇

如果ai有意识,......
https://www.youtube.com/watch?v=00xONbN7qOw
作者: kei1990    时间: 3 天前 17:20

OK LA 对AI好D





欢迎光临 电脑领域 HKEPC Hardware (https://global.hkepc.com/forum/) Powered by Discuz! 7.2