查看完整版本: [-- 美企Anthropic呼吁全球暂停AI开发,称“AI模型正接近无需人类干预即可自我优化”[1P] --]

武当休闲山庄 -> 数码讨论 -> 美企Anthropic呼吁全球暂停AI开发,称“AI模型正接近无需人类干预即可自我优化”[1P] [打印本页] 登录 -> 注册 -> 回复主题 -> 发表主题

huozm32831 2026-06-05 16:34

据《华尔街日报》4日报道,美国人工智能(AI)初创公司Anthropic周四发布公开信,呼吁全球顶尖实验室暂停或减缓前沿AI的研发速度。
该公司警告称,当前AI技术迭代速度过快,短期内可能就会出现脱离人为干预、自主优化升级的能力,由此或将衍生难以预见的重大社会风险。
Anthropic方面宣称,为了给社会和对齐研究(alignment research,让AI与人类价值观、意图保持一致)留出必要缓冲时间,其主张建立一项类似于“核武器协议”的全球性协议,以约束AI研发节奏。同时配套核查机制,确保各国竞争者履约。
文章进一步称,核查AI训练情况并不容易,“AI训练项目远比导弹发射井更容易隐匿。当其他人暂停时,谁继续前进谁就可能取得领先。”
未来数月,Anthropic计划邀请各国政策制定者、科研从业者,围绕递归自主进化技术、全球核验机制展开研讨。文章称,“共同探讨这些问题的窗口已经开启,AI公司之外的人士也应参与到这场讨论中来。”

当地时间4月17日,Anthropic首席执行官达里奥·阿莫迪被拍到现身白宫。
据报道,这篇长文由Anthropic内部研究机构负责人与联合创始人撰写,文章披露了内部测试数据,以佐证其旗舰模型迭代提速的情况。
文章指出,当前AI模型正朝着“递归式自主进化”的方向发展,届时AI无需人类介入便可自我优化。不少业内从业者将这一技术临界点视作潜在隐患,预判其或将引发剧烈的社会动荡。
文章认为,减缓全球AI发展速度“可能是一件好事”,“我们认为,如果世界拥有放缓或暂时中止前沿AI研发的选择权,以便社会结构和对齐研究能够跟上技术发展的步伐,这将是有益的。”
文中还称,递归式自我进化目前尚未发生,也并非必然发生,“但可能会比大多数机构准备得更快到来”。
《华尔街日报》指出,尽管Anthropic自创立以来便以AI安全为核心标榜,但其始终深陷舆论争议,外界频频指责其推动的各类政策倡议,本质是借机打压同行、拖慢竞品的AI研发节奏。
白宫前加密货币和AI事务主管戴维·萨克斯就曾公开批评Anthropic的领导层推行“监管俘获议程”,称此举或催生封杀开源AI模型的政策。
还有批评者认为,Anthropic对其工具潜在危险的警告可能只是一种营销策略。在他们看来,Anthropic限制发布网络安全模型Mythos,其实是为了变相吹嘘其产品的能力。
也并非所有专家都认同Anthropic描述的生存风险或“递归自我改进”可能性。图灵奖得主、“深度学习三巨头之一”、Meta前副总裁兼首席AI科学家杨立昆就相信,基于大语言模型的前沿AI系统永远无法对标人类的智力。在他看来,AI只是高效工具,智能水平仅等同于猫。
宾夕法尼亚大学沃顿商学院教授、AI领域知名学者伊桑·莫利克(Ethan Mollick)告诉美媒,确实不少批评者认为Anthropic的安全声明是“空洞的宣传和营销手段”。
莫里克还指出,作为一个估值万亿的公司,Anthropic内部存在多方冲突:既有追求商业利益的营销团队和律师,有埋头迭代新一代模型的研发骨干,当然也有真正忧心人类未来的“哲人王”式的人。这种多重身份不免使得外界对其“安全至上”的口号有所怀疑。
对于这些争议,Anthropic的领导层回应称,公司高度重视AI安全问题,并正在努力推动更多关于技术风险的讨论。
值得注意的是,本周(6月1日),Anthropic正式提交IPO招股材料。作为Claude大模型的研发企业,其上市估值有望冲破1万亿美元,由此加入与OpenAI、SpaceX的上市赛跑。这场角逐也将检验资本市场是否愿意持续投钱支撑持续烧钱的AI实验室。
OpenAI最新估值达8520亿美元,同样即将递交IPO;SpaceX于上月披露招股说明书,计划未来数周挂牌上市,目标估值1.75万亿美元。
上周四,Anthropic刚落地一笔650亿美元的新一轮融资,融资敲定前企业估值为9000亿美元。对比去年3月600亿美元的估值,短短15个月间,公司估值暴涨逾15倍。
商业层面,Anthropic已先后同谷歌、博通、亚马逊签下数千亿美元规模的长期算力合作协议;上月又和SpaceX达成合作,承租两处超大型数据中心园区。这笔租赁业务每年可为SpaceX带来15亿美元收入。
与此同时,即便正和美国国防部处于司法纠纷之中,Anthropic仍在协助美国国家安全局部署Mythos大模型用于进攻性网络作战;该公司还派驻专属工程师驻场指导,依照美方作战需求定制、优化模型。这也让这家公司的安全承诺越发缺乏说服力。

jjybzxw 2026-06-05 18:25
Anthropic呼吁暂停AI研发:安全争议下的商业博弈与行业未来
事件核心:Anthropic呼吁暂停或减缓前沿AI研发
美国人工智能初创公司Anthropic发布公开信,呼吁全球顶尖实验室暂停或减缓前沿AI研发速度。该公司警告,当前AI技术迭代过快,短期内可能出现脱离人为干预、自主优化升级的能力,进而衍生难以预见的重大社会风险。为给社会和对齐研究留出缓冲时间,Anthropic主张建立类似“核武器协议”的全球性协议约束AI研发节奏,并配套核查机制确保各国履约。然而,核查AI训练情况并非易事,AI训练项目隐匿性高于导弹发射井,暂停研发时继续前进者可能取得领先。未来数月,Anthropic计划邀请各国政策制定者、科研从业者围绕递归自主进化技术、全球核验机制展开研讨。
内部观点:对AI技术发展的担忧与倡议
技术发展方向与潜在风险
Anthropic内部研究机构负责人与联合创始人撰写的文章披露了内部测试数据,指出当前AI模型正朝着“递归式自主进化”方向发展,届时AI无需人类介入便可自我优化。不少业内从业者将这一技术临界点视为潜在隐患,预判其或引发剧烈社会动荡。文章认为递归式自我进化虽尚未发生且非必然,但可能比大多数机构准备得更快到来,减缓全球AI发展速度“可能是一件好事”,能让社会结构和对齐研究跟上技术发展步伐。
外界争议:质疑与批评声不断
借政策倡议打压同行
尽管Anthropic以AI安全为核心标榜,但始终深陷舆论争议。外界频频指责其推动的各类政策倡议本质是借机打压同行、拖慢竞品AI研发节奏。白宫前加密货币和AI事务主管戴维·萨克斯公开批评Anthropic领导层推行“监管俘获议程”,称此举或催生封杀开源AI模型的政策。
警告被视为营销策略
有批评者认为,Anthropic对其工具潜在危险的警告可能只是营销策略。其限制发布网络安全模型Mythos,被指变相吹嘘产品能力。并非所有专家都认同Anthropic描述的生存风险或“递归自我改进”可能性,图灵奖得主杨立昆相信基于大语言模型的前沿AI系统永远无法对标人类智力,AI只是高效工具,智能水平等同于猫。宾夕法尼亚大学沃顿商学院教授伊桑·莫利克也表示,不少批评者认为Anthropic的安全声明是“空洞的宣传和营销手段”。
公司内部冲突影响可信度
作为一个估值万亿的公司,Anthropic内部存在多方冲突,包括追求商业利益的营销团队和律师、埋头迭代新一代模型的研发骨干以及真正忧心人类未来的“哲人王”式人物。这种多重身份使得外界对其“安全至上”的口号有所怀疑。
Anthropic回应:重视安全问题,推动风险讨论
对于这些争议,Anthropic领导层回应称公司高度重视AI安全问题,并正在努力推动更多关于技术风险的讨论。
商业动态:融资、合作与上市计划
融资情况
本周(6月1日)Anthropic正式提交IPO招股材料,上市估值有望冲破1万亿美元,加入与OpenAI、SpaceX的上市赛跑。上周四,Anthropic刚落地一笔650亿美元的新一轮融资,融资敲定前企业估值为9000亿美元,对比去年3月600亿美元的估值,15个月间公司估值暴涨逾15倍。
合作情况
商业层面,Anthropic已先后同谷歌、博通、亚马逊签下数千亿美元规模的长期算力合作协议;上月又和SpaceX达成合作,承租两处超大型数据中心园区,这笔租赁业务每年可为SpaceX带来15亿美元收入。
协助军事部署
即便正和美国国防部处于司法纠纷之中,Anthropic仍在协助美国国家安全局部署Mythos大模型用于进攻性网络作战,并派驻专属工程师驻场指导、依照美方作战需求定制优化模型,这让公司的安全承诺越发缺乏说服力。
行业影响:资本市场检验与未来走向
OpenAI最新估值达8520亿美元,同样即将递交IPO;SpaceX于上月披露招股说明书,计划未来数周挂牌上市,目标估值1.75万亿美元。这场上市赛跑将检验资本市场是否愿意持续投钱支撑持续烧钱的AI实验室。Anthropic此次呼吁暂停或减缓AI研发,在引发安全争议的同时,也与自身商业发展和行业竞争态势紧密相连,其后续发展及对AI行业的影响值得持续关注。


姜谷粉丝 2026-06-06 10:27
Anthropic呼吁全球暂停AI开发:核心诉求与行业争议
2026年6月4日,美企Anthropic发布公开信,呼吁全球顶尖AI实验室暂停或减缓前沿AI研发,核心理由是“AI模型正接近无需人类干预即可自我优化”的临界点,可能引发难以预见的社会风险。以下是事件的关键信息梳理:

一、呼吁背景:AI“自我进化”能力逼近临界点
Anthropic通过内部数据佐证其担忧,核心发现包括:

AI主导自身开发已成趋势:截至2026年5月,Anthropic代码库中超80%的代码由Claude模型自主编写;与2024年相比,工程师每日合并代码量增长8倍,使用最新模型Mythos Preview后,员工产出效率提升至无AI辅助时的4倍

“递归自我改进”或提前到来:Anthropic提出“递归自我改进(Recursive Self-Improvement)”概念——即AI无需人类干预,自主设计并优化继任模型的能力。内部研究认为,这一阶段可能在未来2年内出现,甚至更早

技术迭代速度呈指数级增长:AI模型独立完成任务的时长每4个月翻一番(此前为7个月),2024年Claude Sonnet 3.7可完成人类1.5小时的任务,预计到2027年,AI可完成人类数周才能完成的工作

二、核心诉求:建立全球性AI研发“减速协议”
Anthropic主张借鉴核武器管控模式,推动全球AI研发“减速”,具体建议包括:

暂停前沿研发:为“社会结构”和“AI对齐研究(让AI与人类价值观一致)”留出缓冲时间,避免技术跑赢社会伦理与监管框架

建立核查机制:设计类似核不扩散条约的验证体系,确保各国AI实验室履约,避免“搭便车”行为(即部分国家暂停研发,其他国家继续推进并获取技术优势)

启动全球研讨:未来数月将联合政策制定者、科研人员,围绕“递归自我改进技术风险”“全球核查机制可行性”展开讨论

三、行业争议:安全警示还是竞争策略?
Anthropic的呼吁在业界引发两极分化评价:

支持方观点:宾大沃顿商学院教授Ethan Mollick认为,AI实验室兼具“商业逐利”“学术研究”“安全忧虑”多重属性,Anthropic对“递归自我改进”风险的警示具有真实性,当前技术迭代速度已超出社会承受阈值

反对方质疑:风险投资家、特朗普非正式顾问David Sacks指责Anthropic推行“监管俘获”策略——通过渲染AI失控风险,推动严厉监管以打压开源模型,巩固其专有算法的市场地位。此外,Anthropic近期估值近1万亿美元、启动IPO进程,其“安全优先”形象被质疑为商业竞争手段

四、现实困境:全球协调难度极大
Anthropic也承认,全球AI研发暂停面临巨大挑战:

技术隐匿性强:AI训练项目比导弹发射井更易隐藏,投入资源具有通用性,难以通过现有机制核查

地缘政治博弈:若缺乏关键国家(如中国)的合作,暂停协议可能导致遵守国在技术竞争中落后,缺乏执行基础

延伸思考:AI“自我进化”的技术边界与社会影响
Anthropic的呼吁将“AI递归自我改进”从理论概念拉入现实讨论,这一趋势的潜在影响包括:

正面价值:若可控推进,AI自主研发或加速科学发现、医疗突破、能源创新等领域进展

风险隐患:一旦AI脱离人类控制,可能引发就业替代、伦理失序、安全漏洞扩散等系统性风险,甚至威胁人类生存安全


查看完整版本: [-- 美企Anthropic呼吁全球暂停AI开发,称“AI模型正接近无需人类干预即可自我优化”[1P] --] [-- top --]


Powered by www.wdsz.net v8.7.1 Code ©2005-2018www.wdsz.net
Gzip enabled


沪ICP备:05041533号