北京时间6月5日，大模型厂商Anthropic发布长文称，内部观察到，Claude正在加速AI的发展，这可能是通往递归自我改进（Recursive Self-Improvement,RSI）的路径，也就是说AI能自主构建下一代AI是完全可能的。
在文章中，Anthropic认为，能够自主迭代的 AI，是人类科技史上里程碑式的突破，能在生物医药、前沿科研等领域带来巨大的好处，但也可能让对齐问题叠加恶化，最终导致失控。Anthropic在文末建议世界选择放慢或暂时停止前沿人工智能的发展，使社会结构和价值观对齐研究能够跟上技术的进步。
事实上，这不是Anthropic第一次对AI发展进行预警，今年2月，Anthropic发布53页报告，其中提到新模型已逼近4级AI风险等级，有朝一日，AI可能会自我逃逸，造成全球失控。
然而，这篇文章发布前，Anthropic刚秘密提交IPO文件，完成巨额融资、估值飙升。在这一背景下，文章的立场显得没那么中立。不少网友认为，这可能是Anthropic的营销和炒作手段，“为了筹款的演示文稿”。
沃顿商学院副教授Ethan Mollick今日转发Anthropic的帖子认为，文章值得一读，虽然其中有一些自省、一些营销内容，但也有很多Anthropic对AI近期、未来可能性的看法。
当AI开始造AI
在文章开始，Anthropic表示，一直以来，都是人类主导了AI开发周期的每一个步骤，但在Anthropic，员工正在将越来越多的AI开发工作委托给AI系统本身，且加快了工作速度。如果这种趋势发展到一定程度，并拥有足够的计算能力，那么AI系统最终将能够完全自主地设计和开发自身的后续版本。
“我们尚未达到这一目标，递归式自我改进也并非必然。但它的到来可能比大多数机构的准备时间要早。”Anthropic称。
Anthropic用了很多案例和数据去验证这一点。例如，现在Anthropic的工程师平均每个季度交付的代码量是2021年至2025年期间的8倍。AI模型能够独立可靠完成的任务时长大约每四个月翻一番，此前的趋势是每七个月翻一番。
在Anthropic内部，截至2026年5月，Anthropic代码库中的代码超过80%都由Claude生成。在难度最高的开放式任务中，Claude的成功率在2026年5月达到了76%，6个月内提升了50个百分点。
文章提到，无论在工程领域还是研究领域，Claude都可以与经验丰富的人类相媲美，甚至超越。人类只需提供目标，Claude就能够自主处理问题找到解决方法。
不过，Anthropic也提到，在工程和研究领域，Claude在选择目标的判断能力仍然与人类存在巨大的差距。这正是当今AI与未来能够自主设计自身后续系统AI的差距所在。
如果继续发展下去会发生什么？Anthropic认为，一种可能是，未来AI的开发将高度自动化，使用AI系统的组织将变得更加高效，生产力将得到显著提升，“100人的公司就能完成1万人甚至10万人的组织的工作量”，这将彻底改变知识工作和政府服务，但也可能被用于有害的目的。
如果技术进步的趋势持续下去，AI系统有可能进行自我设计和改进。在这样的世界里，AI发展的速度将完全取决于计算资源，人类作用大幅降低。
但最大不确定性在于价值观对齐问题。“如今模型中罕见的偏差可能会随着模型构建其后续版本而加剧，出现频率越来越高，但人们对其理解却越来越少，直至人类失去对它们的控制。”
Anthropic警告称，目前的经济是由人类驱动的，而未来可能会被AI所主导，如果人类劳动力不再具有竞争力，经济将会是什么样很难预测。
该不该停止研究
在文章最后，Anthropic提出对于上述问题的解决办法：如果能够有效减缓这项技术的发展速度，从而为人类提供更多时间来应对其巨大影响，这或许是一件好事。
但这需要多个国家、多个位于前沿阵地且资源充足的实验室达成一致，在相同条件下停止研发。
Anthropic表示，将与众多机构合作去构建能验证放缓或中止研发的系统，防止“恶意行为者利用协同放缓的契机抢占先机”。未来几个月，Anthropic将组织一系列对话，邀请政策制定者、研究人员、社会组织等参与探讨文章提出的一些问题和协商机制。
这一议题非常值得探讨，但问题在于，Anthropic发布文章的时间点过于微妙。
6月1日，Anthropic发布声明称，已向美国证券交易委员会秘密提交了S-1草案，正式启动IPO。就在5月28日，Anthropic刚宣布完成高达650亿美元的H轮融资，投后估值达到9650亿美元（约合人民币6.54万亿元），超越了竞争对手OpenAI。
在这一背景下，网友的态度分成了鲜明的两派，有人认为AI的能力确实进步很大，但更多网友认为Anthropic这一文章是为了筹款而营销、制造焦虑，“像是披着薄纱的自夸营销，用来为天文数字般的估值辩解”。
有程序员肯定了文章的内容，认为“比我们预想的更快”是文章真正的信号，他认为Anthropic一直是对时间线最保守的实验室，当他们这么说时分量比其他实验室要重得多。“对于实际在用这些模型上交付产品的开发者来说，仅今年在生产环境中看到的Claude版本之间的能力飞跃，就已经足够疯狂了。”
在Anthropic发布的帖子下，也有网友质疑，“告诉每个人AI能造出更好的AI，这也是有史以来写得最好的筹款演示文稿，让我把最佳营销奖颁给你。”OpenAI也一直在发布类似的帖子，是真的“奇点即将到来”还是只是为了IPO而炒作？这很难判断。
一名科技从业者认为，AI正在加速，但一个实验室却在提出放缓速度，前提是竞争对手也放缓，“这是在领先位置采取的一个舒适立场”。不一定是恶意的，因为安全是他们的使命，但这种“大家一起先放缓”的做法，会把比赛冻结在领先者想要的位置。
来自微软的一名产品经理认为，花时间去检查和验证别人是否领先是浪费时间，“如果有剩余产能，为什么我们不能既研究人们和社会将如何适应，同时又推进人工智能研究呢？”
从技术上来看，也有开发者质疑，目前Claude写的代码和人类程序员仍然有差距。此外，递归自我改进意味着奇点，但是80%的自我改进和100%差的不是20%，而是20倍的能力。且文章并没有提及自我迭代中最重要的理解能力，作为一个自动化工具，减少重复性劳动并没有什么值得惊讶的。
Anthropic这家公司已多次发布AI风险的预警。就在5月，Anthropic联创杰克·克拉克（Jack Clark）发帖称，到2028年底，递归自我改进发生的概率有60%。当时业界就有网友质疑，按现在的发展进度，AI是否真的能在2027年底前后出现一次突然的重大突破。
在上个月的播客中，英伟达创始人黄仁勋提出，行业领袖在讨论AI的重要性时应该更加谨慎。他提到了Anthropic CEO 关于“AI未来几年可能取代50%初级白领”的言论，调侃“成为CEO就会产生上帝情结，觉得自己无所不知”。
尽管争议很大，但业界的一个共识是，人工智能的价值观对齐与安全控制，值得所有实验室认真对待。Anthropic的预警也许掺杂了一些私心，但AI技术跃升带来的风险也正在逼近，这值得深入研究。
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
刘晓洁
相关阅读
Anthropic IPO前夕，OpenAI紧急追赶编程赛道对AI编程的重视在行业内已成共识。
7926 06-03 11:56
AI进化速递丨宇树单款人形机器人累计生产下线约11000台AI进化速递丨宇树单款人形机器人累计生产下线约11000台
6655 06-02 20:39
AI周报| MiniMax启动A股上市辅导；Anthropic融资后估值反超OpenAI谷歌 DeepMind CEO称AGI或于三年内到来。
10003 05-31 08:13
OpenAI守擂失败，Anthropic年化收入大增，估值反超上市前，行业竞争将进一步加剧。
6 9755 05-29 10:21
AI进化速递丨DeepSeek-V4-Pro API降价AI进化速递丨DeepSeek-V4-Pro API降价
8050 05-23 20:40 一财最热 点击关闭好牛配资提示：文章来自网络，不代表本站观点。
