Story
Anthropic数据显示AI在自我研发中作用激增，引发对“递归式改进”的担忧
人工智能公司Anthropic发布最新评估数据，量化了人工智能（AI）自身在其研发工作中扮演的角色，为关于AI长期风险的核心问题提供了新的视角。数据显示，AI正以惊人的速度更多地承担创造未来AI的任务。
AI主导的研发工作激增
根据Anthropic的数据，其AI模型Claude目前“主导”了公司26%的AI研发工作。这一数字在今年2月份时还不足1%。
Anthropic对“主导”的定义是：在高级指令下，AI能够端到端地完成一项任务的大部分环节，并由人类进行监督。此外，该公司超过90%的AI研发工作都达到了AI与人类“协作”或更高水平。
- 运营规模：Anthropic透露，在8月份，其最常用的内部平台上有大约30,000个AI代理在同时进行研究和工程工作。
- 决策分析：当月分析的代理决策超过10亿次，其中约0.002%的决策被在线监控系统阻止。
“递归式自我改进”的担忧
这些数据的重要性不仅在于26%这个具体数字，更在于其揭示的一个潜在反馈循环。这个循环即：AI进行AI研究，研究产生更好的AI，而更好的AI又能进行更多、更高效的AI研究。这正是“递归式自我改进”场景的核心，也是长期以来引发外界对先进AI失控风险担忧的关键所在。
Ad从不到1%增长到26%，仅仅用了六个月时间，这种变化的速度尤其引人注目。它表明，AI在自我开发领域的渗透速度可能远超市场预期，这对于评估该技术未来发展轨迹和潜在风险至关重要。
关键阈值尚未触及
尽管数据增长迅速，但Anthropic强调，目前尚未达到“递归式自我改进”场景中最重要的一个阈值：完全自主的AI研发。在其测量的任何研发环节中，Claude都还不是自主运行，这意味着人类监督员仍然是研发流程中不可或缺的一环。
在安全投入方面，Anthropic还发现，在7月的某一周内，用于AI驱动的AI研发的算力中，约有12%被用于安全相关工作。但该公司同时提醒，算力并非衡量安全投入的完美指标。
总而言之，最新的测量结果并不意味着递归式自我改进已经到来。然而，它们提供了一种可量化的方式来追踪AI接管自身开发工作的速度——随着人类在开发循环中的角色可能继续缩小，这一趋势的重要性将日益凸显。