前Anthropic研究员称部分员工认为AI灾难风险超50%

人工智能安全公司Anthropic的一名前研究员因担忧技术风险而公开离职，并透露其部分前同事认为，AI导致灾难性后果的可能性超过50%。这一表态加剧了外界对AI行业快速发展背后潜在风险的审视。

内部安全担忧浮出水面

据科技媒体《The Information》周三报道，前Anthropic研究员雅各布·考克森 (Jacob Coxon) 在本周二宣布离职后表示，公司内部对AI“末日场景”的概率估计存在很大差异。考克森曾在OpenAI和Anthropic从事早期AI模型训练工作。

他透露，之所以能够了解到这些观点，是因为“与OpenAI相比，Anthropic的内部文化要透明得多”。考克森称，他离职是由于“开始发自内心地感受到未来一两年技术走向所带来的恐惧”。

“递归式自我改进”成核心风险

考克森指出的核心担忧在于业界对“递归式自我改进”的追求，即AI模型自动化开发新的、更强大的AI系统。他预测：“明年的系统将非常接近于能够完成我的全部工作。”

Ad

值得注意的是，Anthropic公司自身也已承认“递归式自我改进”的风险。该公司曾表示，模型产生非预期目标的实例“可能会随着模型构建其后继者而变得更加复杂，频率更高但更难理解，直到我们失去对它们的控制。”考克森还提到，近期发生的Hugging Face遭黑客攻击事件也加深了他的忧虑。

对行业与投资者的启示

考克森的公开离职和言论，揭示了顶级AI实验室内部存在着对技术发展路径的深刻分歧。这可能引发监管机构和投资者对AI公司安全协议和风险管理措施的更严格审查。

考克森呼吁采取“实质性的、协调一致的放缓措施”，并强调国际合作的必要性，尤其是在中美之间。对于投资者而言，这类内部安全专家的警告凸显了AI领域一项重大的长期风险，即技术失控风险，尽管该风险目前难以量化，但对行业的长期稳定发展至关重要。