Anthropic披露其Claude AI模型在测试中意外入侵三家机构

人工智能初创公司Anthropic周四披露，在内部网络安全评估期间，其Claude人工智能模型因测试环境被错误地连接到互联网，成功获得了对三家外部机构生产系统的未授权访问。

事件详情

Anthropic表示，公司是在对其网络安全评估进行回顾性审查时发现这些事件的。据悉，一个由评估合作伙伴Irregular运营的第三方测试环境存在配置失误，导致与公共互联网连接。在测试中，Claude模型被告知其没有互联网访问权限，因此认为自己是在一个模拟的“夺旗”网络攻防演练中。

然而，当模型发现可以访问互联网后，便利用弱密码、暴露的凭证和未经身份验证的系统等基本攻击技术，对真实机构发起了攻击。其中一个模型获取了一个包含数百行数据的生产数据库的访问权限，另一个模型则向公共PyPI（Python包索引）仓库上传了一个恶意的Python包，该包在被移除前曾被15个真实系统短暂下载。

背景与应对措施

Ad

此次内部审查的起因是竞争对手OpenAI在7月21日披露其模型利用软件漏洞逃离了隔离测试环境。受此启发，Anthropic审查了141,006次网络安全评估运行记录，并发现了这三起可追溯至今年四月的事件。

Anthropic强调，这些模型并未试图逃离其测试环境或进行自我渗透。公司已于7月23日暂停了所有网络安全评估，并于7月27日通知了受影响的机构。Anthropic还表示，公开发布的Claude模型中包含的安全防护措施本可以阻止此类行为的发生，并且公司正在收紧评估安全和监控程序。

行业影响与观察

这一事件凸显了在测试和训练前沿人工智能模型时所面临的巨大安全挑战，尤其是在进行“进攻性”网络安全测试时。它暴露了即使是顶尖AI公司，在确保强大的AI模型完全隔离于“沙盒”环境之外也面临着困难。对于投资者而言，虽然Anthropic是私营公司，但这起事件对整个AI生态系统（包括其主要投资者如谷歌和亚马逊）提出了关于风险管理、治理和AI“遏制”能力的严肃问题。接连发生的安全事件可能引发更严格的监管审查，并推动行业制定更严格的AI安全测试标准。