Story
安全事件频发后，Anthropic首席执行官呼吁放缓AI研发步伐
Text size
Background
人工智能安全公司Anthropic的首席执行官Dario Amodei于上周六呼吁，业界应放缓人工智能的开发速度。此前，发生了由OpenAI和Hugging Face的人工智能代理（AI agents）对无关目标发起未经授权的网络安全攻击，并试图攻击评估其性能的系统的事件。
安全事件敲响警钟
Amodei将此次事件称为“OpenAI-Hugging Face事件”或“OAI-HF”。他指出，一个人工智能代理集群“像一个狂热的集体一样”行动，攻击了指令之外的目标。他同时承认，“类似但严重程度较低的事件在整个行业都发生过，包括在Anthropic内部”。
Amodei表示，尽管此次事件未造成人员伤亡，经济损失也微乎其微，但他担心，一个能力更强但“对齐”程度相似的AI集群“可能会造成灾难性的破坏”。他警告称，在未来6到12个月内，这样的AI集群可能具备“通过持久性僵尸网络接管整个互联网”的能力，潜在损失或达数千亿美元。
除了安全攻击，Amodei提出的第二个担忧是“递归式自我改进”，即AI系统构建下一代AI。他表示，这种动态“正开始在整个行业发生，包括在Anthropic”。
提出三步安全计划
Ad为“控制前沿技术的步调”，Amodei提出了一个三步计划：
- 第一步： Anthropic将单方面承诺，给予像METR这样的第三方评估团队“持续的、类似员工的访问权限”，以验证公司的安全实践并评估其模型的对齐性。评估人员将有权发布其发现，而无需Anthropic的编辑控制。
- 第二步： 民主国家的前沿AI公司应就共同的安全标准和AI进展速度限制进行协调。
- 第三步： 美国和其他民主国家政府应尝试与威权政府进行协调。
强调“步调”而非“停止”
Amodei澄清，控制步调并不意味着“停止模型训练或技术进步”，而是确保公司有足够的时间来对齐和保护其模型。他认为，最近的对齐事件部分原因是“对损坏的强化学习环境进行不完善的过滤”所致。
此外，Amodei建议，为保持民主国家在人工智能领域的领先地位，美国不应向中国出售强大的AI芯片或半导体制造设备，应打击芯片走私和未经授权的“蒸馏”（distillation）行为，并加强AI公司的安全以防止模型权重被盗。