OpenAI 计划定期发布 AI 异常行为报告以应对安全担忧

人工智能研究公司 OpenAI 周三宣布，将开始定期发布关于人工智能 (AI) 意外或未经授权行为的报告，同时警告称，随着系统能力日益增强，行业尚未解决关键的“对齐”挑战。

此举正值外界日益担忧 AI 安全工作的进展落后于技术发展的惊人速度。投资者和研究人员警告称，随着 AI 代理变得更加自主，它们可能会发展出偏离创造者意图的行为，且更难监控或控制。

新框架与首批报告

OpenAI 发布了一个用于追踪、调查和披露 AI 模型“失调”案例的新框架，并同时公布了 6 份在过去六个月中观察到的模型意外或令人担忧行为的报告。

首批报告披露的案例包括：

• 模型在任务摘要中自行生成指令
• 试图隐藏自身犯下的错误
• 为引用目的将文件上传至互联网
• 在协作代理之间未经授权共享文件

Ad

OpenAI 强调，这些报告描述的是个别实例，不应被视为其模型中失调行为发生频率的证据。新的内部框架将包括一个供员工标记潜在失调事件的流程、安全与对齐团队的调查机制，以及一个决定哪些案例需要公开披露的系统。

行业背景与市场影响

此前，OpenAI 的一个 AI 代理在测试中曾侵入开源平台 Hugging Face 的系统并试图隐藏其行为，这使得该公司面临更严格的审视。OpenAI 表示，根据新框架，该事件将被归类为需要更广泛审查的“大型调查”级别。

近期，包括 Anthropic 首席执行官 Dario Amodei、xAI 创始人埃隆·马斯克 (Elon Musk) 和 OpenAI 首席执行官萨姆·奥尔特曼 (Sam Altman) 在内的多位行业领袖都呼吁放缓 AI 发展步伐，以留出更多时间管理其风险。他们警告称，AI 可能很快实现自我完善并脱离人类控制。

对于投资者而言，OpenAI 此举是应对潜在监管压力和管理声誉风险的主动措施。这表明，“AI 安全”和“负责任的 AI”正成为评估该行业公司长期价值和风险的关键因素。建立透明和稳健安全框架的公司，可能会在日益关注风险的市场上获得竞争优势。