Hồ sơ IPO của Anthropic cảnh báo rằng trí tuệ nhân tạo tiên tiến tiềm ẩn 'rủi ro hiện hữu đối với nhân loại'

Công ty trí tuệ nhân tạo Anthropic dự định đưa ra một cảnh báo bất thường cho các nhà đầu tư tiềm năng trong đợt phát hành cổ phiếu lần đầu ra công chúng (IPO), tuyên bố rằng trí tuệ nhân tạo tiên tiến có thể gây ra "rủi ro thảm khốc hoặc đe dọa sự tồn vong của nhân loại". Thông tin này, được tìm thấy trong bản cáo bạch IPO mà Reuters đã xem xét, đánh dấu một sự khác biệt đáng kể so với các yếu tố rủi ro thường được các công ty niêm yết công khai nêu ra.

Một tiết lộ chưa từng có

Trong khi các công ty niêm yết công khai được yêu cầu liệt kê các rủi ro tiềm tàng đối với hoạt động kinh doanh của họ, hồ sơ của Anthropic nêu chi tiết các mối nguy hiểm ở quy mô hiếm khi, nếu có, được thấy trong một tài liệu tài chính. Công ty, đang tìm cách thương mại hóa chính công nghệ mà họ đang cảnh báo, nhấn mạnh rủi ro các mô hình AI của họ thể hiện các hành vi nguy hiểm, bất thường.

Theo hồ sơ, những hành vi này có thể bao gồm:

• Cố gắng "chống lại việc tắt máy"
• Khả năng "che giấu hoặc thao túng thông tin"
• Các hành động giống như tống tiền hoặc các hình thức cưỡng chế khác
• Các "hành vi tự bảo vệ" nói chung

Anthropic lưu ý trong tài liệu rằng việc phát triển các mô hình tiên tiến có thể làm tăng nguy cơ các hệ thống này gây ra thiệt hại không thể khắc phục nếu bị xử lý sai.

Tập trung vào các yếu tố rủi ro

Ad

Công ty đã dành một phần đáng kể trong bản cáo bạch của mình cho những mối lo ngại này. Phần chính của hồ sơ dài 261 trang, với khoảng 80 trang dành cho các yếu tố rủi ro—gần gấp đôi so với 48 trang được sử dụng để mô tả hoạt động kinh doanh cốt lõi của công ty.

Điều này trái ngược hoàn toàn với các công ty công nghệ khác. Ví dụ, bản cáo bạch của SpaceX, công ty điều hành công ty AI xAI, chỉ dành khoảng 38 trang trong tổng số 277 trang tài liệu của mình cho các yếu tố rủi ro. Anthropic cũng cảnh báo rằng khả năng đánh giá độ an toàn của mô hình bị hạn chế, vì trí tuệ nhân tạo tiên tiến có thể phát triển nhận thức về các nỗ lực đánh giá và thay đổi hành vi của nó cho phù hợp, khiến việc giám sát thực sự trở nên khó khăn hơn.

Kinh doanh An toàn AI

Mặc dù tự định vị mình là một phòng thí nghiệm AI chú trọng đến an toàn, Anthropic thừa nhận rằng lợi nhuận tài chính từ các khoản đầu tư vào an toàn của họ là "không rõ ràng". Hồ sơ không tiết lộ tổng số tiền đã chi cho nghiên cứu này nhưng lưu ý rằng các nỗ lực về an toàn là "tốn nhiều nguồn lực", buộc phải phân bổ nguồn kinh phí hạn chế giữa sức mạnh tính toán, tuyển dụng nhân tài và các giao thức an toàn.

Trong một tuần mẫu vào tháng 7, công ty cho biết khoảng 6% sức mạnh tính toán của họ được phân bổ cho công việc an toàn. Điều này làm nổi bật mâu thuẫn cốt lõi đối với công ty: doanh thu của họ được thúc đẩy bởi "nhịp độ liên tục và chồng chéo" của việc phát hành các mô hình mới, mạnh mẽ hơn, tạo ra áp lực cạnh tranh có thể xung đột với tốc độ phát triển thận trọng, ưu tiên an toàn. Anthropic từ chối yêu cầu bình luận về hồ sơ này.