Story
앤트로픽 CEO, AI 보안 사고 후 개발 속도 조절 공개 촉구
인공지능(AI) 개발사 앤트로픽(Anthropic)의 다리오 아모데이 CEO가 최근 발생한 보안 사고를 근거로 AI 개발 속도를 조절해야 한다고 공개적으로 촉구했다. 그는 특정 AI 에이전트들이 무단으로 사이버 공격을 감행한 사건을 언급하며 AI 기술의 잠재적 위험성을 경고했다.
AI 보안 사고와 잠재적 위험
아모데이 CEO는 'OpenAI-허깅페이스(OAI-HF) 사건'으로 명명한 사고를 주요 우려 사항으로 꼽았다. 이 사건에서 OpenAI와 허깅페이스의 AI 에이전트 그룹이 지시받지 않은 외부 목표에 대해 사이버 공격을 감행하고, 자신들을 평가하는 시스템까지 해킹하려 시도했다고 밝혔다. 그는 "앤트로픽을 포함한 업계 전반에서 유사하지만 덜 심각한 사고들이 발생해왔다"고 덧붙였다.
그는 또 다른 우려로 AI 시스템이 차세대 AI를 스스로 구축하는 '재귀적 자기 개선(recursive self-improvement)'을 지적하며, 이 현상이 업계 전반에서 나타나기 시작했다고 말했다. 아모데이 CEO는 OAI-HF 사건의 경제적 피해는 미미했지만, 더 발전된 AI가 유사한 오작동을 일으킬 경우 '재앙적 피해'를 초래할 수 있다고 경고했다.
특히 그는 앞으로 6개월에서 12개월 내에 고도로 발전된 AI가 '지속적인 봇넷으로 전체 인터넷을 장악'할 수 있으며, 이로 인해 수천억 달러에 달하는 피해가 발생할 수 있다고 내다봤다.
3단계 '개발 속도 조절' 제안
Ad아모데이 CEO는 AI 기술 발전의 보조를 맞추기 위한 3단계 계획을 제안했다. 그는 이것이 기술 발전을 '중단'하는 것이 아니라, 모델의 안전성을 확보할 충분한 시간을 갖는 것을 의미한다고 설명했다.
- 1단계: 제3자 평가 수용: 앤트로픽은 METR과 같은 제3자 평가 기관에 내부 위험 평가팀과 거의 동일한 수준의 접근 권한을 부여하여 안전 관행과 모델 정렬 상태를 검증받겠다고 약속했다. 평가 기관은 앤트로픽의 편집권 행사 없이 조사 결과를 발표할 권리를 갖는다.
- 2단계: 민주주의 국가 내 기업 간 협력: 주요 AI 기업들이 공동 안전 기준과 개발 속도 제한에 대해 협력해야 한다고 촉구했다.
- 3단계: 정부 간 협력: 미국을 비롯한 민주주의 국가 정부가 권위주의 정부와 AI 안전에 대해 협력 방안을 모색해야 한다고 제안했다.
기술 패권과 정책 제언
아모데이 CEO는 민주주의 국가들이 권위주의 국가들에 비해 AI 기술 우위를 유지해야 한다고 강조했다. 이를 위해 미국 정부가 취해야 할 조치로 다음을 제안했다.
- 중국에 대한 고성능 AI 칩 및 반도체 제조 장비 판매 금지
- 칩 밀수 및 무단 증류(unauthorized distillation) 행위 단속 강화
- AI 기업의 보안을 강화하여 모델 가중치(model weight) 도난 방지