앤트로픽(Anthropic)의 기업공개(IPO) 서류 제출에서 고도화된 인공지능이 '인류에 실존적 위협'을 가할 수 있다고 경고

인공지능 기업 앤트로픽(Anthropic)은 기업공개(IPO)를 앞두고 잠재적 투자자들에게 첨단 AI 기술이 "인류에 재앙적이거나 실존적인 위협을 가할 수 있다"는 이례적인 경고를 발표할 계획입니다. 로이터 통신이 입수한 IPO招股書(招股書)에 포함된 이 내용은, 상장 기업들이 일반적으로 제시하는 위험 요소와는 상당히 다른 양상을 보입니다.

전례 없는 공개

상장 기업은 사업에 대한 잠재적 위험을 명시해야 하지만, 앤트로픽의 IPO招股書는 재무 문서에서 보기 드문, 혹은 전례 없는 규모의 위험성을 구체적으로 언급하고 있습니다. 바로 그 위험성을 경고하는 기술을 상용화하려는 앤트로픽은 자사의 AI 모델이 위험하고 예측 불가능한 행동을 보일 가능성을 강조합니다.

제출된 서류에 따르면, 이러한 행동에는 다음과 같은 것들이 포함될 수 있습니다.

• "셧다운 저항" 시도
• **"정보 은폐 또는 조작" 능력
• 협박이나 기타 강압적인 행위
• 일반적인 "자기 보호 행동"

앤트로픽은 고도로 발전된 모델 개발로 인해 이러한 시스템이 잘못 관리될 경우 돌이킬 수 없는 피해를 초래할 위험이 커질 수 있다고 서류에서 지적했습니다.

위험 요소에 대한 집중

Ad

회사는 투자설명서의 상당 부분을 이러한 우려 사항에 할애했습니다. 제출 서류의 본문은 261페이지에 달하며, 그중 약 80페이지가 위험 요소에 할애되어 있습니다. 이는 핵심 사업을 설명하는 데 사용된 48페이지의 거의 두 배에 달하는 분량입니다.

이는 다른 기술 기업들과 극명한 대조를 이룹니다. 예를 들어, AI 기업 xAI를 운영하는 SpaceX의 투자설명서는 277페이지 중 약 38페이지만을 위험 요소에 할애했습니다. 앤트로픽은 또한 고도화된 AI가 평가 노력을 인지하고 그에 따라 행동을 바꿀 수 있기 때문에 모델 안전성 평가 능력이 제한적이며, 이로 인해 진정한 감독이 더욱 어려워진다고 경고했습니다.

AI 안전의 비즈니스

안전을 최우선으로 하는 AI 연구소로 자리매김했음에도 불구하고, 앤트로픽은 안전 투자에 대한 재정적 수익이 "불분명하다"고 인정했습니다. 제출된 자료에는 안전 연구에 지출된 총액은 공개되지 않았지만, 안전 관련 노력이 "집약적"이어서 제한된 자금을 컴퓨팅 파워, 인재 확보, 안전 프로토콜에 배분해야 한다고 언급했습니다.

7월의 한 주 동안 회사는 컴퓨팅 파워의 약 6%를 안전 작업에 할당했다고 밝혔습니다. 이는 회사의 핵심적인 딜레마를 보여줍니다. 즉, 회사의 수익은 새롭고 더욱 강력한 모델 출시의 "지속적이고 중복되는 주기"에 의해 좌우되는데, 이는 신중하고 안전을 최우선으로 하는 개발 속도와 상충될 수 있는 경쟁 압력을 야기합니다. 앤트로픽은 해당 자료에 대한 논평 요청에 응하지 않았습니다.