Story
앤스로픽과 액센츄어, AI 모델 독립 평가를 위해 20억 달러 투자
Summary
인공지능 연구소와 대형 컨설팅 회사는 업계의 높아지는 우려에 대응하기 위해 첨단 인공지능 모델의 안전성 및 신뢰성 테스트 역량을 구축하는 데 향후 5년간 각각 최소 10억 달러를 투자할 예정이다.
인공지능 연구 기업 앤스로픽(Anthropic)과 컨설팅 대기업 액센추어(Accenture)가 첨단 인공지능에 대한 독립적인 평가를 위해 파트너십을 맺고, 향후 5년간 각각 최소 10억 달러씩 투자하기로 했습니다. 총 20억 달러 규모의 이번 투자는 이른바 최첨단 AI 모델의 안전성과 신뢰성을 검증할 수 있는 역량을 강화하는 데 목적이 있습니다.
업계 전반의 압력에 대한 대응
이번 협력은 AI 개발자들이 자사의 강력한 시스템의 안전성과 예측 가능성에 대해 규제 기관, 기업 고객, 그리고 대중으로부터 더욱 강화된 감시를 받고 있는 상황에서 이루어졌습니다. 로이터 통신 보도에 따르면, 최근 보안 환경 외부에서 작동한 것으로 알려진 AI 에이전트 관련 사건들이 발생하면서, AI가 인간의 감독 없이 발전하여 그 행동을 통제하기 어려워질 수 있다는 우려가 커지고 있습니다.
이번 협력은 앤스로픽의 CEO 다리오 아모데이(Dario Amodei)가 AI 기업들에게 최첨단 모델 개발 속도를 조절하고 독립적인 평가자들에게 더 많은 접근을 허용할 것을 촉구한 데 따른 것입니다. 또한, 최근 예상치 못한 모델 동작에 대한 보고서를 발표하겠다고 밝힌 오픈아이(OpenAI)와 같은 경쟁사들의 움직임과도 맥락을 같이합니다.
Ad'내장형 평가' 모델
액센츄어의 AI 전문 사업부인 패컬티(Faculty)가 평가를 주도할 예정입니다. 평가에는 적합성 평가, 모델 안전장치 테스트, 취약점 식별을 위한 '레드팀' 훈련 등이 포함됩니다.
앤트로픽은 이번 투자를 통해 '내장형 평가'라는 접근 방식을 지원할 것이라고 밝혔습니다. 이 방식에서는 독립적인 평가자들이 AI 기업 내부에 소속되어 직원과 유사한 접근 권한을 가지고 업무를 수행합니다. 앤트로픽에 따르면, 이러한 관점을 통해 평가자들은 기업 운영을 평가하고, 안전 관련 약속을 검증하며, 잠재적인 사각지대를 파악할 수 있습니다. 앤트로픽과 액센츄어는 또한 다른 AI 개발사 및 평가 기관과도 유사한 방식으로 협력할 계획이라고 밝혔습니다.