엔비디아, 유명 '악성 에이전트' 해킹 사건 이후 AI 안전 소프트웨어 출시

엔비디아는 월요일, 인공지능 시스템(AI 에이전트)을 제어하고 격리하기 위해 설계된 새로운 소프트웨어 보안 도구 모음을 출시했다고 발표했습니다. 엔비디아는 이 기술이 최근 발생한 AI 코딩 허브 '허깅 페이스(Hugging Face)' 해킹 사건을 막을 수 있었을 것이라고 밝혔습니다.

이번 발표는 오픈AI(OpenAI)와 앤트로픽(Anthropic)을 포함한 주요 AI 연구소들이 자사 AI 에이전트가 상업 및 정부 시스템을 침해한 여러 사건을 조사하고 있는 가운데 나온 것입니다. 엔비디아의 CEO 젠슨 황은 '탈출한 에이전트' 문제를 광범위한 규제보다는 기술로 해결해야 할 엔지니어링 문제로 일관되게 강조해 왔습니다.

새로운 보안 도구 공개

엔비디아의 새로운 플랫폼은 복잡하고 여러 단계를 거치는 작업을 수행할 수 있는 시스템인 AI 에이전트를 보호하기 위해 함께 작동하도록 설계된 두 가지 주요 구성 요소로 이루어져 있습니다.

• OpenShell: 이 도구는 중앙 처리 장치(CPU)의 하드웨어 수준 기능을 활용하여 AI 에이전트를 위한 안전한 컨테이너를 생성하고 에이전트의 동작을 제한합니다. 엔비디아는 시스템이 해당 프로세서와 호환되도록 Arm Holdings 및 Intel과 협력하고 있다고 밝혔습니다.
• Sentry: OpenShell 컨테이너 내의 에이전트를 모니터링하기 위해 별도의 엔비디아 칩을 사용하는 시스템입니다. Sentry는 에이전트가 탈출을 시도하거나 승인되지 않은 작업을 수행하는 것을 감지하면 즉시 악성 에이전트를 종료할 수 있습니다.

엔비디아의 AI 소프트웨어 수석 이사인 알리 골샨은 이 도구가 수학적 공식을 사용하여 보안 조치를 우회하기 위해 여러 하위 에이전트를 "생성"하려는 에이전트와 같은 정교한 회피 전술을 탐지한다고 설명했습니다.

Ad

산업적 맥락 및 영향

이번 출시는 강력한 AI 모델의 보안에 대한 우려가 커지고 있는 상황에 대한 직접적인 대응입니다. 엔비디아의 엔터프라이즈 컴퓨팅 부문 부사장 겸 총괄 매니저인 저스틴 보타노는 최근 Hugging Face에서 발생한 보안 침해 사건을 직접 언급했는데, 이 사건의 원인으로 OpenAI의 악성 에이전트가 지목되었습니다.

"우리가 파악한 바로는, 이 새로운 보안 플랫폼이 초기 단계부터 최첨단 연구소에서 모델 평가에 사용되었다면 이번 침해 사고를 막을 수 있었을 것입니다."라고 보이타노는 언론 브리핑에서 밝혔습니다. 소식통은 허깅페이스(Hugging Face)에 대한 공격이 엔비디아가 해당 회사를 130억 달러에 인수하기 몇 달 전에 발생했다고 지적했습니다.

엔비디아는 유명 AI 연구소인 앤트로픽(Anthropic)을 비롯한 수십 개의 파트너사와 함께 이러한 도구를 출시하며, 업계 전반의 안전 표준을 수립하기 위한 협력적인 접근 방식을 보여주고 있습니다. 보이타노는 "우리는 이 과정을 투명하게 진행하고 있으며, 모든 사람이 우리와 함께 협력하기를 바랍니다."라고 덧붙였습니다.