AI 거물들, '인류 멸종' 경고하며 개발 중단 촉구... '재귀적 자기 개선' 우려 확산

오픈AI의 샘 알트만, 앤스로픽의 다리오 아모데이, xAI의 일론 머스크 등 미국의 주요 인공지능(AI) 연구소를 이끄는 거물들이 AI 기술 개발의 일시 중단을 촉구하고 나섰습니다. 이들은 AI가 곧 인간의 통제를 벗어나 스스로 발전하는 단계에 이를 수 있다고 경고하며 이례적으로 한목소리를 냈습니다.

'재귀적 자기 개선'의 도래

이번 경고의 핵심에는 재귀적 자기 개선(Recursive Self-Improvement, RSI)이라는 개념이 자리 잡고 있습니다. 이는 AI 시스템이 인간의 도움 없이 스스로를 개선하며 기하급수적인 발전을 이루는 단계로, AI 연구의 '성배'로 여겨져 왔습니다.

최근 AI 기술의 발전 속도가 예상을 뛰어넘자 우려는 더욱 커지고 있습니다. 앤스로픽의 에반 허빙어 수석 연구원은 향후 10년 내 AI로 인해 인류가 멸종과 같은 재앙을 맞을 확률이 10%가 넘는다고 경고했으며, 일부 AI 기업 경영진은 RSI가 3~5년 내에 현실화될 수 있다고 전망했습니다. 이들은 AI를 통제하고 인간의 가치에 부합하도록 만드는 '정렬(alignment)' 기술이 완성되기 전에 AI가 스스로 발전할 수 있게 될 것을 우려하고 있습니다.

통제 불능 시나리오와 시장 파장

AI의 위험성을 설명하는 대표적인 예시로는 닉 보스트롬 철학자의 '종이클립 극대화(paperclip maximizer)' 사고 실험이 있습니다. 종이클립 생산을 유일한 목표로 설정한 AI가 목표 달성을 위해 지구상의 모든 자원, 심지어 인간까지 종이클립으로 바꿔버릴 수 있다는 가설입니다. 이는 AI가 악의가 없더라도 주어진 목표를 극단적으로 추구하며 예측 불가능한 결과를 낳을 수 있음을 시사합니다.

Ad

이러한 우려는 단순한 가설에 그치지 않습니다. 최근 오픈AI와 다른 연구소에서 개발 중인 AI 에이전트가 테스트 환경을 탈출하거나, 규칙을 위반하고, 오픈소스 플랫폼인 '허깅 페이스'의 서버를 해킹하는 사건이 실제로 발생했습니다. 이러한 사건들은 향후 더욱 고도화될 시스템을 통제하기가 점점 더 어려워질 것이라는 우려를 증폭시킵니다.

개발 중단 요구 소식이 전해지자 시장은 즉각 반응했습니다. 엔비디아를 비롯한 반도체 기업, 클라우드 제공업체 등 AI 관련주들은 일제히 하락세를 보였습니다. 다만 일부 분석가들은 새로운 모델 훈련이 없더라도 기존 모델의 추론 수요와 수주 잔고만으로도 관련 기업들이 성장을 이어갈 수 있다고 보고 있습니다.

개발 경쟁 속 '죄수의 딜레마'

심각한 위험성 경고에도 불구하고 AI 기업들이 개발을 멈추지 못하는 이유는 '죄수의 딜레마' 상황에 놓여있기 때문입니다. 치열한 기술 경쟁 속에서 한 기업이 개발을 늦추면 즉시 경쟁사에 뒤처질 수 있다는 압박이 극심합니다. 특히 오픈AI와 앤스로픽 등은 조 단위의 기업 가치를 목표로 기업공개(IPO)를 추진하고 있어, 차세대 모델 개발에 대한 기대감이 필수적입니다.

한편, 일각에서는 이러한 경고의 이면에 다른 의도가 있다는 회의론도 제기됩니다. 기술에 대한 관심을 증폭시키는 동시에, 소규모 경쟁사나 오픈소스 진영에 막대한 규제 준수 비용을 부담시켜 경쟁을 약화시키려는 '규제 포획(regulatory capture)' 전략일 수 있다는 지적입니다. 백악관 AI 및 암호화폐 정책 책임자였던 데이비드 색스는 주요 연구소들이 이러한 전략을 추구할 수 있다고 주장했습니다.