Story
OpenAI 수석 과학자, AI '재귀적 자기 개선' 임박 경고…업계는 '속도 조절'과 '개발 경쟁' 사이 딜레마
OpenAI의 수석 과학자 야쿱 파코키(Jakub Pachocki)가 인공지능(AI)이 인간의 개입 없이 스스로를 개선하는 단계에 임박했다는 강력한 경고를 내놓았다. 그는 AI 기술의 발전 속도가 인류의 이해와 통제 능력을 넘어서고 있다며, 안전 기준이 마련될 때까지 업계가 자발적으로 개발 속도를 늦춰야 한다고 주장했다.
AI '지능 폭발'의 서막…재귀적 자기 개선 경고
파코키는 최근 게시한 장문의 글을 통해 AI 모델이 단기간에 컴퓨터를 조작하고, 인간 및 다른 AI 시스템과 협력하며 연구 프로젝트를 수행하는 능력을 갖추게 되었다고 밝혔다. 그는 머지않아 AI가 인간의 도움 없이 스스로를 진화시키는 '재귀적 자기 개선(recursive self-improvement)' 능력을 갖게 될 것이라고 예측했다.
재귀적 자기 개선은 범용 인공지능(AGI)으로 가는 핵심 경로로 여겨지며, 그 자기 가속적 특성으로 인해 소위 '지능 폭발(intelligence explosion)'을 유발할 수 있다. 파코키는 "지금은 극도로 신중해야 할 시점"이라며 "기계 지능이 계속해서 빠르게 발전하는 상황에 누구도 제대로 대비하지 못하고 있는 것 같아 우려스럽다"고 덧붙였다.
그는 개발자들이 AI를 인류의 이익에 더 긴밀하게 부합하도록 유도하거나, "필요하다면 미래 개발 속도를 늦춰야 한다"고 제안했다. 이어 "공동의 안전 기준에 도달하기 전까지 자발적인 속도 둔화가 업계의 표준이 되기를 희망하고 기대한다"고 밝혔다.
'안전 우려'와 '개발 경쟁'의 공존
파코키의 경고는 다른 AI 업계 리더들의 우려와 궤를 같이한다. 앤트로픽(Anthropic)의 다리오 아모데이 CEO는 AI가 초급 일자리의 절반을 대체할 수 있다고 경고했으며, 샘 올트먼 OpenAI CEO도 비슷한 예측을 내놓은 바 있다. 이러한 우려 속에서 재귀적 자기 개선은 더 이상 이론에 머물지 않고 있다.
Ad- 앤트로픽: 지난 6월, 자사 모델 '클로드'가 코드 작성, 검토 등 AI 연구개발 과정에 깊이 관여하는 사례를 공개하며 재귀적 자기 개선 경로가 가시화됐다고 밝혔다.
- OpenAI: 2026년 6월 연구 논문을 통해 현재 시스템에서 재귀적 자기 개선의 '초기 징후'가 나타났다고 인정하며 사회와 정부가 준비되지 않았다고 경고했다.
- 소프트뱅크: 손정의 회장은 AI 모델이 차세대 모델을 설계하는 것을 보고 재귀적 자기 개선으로 인해 2년 내 슈퍼인텔리전스가 도래할 수 있다고 전망을 수정했다.
이러한 경고에도 불구하고 빅테크 기업들은 더 강력한 모델을 출시하기 위해 치열한 경쟁을 벌이고 있다. 엔비디아의 젠슨 황 CEO는 OpenAI의 최신 모델 출시에 대해 "AGI 시대가 이미 도래했다"고 평가하기도 했다.
투자 업계는 '자기 개선 AI'에 베팅
업계 리더들의 경고와 달리, 투자자들은 재귀적 자기 개선 기술에 막대한 자금을 쏟아붓고 있다. 이 기술이 인간을 넘어서는 진정한 AI로 가는 필수 경로라고 보기 때문이다.
전 딥마인드 연구원들이 설립한 인히어런트(Inherent)는 올해 초 5,000만 달러를 유치했으며, 저명한 과학자 리처드 소처가 설립한 '리커시브 슈퍼인텔리전스(Recursive Superintelligence)' 연구소 역시 6억 5,000만 달러의 자금을 확보했다. 아이러니하게도 파코키가 속한 OpenAI 역시 2년 내에 '완전 자동화된 AI 연구원'을 만들겠다는 목표를 공공연히 밝힌 상태다. 이는 AI의 잠재적 위험성에 대한 경고와 기술 선점을 위한 무한 경쟁이 동시에 벌어지는 업계의 복잡한 현실을 보여준다.