메타 AI 이미지 탐지 도구, 자체 생성 이미지 잘라내자 55% 판독 실패

메타(Meta)가 자사의 이미지 생성 모델과 함께 선보인 새로운 인공지능(AI) 탐지 도구가, AI가 생성한 이미지를 일부 잘라냈을 경우 이를 제대로 식별하지 못하는 것으로 나타났다. 이는 로이터 통신의 분석 결과로, 주요 선거를 앞두고 딥페이크 등 허위 정보 확산을 막기 위한 기술적 과제를 드러낸다.

로이터 분석 결과, 탐지율 절반으로 '뚝'

로이터 통신은 메타의 이미지 생성 모델 '뮤즈 이미지(Muse Image)'로 생성된 이미지 40개를 대상으로 분석을 진행했다. 그 결과, 원본 AI 생성 이미지는 100% 식별해냈지만, 이미지 크기를 약 3분의 1에서 절반가량으로 잘라낸 후에는 55%를 식별하지 못했다.

메타의 이 탐지 도구는 '콘텐츠 씰(Content Seal)'이라는 보이지 않는 워터마크 시스템을 통해 작동한다. 이 기술은 이미지가 잘리거나 편집된 후에도 AI 생성 여부를 판별할 수 있도록 설계되었으나, 이번 분석을 통해 그 한계가 드러난 셈이다.

딥페이크 판별 기술의 한계 노출

이번 결과는 일반적인 편집 과정만으로도 AI 탐지 기술을 무력화할 수 있다는 우려를 낳는다. 특히 미국 중간선거 등 정치적으로 민감한 시기에 조작된 콘텐츠가 온라인상에 유포될 위험성을 시사한다.

Ad

로이터의 분석 결과에 대해 메타 측은 해당 도구가 아직 '프리뷰(preview)' 버전임을 강조했다. 또한 워터마크가 일반적인 편집에는 유지되도록 설계되었으나, 이미지가 '심하게 잘릴 경우' 신호가 손실될 수 있다고 설명했다. 구글, OpenAI 등 경쟁사들 역시 자사의 탐지 도구가 이미지 변형 기술에 완벽하지 않다고 인정한 바 있다.

전문가 "워터마크, 완벽한 해결책 아냐"

AI 이미지 포렌식 전문가인 뉴욕 주립대(버펄로)의 시웨이 류 교수는 워터마크 기반 시스템의 한계를 지적했다. 그는 "워터마크가 손상되지 않으면 매우 효과적일 수 있지만, 자르기, 크기 조정, 심한 압축 등 신호를 약화시키는 모든 수정은 탐지 효율성을 떨어뜨릴 수 있다"고 말했다.

앞서 메타의 감독위원회는 회사 측에 플랫폼 내 "기만적인 AI 생성 콘텐츠 확산"에 대응하기 위해 더 강력한 탐지 도구에 투자할 것을 권고한 바 있다. 이번 분석은 AI 생성 콘텐츠의 진위를 가리는 기술이 아직 초기 단계에 있으며, 투자자와 시장 참여자들이 관련 기술 기업의 리스크를 평가할 때 고려해야 할 중요한 요소임을 보여준다.