메타 AI 이미지 탐지기, 자체 생성 이미지도 잘라내면 '감지 실패'

로이터 통신 분석에 따르면, 메타 플랫폼이 최근 공개한 인공지능(AI) 이미지 탐지 도구가 자체 이미지 생성 모델로 만든 이미지를 일부 잘라낼 경우 상당수를 식별하지 못하는 것으로 나타났습니다. 이는 중요한 선거를 앞두고 딥페이크와 같은 조작된 콘텐츠를 식별하는 데 기술적 한계가 있음을 시사합니다.

로이터 분석 결과

로이터는 메타의 새로운 이미지 생성 모델 '뮤즈 이미지(Muse Image)'로 생성된 이미지 40개를 분석했습니다. 메타의 탐지 도구는 원본 이미지 40개 모두 AI가 생성했음을 정확히 식별했습니다.

하지만 이 이미지들을 원래 크기의 약 3분의 1에서 절반가량으로 잘라낸 후 다시 테스트한 결과, 55%에 해당하는 이미지를 AI 생성물로 식별하는 데 실패했습니다. 이는 메타가 이미지에 삽입하는 보이지 않는 워터마킹 시스템인 '콘텐츠 씰(Content Seal)'이 이미지의 일부 편집 과정에서 손상될 수 있음을 보여줍니다.

기술적 한계와 시장 영향

이번 분석 결과는 AI 생성 콘텐츠의 진위를 가리는 기술이 아직 초기 단계이며, 간단한 편집만으로도 무력화될 수 있다는 점을 부각시킵니다. 특히 미국 중간선거 등 주요 정치 이벤트를 앞두고 AI를 이용한 허위 정보 확산 방지에 어려움이 따를 수 있다는 우려를 낳고 있습니다.

Ad

로이터의 질의에 메타 측은 해당 탐지 도구가 아직 '프리뷰' 버전임을 강조했습니다. 또한 워터마크가 일반적인 편집에는 견딜 수 있도록 설계되었지만, 이미지를 심하게 잘라낼 경우 신호가 손실될 수 있다고 설명했습니다. 구글과 오픈AI 같은 경쟁사들 역시 자체 탐지 도구가 완벽하지 않다고 인정한 바 있습니다.

전문가 의견 및 배경

AI 이미지 포렌식 전문가인 시웨이 류 뉴욕주립대 버팔로 캠퍼스 교수는 "워터마크 기반 방식은 워터마크가 손상되지 않았을 때 매우 효과적이지만, 잘라내기, 크기 조정, 심한 압축 등 신호를 약화시키는 모든 수정은 그 효과를 감소시킬 수 있다"고 지적했습니다.

앞서 지난 3월, 메타의 감독위원회는 회사 측에 플랫폼 내 "기만적인 AI 생성 콘텐츠 확산"에 대응하기 위해 더 강력한 탐지 도구에 투자할 것을 권고한 바 있습니다. 이번 결과는 해당 권고의 중요성을 다시 한번 확인시켜 주며, 투자자들은 향후 규제 및 기술 개발 동향을 주시할 필요가 있습니다.