메타 AI 탐지기, 자체 생성 이미지도 잘라내면 '인식 실패'

메타(Meta)가 자체 이미지 생성 모델 '뮤즈 이미지(Muse Image)'와 함께 공개한 새로운 AI 탐지 도구가, 이미지를 잘라내는 등 간단한 편집을 거치면 AI 생성 여부를 제대로 식별하지 못하는 것으로 나타났습니다. 로이터 통신의 분석에 따르면, 해당 도구는 메타가 생성한 이미지 중 잘라낸 이미지의 절반 이상을 탐지하는 데 실패했습니다.

로이터 분석 결과, 탐지 능력 한계 드러나

로이터 통신은 뮤즈 이미지로 생성된 40개의 이미지를 분석했습니다. 그 결과, 메타의 탐지 도구는 원본 AI 생성 이미지는 모두 식별해냈지만, 이미지 크기를 3분의 1에서 절반가량으로 잘라낸 후에는 55%를 식별하지 못했습니다.

메타의 이 도구는 '콘텐츠 씰(Content Seal)'이라는 비가시성 워터마크 시스템을 기반으로 작동합니다. 뮤즈 이미지로 생성된 모든 이미지에 내장되어 사용자가 메타 AI 모델로 만들어졌는지 확인할 수 있도록 설계되었습니다. 이번 분석 결과는 이미지에 흔히 가해지는 편집만으로도 워터마크 기반 탐지 기술이 무력화될 수 있음을 시사합니다.

'딥페이크' 확산 우려 속 메타의 입장

로이터의 분석 결과에 대해 메타 측은 해당 도구가 아직 '프리뷰(preview)' 버전임을 강조했습니다. 회사 측은 워터마크가 일반적인 편집에도 유지되도록 설계되었지만, 이미지를 심하게 잘라낼 경우 신호가 손실될 수 있다고 설명했습니다.

Ad

이러한 기술적 한계는 미국 중간선거를 포함한 주요 선거를 앞두고 딥페이크 등 조작된 AI 콘텐츠의 확산을 막는 데 어려움이 있음을 보여줍니다. 구글(Google)이나 오픈AI(OpenAI)와 같은 경쟁사들도 자사의 탐지 도구가 이미지 변형 기술에 완벽하게 대응할 수는 없다고 인정한 바 있습니다. 앞서 메타의 감독위원회 역시 회사에 "기만적인 AI 생성 콘텐츠의 확산"에 대응하기 위한 더 강력한 탐지 도구에 투자할 것을 권고했습니다.

전문가들 "워터마크 기술, 완벽하지 않아"

AI 이미지 포렌식 전문가인 시웨이 류 뉴욕주립대 교수는 워터마크 기반 시스템의 한계를 지적했습니다. 그는 "워터마크가 손상되지 않으면 매우 효과적일 수 있지만, 잘라내기, 크기 조정, 심한 압축 등 신호를 약화시키는 모든 수정은 그 효과를 감소시킬 수 있다"고 말했습니다.

버클리 정보대학원의 AI 연구원 사라 배링턴은 워터마크 기술이 AI 콘텐츠의 미래에 유망하지만, 만능은 아니라고 평가했습니다. 그는 "완벽한 방어책은 아닐 수 있지만, 90%의 사례만 잡아내도 아무것도 못 하는 것보다는 큰 발전"이라고 덧붙였습니다.