메타 AI 이미지 탐지 도구, 자체 생성 이미지 일부 식별 실패

메타(Meta)가 최근 공개한 인공지능(AI) 이미지 탐지 도구가 일부 편집된 자사 생성 이미지를 식별하는 데 실패했다고 로이터 통신이 분석 결과를 통해 밝혔다. 이는 선거 시즌을 앞두고 딥페이크 등 조작된 콘텐츠를 식별하려는 기술적 노력의 한계를 보여주는 사례로 평가된다.

로이터 통신 분석 결과, 탐지 성능 한계 드러나

로이터 통신은 메타의 최신 이미지 생성 모델 '뮤즈 이미지(Muse Image)'로 생성된 이미지 40개를 대상으로 테스트를 진행했다. 그 결과, 메타의 탐지 도구는 원본 AI 생성 이미지는 모두 정확하게 식별했다.

하지만 원본 이미지의 크기를 약 3분의 1에서 절반으로 자른(크롭) 후에는 테스트 대상 이미지의 55%를 식별하지 못했다. 메타의 탐지 기술은 '콘텐츠 씰(Content Seal)'이라는 보이지 않는 워터마크 시스템을 기반으로 하며, 이는 크롭과 같은 일반적인 편집 후에도 유지되도록 설계되었다.

이에 대해 메타 측은 해당 도구가 아직 '미리보기(preview)' 버전임을 언급하며, 이미지가 과도하게 잘릴 경우 워터마크 신호가 손실될 수 있다고 설명했다.

'딥페이크' 확산 우려 속 기술적 과제

Ad

이번 분석 결과는 미국 중간선거 등 주요 정치 이벤트를 앞두고 온라인상에서의 딥페이크 식별이 얼마나 어려운 과제인지를 부각시킨다. 이미지 일부를 자르는 것과 같은 간단한 편집만으로도 탐지 시스템을 우회할 수 있다는 가능성을 시사하기 때문이다.

구글(Google)과 오픈AI(OpenAI) 같은 경쟁사들 역시 자사의 탐지 도구가 이미지 변형 기술에 완벽하게 대응할 수는 없다고 인정한 바 있다. 앞서 메타의 감독위원회는 회사 측에 플랫폼 내 '기만적인 AI 생성 콘텐츠 확산'에 대응하기 위해 더 강력한 탐지 도구에 투자할 것을 권고하기도 했다.

전문가 "워터마크 기반 기술, 근본적 한계 존재"

전문가들은 워터마크 기반 시스템의 본질적인 취약점을 지적한다. 뉴욕 주립대학교 버팔로 캠퍼스의 컴퓨터 과학 교수인 시웨이 류(Siwei Lyu)는 "워터마크가 손상되지 않으면 매우 효과적일 수 있지만, 크롭, 크기 조정, 심한 압축 등의 수정은 신호를 약화시키거나 제거할 수 있다"고 말했다.

다만 UC 버클리 정보대학원의 AI 연구원 사라 배링턴(Sarah Barrington)은 워터마크 기술이 완벽하지는 않더라도 AI 생성 콘텐츠의 미래에 있어 유망하다고 평가했다. 그는 "사이버 보안 조치와 마찬가지로 완벽할 수는 없지만, 90%만 잡아내도 0%에 비하면 엄청난 도약"이라고 덧붙였다.