메타 AI 이미지 탐지기, 자체 생성 이미지도 잘라내면 식별 실패

메타(Meta)가 새로 선보인 인공지능(AI) 이미지 탐지 도구가 자체 AI 모델로 생성한 이미지를 일부 잘라낼 경우 상당수 식별에 실패하는 것으로 나타났다. 로이터 통신의 분석에 따르면, 이는 주요 선거를 앞두고 딥페이크 등 조작된 콘텐츠를 가려내는 기술의 한계를 보여주는 결과다.

로이터 분석 결과, 탐지율 급감

로이터 통신은 메타의 이미지 생성 모델 '뮤즈 이미지(Muse Image)'로 생성된 이미지 40개를 대상으로 분석을 진행했다. 그 결과, 메타의 탐지 도구는 원본 AI 생성 이미지는 모두 정확히 식별해냈다.

하지만 이 이미지들을 원본 크기의 약 3분의 1에서 절반가량으로 잘라낸 후 다시 분석하자, 55%는 AI 생성 이미지임을 확인하지 못했다. 메타는 '콘텐츠 씰(Content Seal)'이라는 보이지 않는 워터마킹 시스템을 통해 자사 AI 생성 이미지를 식별할 수 있다고 설명해왔다.

기술적 한계와 '딥페이크' 우려

이번 분석 결과에 대해 메타 측은 해당 탐지 도구가 아직 '프리뷰' 버전임을 언급했다. 또한 워터마크는 일반적인 편집 과정에서는 유지되도록 설계되었으나, 이미지를 심하게 잘라낼 경우 신호가 손실될 수 있다고 밝혔다.

Ad

이러한 한계는 메타만의 문제가 아니다. 구글과 오픈AI 같은 경쟁사들도 자사의 탐지 도구가 이미지 변형 기술에 완벽하지 않다고 인정한 바 있다. 뉴욕 주립대 버펄로 캠퍼스의 시웨이 류 컴퓨터 과학과 교수는 "워터마크 기반 방식은 워터마크가 온전할 때 매우 효과적이지만, 자르기, 크기 조정, 심한 압축 등 신호를 약화시키는 모든 수정은 효율성을 떨어뜨릴 수 있다"고 지적했다.

배경: 강화되는 AI 콘텐츠 규제 압박

이번 발견은 AI 생성 콘텐츠의 투명성과 신뢰성에 대한 시장의 우려를 다시 한번 부각시킨다. 투자자들과 규제 당국은 AI 기술이 여론 조작이나 금융 사기 등에 악용될 가능성을 예의주시하고 있다.

앞서 지난 3월, 메타의 감독위원회는 회사 측에 플랫폼 전반에 걸쳐 "기만적인 AI 생성 콘텐츠의 확산"에 대응하고 더 강력한 탐지 도구에 투자할 것을 권고한 바 있다. 이번 분석 결과는 이러한 기술적 과제가 여전히 현재진행형임을 시사한다.