[이코노미스트 정두용·박세진 기자] ‘딥페이크 성착취물’(인공지능 기반 이미지 편집 기술을 이용해 음란물에 다른 얼굴을 합성하는 식으로 제작·유포되는 영상·사진 등) 피해자에 한국인이 유독 많다는 충격적인 조사 결과가 나왔다. 미국의 사이버보안 업체 ‘시큐리티 히어로’가 발표한 ‘2023 딥페이크 현황’ 보고서에 따르면 세계에 유포된 딥페이크 성착취물에 피해를 본 이들의 절반 이상이 한국인이다.

해당 보고서에는 지난해 7월부터 8월까지 딥페이크 성착취물 사이트 10곳과 유튜브·비메오·데일리모션 등 동영상 공유 플랫폼의 딥페이크 채널 85개에 올라온 영상물 9만5820건을 분석한 결과가 담겼다. 딥페이크 성착취물에 등장하는 개인 중 53%가 한국인으로 나타났다. 한국인 딥페이크 피해자 대부분은 가수와 배우 등 연예인으로 조사됐다. 시큐리티 히어로는 보고서를 통해 “한국은 딥페이크 성착취물에서 가장 많이 표적이 되는 나라”라고 했다.

딥페이크 성범죄로 인한 피해에 특히 미성년자가 표적이 되고 있다. 국회 행정안전위원회 소속 양부남 더불어민주당 의원이 경찰청에서 제출받은 자료에 따르면 딥페이크 범죄 사건 관련 피해자 60%는 미성년자였다. 2021년부터 3년 동안 경찰에 신고된 딥페이크 등 허위 영상물 사건 피해자 527명 중 315명(59.8%)이 10대로 집계됐다. 10대 다음으로 20대(169명, 32.1%), 30대(28명, 5.3%), 40대(6명, 5.3%) 등의 순으로 피해자가 많았다. 정부는 이에 딥페이크 등 허위 영상물 소지·구입·시청 행위를 처벌하는 규정 신설을 예고하는 등 대응에 나섰다.

옷 벗기고 가슴 움켜쥐게 한 AI

이 와중에 한국 기업이 만든 대중적인 애플리케이션(앱)에서 AI가 원본 사진에 외설적 이미지를 덧씌우는 오류를 일으켰다. 네이버 자회사 스노우가 운영하는 카메라·사진 보정 앱에서 연달아 AI 합성 이미지가 외설적으로 바뀌는 사고가 났다.

A 씨는 소다 앱에 자신의 증명사진을 올린 후 ‘AI 배경 확장’ 기능을 사용해 너비를 조정했다. 양손으로 가슴을 움켜쥐는듯한 이미지가 덧씌워지는 결과물을 받았다. B 씨는 스노우 앱에 본인의 얼굴이 나온 사진을 넣고 ‘AI 헤어샵’ 서비스로 다양한 헤어스타일을 비교해 보고자 했다. 스노우 AI는 B 씨의 상반신을 나체로 만들었다. 두 이용자는 ‘정신적 피해’를 호소하고 있다. “사진의 유출 우려에 잠도 편히 자지 못하는 날”도 잦다고 한다. 의도와 다른 결과물을 받고선 불안감에 떨어야 했다. 돈을 내고 이용한 서비스를 이용한 고객이 한순간 피해자가 됐다.

스노우는 앱 마켓 구글 플레이에서만 다운로드 수 1억 이상을 기록하고 있다. 소다 역시 1000만 명 이상의 가입자를 보유한 앱이다. 대중적인 두 앱에서 AI 합성을 통해 성적 수치심을 유발하는 결과물을 내놓은 구조라 논란이 가중되는 모습이다.

회사 측은 이에 지난 9월 10일 스노우·소다 앱에 각각 사과문을 게재했다. 본지가 이 사안을 처음 보도한 후 5일 만에 일이다. 소다·스노우 앱 모두 글로벌 서비스이지만, 사과문은 한국어 서비스에만 게재됐다. 피해자들은 “공식적인 채널로 회사에 문제를 제기했으나, 별다른 움직임을 보이지 않았다가 취재가 시작되니 사과를 전하고 보상안 등을 논의하기 시작했다”고 주장했다.

‘통제 불능’ 스노우 AI…“반쪽 대응”

문제는 서비스를 제공하고 있는 스노우가 오류를 나타낸 AI를 통제할 수 없다는 점이다. 생성형 AI는 학습데이터의 양·질에 따라 결과물이 달라진다. 오류가 나타난 AI를 뜯어서 학습된 데이터에서 선정적 이미지를 배제하는 등 수정 작업이 이뤄져야 이런 사안이 재발하지 않는 구조다. 하지만 스노우엔 그런 권한이 없다. 자체 개발한 AI 모델을 사용하고 있지 않아서다.

스노우·소다 앱의 AI 편집 기능은 오픈소스(Open Source·소프트웨어 프로그램을 개발하는 과정에 필요한 소스 코드나 설계도를 누구나 접근해서 열람할 수 있도록 공개) 모델인 ‘스테이블 디퓨전’(Stable Diffusion)을 기반으로 구축됐다. ‘AI 학습데이터 선정’에 회사가 관여하지 않았다는 의미다. 영국 기업 스테이블AI에서 개발한 이미지 생성형 AI 모델로, 입력된 문구를 기반으로 이미지(Text-to-Image)를 만들어 낸다. 해당 모델은 선정적인 이미지도 학습한 것으로 알려져 있다.

스노우 측은 해당 모델의 부적절한 이미지 생성 위험성을 인지해 자체 개발한 필터 기술을 적용했다. 스테이블 디퓨전에 문구를 입력하는 프롬프트를 적절히 걸러 안전한 이미지를 만드는 기능을 서비스 밑단에 깔았다. 이 필터는 원하는 결과물을 도출하기 위한 ‘긍정 프롬프트’(Positive Prompt)와 부적절한 이미지 생성을 막는 ‘부정 프롬프트’(Negative Prompt)를 모델에 입력하는 역할을 한다.

이 기능이 미흡하게 작동하면서 A 씨와 B 씨는 정신적 피해를 봤다. 다만 두 앱의 AI 편집 기능을 통해 생성된 이미지 모두 즉각 삭제되고, AI 모델에 학습되지 않는다는 게 회사 측 설명이다. 피해자가 우려한 외부 유출 가능성은 없는 셈이다.

회사는 두 앱에 적용된 필터 기능을 손봐 새로운 버전을 배포할 계획이다. 그러나 AI 모델 자체를 바꾸거나 새로 개발하는 식의 후속 조치는 언급하지 않았다. IT업계 관계자는 이를 두고 “근본적인 문제가 해결되지 않은 주먹구구식 대응”이라며 “스노우·소다 앱 내 AI 편집 기능을 작동하는 모델이 언제 어떻게 바뀔지 몰라 ‘필터 기능’을 고도화한다손 치더라도 사고가 언제든 다시 나타날 수 있는 구조”라고 지적했다.

물론 스노우 AI가 외설적 이미지를 합성한 건 세간에서 문제로 떠오른 ‘딥페이크 성착취물’과는 연관이 없다. 성착취물 제작을 의도하고 개발된 딥페이크 생성형 AI와는 서비스 성격 자체가 다르기 때문이다.

스노우에서 외설적 이미지가 합성된 건 생성형 AI의 한계로 꼽히는 ‘환각 현상’(Hallucination·할루시네이션)으로 인한 사고에 더 가깝다. 다만 학습데이터에 선정적 이미지가 완전히 배제됐더라면 AI 환각이 나타났더라도 이번과 같은 사고가 나질 않았으리란 게 전문가들의 공통된 분석이다. 스노우가 내놓은 ‘필터 기능’ 고도화가 반쪽 대응에 그친다는 지적이 나오는 이유다.

딥페이크 성착취물의 피해가 세계적으로 확산하자 주요 국가 정부는 수사를 확대하고 규제를 마련하고 있다. 이에 이미지 생성형 AI 서비스를 운영하는 기업들도 환각 현상에 따른 이용자 피해를 줄이기 위해 움직이는 모습이다. 개발자의 의도와 별개로 생성되는 선정적 이미지 생성 가능성을 최대한 줄이겠단 취지다.

마이크로소프트(MS)·오픈AI·어도비·앤트로픽·코히어 등은 9월 12일(현지시각) 미국 백악관의 중재로 발표한 서약에서 ‘AI 모델에 학습된 데이터에서 나체 이미지를 제거할 것’을 약속했다. 메타·틱톡·범블·디스코드 등도 이날 이미지 기반 성적 학대를 방지하기 위한 자발적 원칙을 별도의 서약으로 발표했다.

한국 카메라 앱 서비스 시장을 사실상 장악한 스노우는 이런 대응 자체가 불가능하다. 자체 AI를 통해 서비스를 구축한 게 아닌 외국 기업에 의존하고 있어서다. 스노우·소다 앱에 적용된 AI 모델 개발사 스테이블AI는 MS 등이 서약한 내용에 준하는 ‘나체 이미지 삭제’ 조치를 발표한 바 없다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지