이데일리TV 생방송 코너 ‘이데일리 인사이트’에서 다룬 내용을 다시 글로 풀어 전달합니다. 경제·산업계 소식에 인사이트 한 스푼을 얹을 수 있도록 노력하겠습니다. 다양한 관점에서 사안을 다룹니다. [편집자주]

[이코노미스트 정두용 기자] Q. ‘딥페이크 성 착취물’에 대한 피해가 확산하면서 최근 세간에서 큰 문제로 떠오르고 있는데요. 인공지능(AI) 기술이 발전하면서 편의성 증대와 같은 긍정적인 효과가 나타나기도 하지만, 반대급부로 새로운 형태의 피해도 발생하고 있습니다. 먼저 딥페이크 성 착취물 무엇인지부터 설명해 주시죠.
A. 딥페이크는 AI 기술 중 하나인 ‘딥 러닝’(deep learning)과 가짜를 의미하는 ‘페이크’(fake)의 합성어입니다. 인공지능 이미지 편집 기술을 활용해 사실과 다른 영상이나 사진을 만드는 걸 의미하는데요. 기술 자체만 보면 영화나 예술 분야에서 활용할 수 있고, 돌아가신 분과 대화를 나누는 식의 영상을 만들어 유족의 심리 치료 등에도 쓰일 수 있어 긍정적인 면도 존재합니다.

문제는 이 기술을 성 착취물 제작이나 사기 등에 범죄에 이용되고 있다는 점인데요. 음란물에 연예인의 얼굴을 덧씌우거나 지인의 모습을 반영하는 식으로 악용되고 있어 국내뿐 아니라 세계에서도 문제로 지적되고 있습니다. 성 착취물 제작뿐만 아니라 유명인을 사칭해 사기 행각을 벌이거나, 정치적 목적으로 왜곡된 정보를 유통하는 데에도 쓰이고 있어 피해가 점차 커지고 있는 모습입니다.

Q. 딥페이크란 기술 자체가 문제라기 보단 이를 악용하면서 피해가 나타난다고 이해할 수 있겠네요. 이 딥페이크 성 착취물 피해에 한국인이 유독 많이 노출돼 있다고요?
A. 세계에 유포된 딥페이크 성 착취물로 피해를 본 이들의 절반 이상이 한국인이라는 조사가 있는데요. 미국의 사이버보안 업체 ‘시큐리티 히어로’가 발표한 ‘2023 딥페이크 현황’ 보고서에는 지난해 7월부터 8월까지 딥페이크 성 착취물 사이트 10곳과 유튜브와 같은 동영상 공유 플랫폼의 딥페이크 채널 85개에 올라온 영상물 9만5820건을 분석한 결과가 담겼습니다.

조사 결과에 따르면 딥페이크 성 착취물에 등장하는 개인 중 53%가 한국인으로 나타났습니다. 한국인 딥페이크 피해자 대부분은 가수와 배우 등 연예인으로 조사됐고요. 시큐리티 히어로는 보고서를 통해 “한국은 딥페이크 성 착취물에서 가장 많이 표적이 되는 나라”라고 지적하기도 했습니다.

더 큰 문제는 딥페이크 성범죄에 특히 미성년자가 표적이 되고 있다는 점입니다. 국회 행정안전위원회 소속 양부남 의원(더불어민주당)이 경찰청에서 제출받은 자료에 따르면 딥페이크 범죄 사건 관련 피해자 60%는 미성년자로 나타났는데요. 2021년부터 3년간 경찰에 신고된 딥페이크 등 허위 영상물 사건 피해자 527명 중 무려 315명이 10대로 집계됐습니다.

딥페이크 성 착취물을 제작하거나 배포한 피의자 역시 대다수가 10대로 나타났는데요. 올해 1월 1일부터 9월 25일까지 전국 경찰에 접수된 딥페이크 성범죄 관련 사건은 총 812건으로 집계됐습니다. 이 기간 딥페이크 성범죄로 검거된 피의자는 총 387명이었고, 이 중 324명 10대였는데요. 비중으로 보면 무려 83.7%가 10대입니다. 이 중에는 10세 이상 14세 미만, 그러니까 ‘촉법소년’도 66명이나 됐습니다.

Q. 피해가 정말 ‘일파만파’로 퍼지고 있는데, 당국 차원의 대응은 없습니까?
A. 피해가 확산하자 국회가 움직였습니다. 지난 9월 26일 이른바 ‘딥페이크 성범죄 방지법’으로 불리는 ‘폭력 범죄의 처벌 등에 관한 특례법 개정안’이 국회 본회의를 통과했는데요. 딥페이크 성 착취물을 제작·배포한 이는 물론 이를 이용해 협박·강요한 자도 처벌할 수 있는 규정이 마련됐습니다.

여기에 더해 딥페이크 성 착취물을 시청한 이도 처벌 대상으로 올랐는데요. 구체적으로 불법 딥페이크 촬영물 편집·배포에 대한 처벌 법정형이 기존 ‘불법 촬영물’과 같도록 기준이 상향됐고요. 딥페이크 성 착취물을 소지·구입·저장·시청하면 징역 3년 이하 또는 3000만원 이하의 벌금형을 받도록 규정이 마련됐습니다.

이와 함께 검찰과 경찰의 딥페이크 성 착취물 근절 활동도 진행되고 있는데요. 검찰과 경찰의 디지털 성범죄 대응을 위한 핫라인이 개설됐고, 전담 검사의 수를 확대하는 등 대응에 나섰습니다. 경찰은 지난 8월 28일을 기점으로 시·도경찰청 사이버 성폭력수사팀을 중심으로 딥페이크 성범죄 집중 단속을 전개하고 있기도 합니다.

Q. 이런 상황에서 대중적인 국내 사진 앱에서 AI가 외설적 이미지를 합성하는 오류를 일으켜 논란이 되고 있다고요?
A. 네이버 자회사 스노우가 운영하는 카메라·사진 보정 앱에서 연달아 AI 합성 이미지가 외설적으로 바뀌는 사고가 났습니다. 스노우와 소다란 앱에서 원본 사진에 외설적 이미지를 덧씌우는 오류를 일으킨 건데요. 문제가 나타난 두 서비스 모두 유료란 점에서 논란이 더욱 가중되고 있습니다.

스노우는 앱 마켓인 구글 플레이에서만 다운로드 수 1억 이상을 기록하고 있는 사진 앱입니다. 소다 앱도 1000만명 이상의 가입자를 보유한 대중적인 앱이죠. 여성을 중심으로 대중적 인기를 구가하고 있는 두 앱에서 AI 합성을 통해 성적 불쾌감을 유발하는 결과물이 나온 셈입니다.
사례를 구체적으로 살펴보면 피해의 정도가 꽤 심각한데요. 저희 매체에 온 제보 내용을 종합하면, 지금까지 확인된 피해자는 두 명입니다.

먼저 스노우 앱을 통해 피해를 본 사례부터 말씀드리겠습니다. 스노우 앱에는 유료 서비스인 ‘AI 헤어샵’ 기능이 있는데요. 사진을 넣으면 머리 모양을 다양하게 바꿔주는 서비스입니다. 스노우 앱 피해자는 이 기능을 사용하던 중 충격적인 결과물을 받았습니다. 다양한 스타일 중 단발 컷 사진에서 상반신 모두가 나체로 바뀌었기 때문입니다.

소다 앱에서도 비슷한 사례가 나타났는데요. 이 피해자는 소다 앱 내 유료 서비스인 ‘AI 배경 편집’ 기능을 사용하다 충격을 받았습니다. 증명사진 아래 배경에 가슴을 양손으로 움켜쥐는 듯한 모습이 합성된 걸 보고 ‘결과물이 유출되지 않을까’란 걱정에 밤잠을 설쳤다고 합니다.

AI 기능을 통해 나온 결과물이라고 할지라도, 편집 과정을 소비자가 직접 수행하는 구조라 충격이 더 클 수밖에 없는 구조인데요. 본인의 얼굴이 나온 사진을 직접 넣어 결과물을 받는 유료 서비스에서 이런 오류가 나타나 네이버 자회사인 스노우에 대한 비판이 더욱 가중되고 있습니다. 취재 과정에서 자문을 구한 전문가는 이를 두고 “회사의 기술적 미흡이란 일종의 폭력에 노출된 것”이라고 지적하기도 했습니다.

Q. 대중적인 앱이고, 유료 서비스인데 외설적 이미지가 도출돼 문제가 더 커 보이네요. 왜 이런 오류가 나타난 거죠?
A. 스노우가 운영하는 두 앱에서 나타난 AI 외설적 이미지 합성 문제의 원인을 진단하기 위해선, 이런 오류를 일으킨 핵심 기술인 생성형 AI를 먼저 살펴볼 필요가 있겠습니다.

생성형 AI는 말 그대로 글이나 이미지를 만들어내는 인공지능을 뜻합니다. 사용자의 질문에 유려한 문장으로 답변하는 오픈AI의 챗GPT가 대표적인 생성형 AI 서비스라고 볼 수 있겠습니다.

이번에 오류가 나타난 스노우와 소다 앱 서비스에도 이런 생성형 AI 기술이 접목돼 있는데요. 원하는 이미지를 문장으로 입력하면 이를 생성해 주는 AI 모델이 적용돼 있습니다. 스노우가 사용하고 있는 AI가 사용자의 의도와 달리 외설적 이미지를 원본에 덧씌운 게 이번 오류의 핵심 원인입니다.

생성형 AI의 결과물은 통상 학습 데이터의 양과 질에 따라 결정됩니다. AI에 무엇을 학습시켰는지에 따라 생성되는 글이나 이미지가 달라지는 구조인 거죠. 그래서 스노우 AI가 외설적 이미지를 생성해 내자, 회사가 ‘AI 학습 데이터에 선정적인 이미지를 넣었다’라는 식의 의혹이 나오기도 했습니다.

회사는 AI가 부적절한 이미지를 생성해 내 소비자가 피해를 겪었다는 점에선 고개를 숙였지만, AI 학습 데이터에 의도적으로 선정적인 이미지를 넣었다는 의혹은 전면 부인했습니다. 스노우가 문제를 일으킨 된 두 앱에 적용한 AI는 ‘스테이블 디퓨전’(Stable Diffusion)이란 이미지 생성형 AI 모델인데요. 영국 기업 ‘스테이블AI’에서 개발해 오픈소스(Open Source·소프트웨어 프로그램을 개발하는 과정에 필요한 소스 코드나 설계도를 누구나 접근해서 열람할 수 있도록 공개)로 배포한 모델입니다. 스노우는 자체 개발한 모델이 아니라서 ‘AI 학습 데이터 선정’에 관여하지 않았다고 해명했습니다.

스노우는 ‘스테이블 디퓨전’에 선정적 이미지가 학습돼 있다는 점을 인지하고 있었는데요. 부적절한 결과물이 생성될 수 있다는 점도 사전에 파악하고 있었다는 의미입니다. 회사는 이를 방지하기 위해서 필터 기술을 자체 개발해 서비스에 적용했는데요. 스테이블 디퓨전에 입력하는 문구를 적절히 걸러 안전한 이미지를 만드는 기능을 서비스 밑단에 깐 구조입니다. 이 필터 기능이 미흡하게 작동했고, 이에 따라 부적절한 이미지가 생성돼 피해자가 발생했다고 볼 수 있겠습니다.

Q. 회사가 의도하지 않았다곤 하더라도 유료 서비스에서 심각한 오류가 나타난 거잖아요. 정신적인 피해를 호소하는 소비자가 있는 만큼 빠른 대응이 필요해 보입니다.
A. 두 피해자 모두 본인 얼굴에 외설적 이미지가 덧씌워진 사진이 외부로 유출될 수 있다는 점에 큰 우려를 나타냈는데요. 다행히 스노우가 운영하는 두 앱에서 AI 기능을 통해 생성된 이미지는 만들어지는 동시에 서버에서 삭제된다고 합니다. 외부로 사진이 유출될 가능성이 없도록 서비스를 운영 중이라는 게 스노우 측 설명인데요.

회사는 사안을 인지한 후 피해자와 보상에 관한 논의를 진행하고 있습니다. 저희가 이 사안을 단독으로 보도한 후 5일 만에 스노우·소다 앱에 각각 사과문을 게재하기도 했고요.

재발 방지책도 마련했습니다. AI 이미지 생성 기능을 더욱 안전하게 마련하기 위해서 필터 기능을 고도화한 버전을 최근 배포하기도 했습니다.
 
Q. 필터 기술 고도화로 이런 오류를 막을 수 있나요?
A. 스노우가 내놓은 재발 방지안에는 필터 기술 고도화가 주된 내용으로 언급돼 있습니다. 그래서 ‘근본적 원인 해결’은 아니라는 지적이 나오는데요.

외설적 이미지 생성을 원천적으로 막으려면, 오류가 나타난 AI를 뜯어서 학습된 데이터에서 선정적 이미지를 배제하는 등 수정 작업이 이뤄져야 합니다. 앞서 말씀드린 것처럼 스노우가 두 앱에 사용 중인 모델은 영국 기업이 개발한 오픈소스를 기반으로 합니다. AI 모델 수정 권한이 스노우에 없다는 의미인데요.

스노우에 적용된 AI 모델을 향후 어떤 방향으로 발전시킬지 전혀 관여할 수 없는 상황에서, 필터 기술 고도화만으로는 부적절한 이미지 생성을 완전히 막을 수 없다는 게 업계 전문가들의 공통된 시각입니다.

물론 회사는 이번 문제가 발생한 후 기존에 사용하던 ‘스테이블 디퓨전’ 모델을 교체하긴 했습니다. 스테이블 디퓨전의 다양한 버전 중 보수적인 엔진을 사용하기로 한 건데요. 그러나 스테이블 디퓨전 학습 데이터에 선정적 이미지가 포함된 구조라 위험성은 여전히 존재한다고 볼 수 있겠습니다.

다만 스노우 AI가 외설적 이미지를 합성한 건 세간에서 문제로 떠오른 ‘딥페이크 성 착취물’과는 연관이 없습니다. 성 착취물 제작을 의도하고 개발된 딥페이크 생성형 AI와는 서비스 성격 자체가 다르기 때문이죠.

스노우에서 외설적 이미지가 합성된 건 생성형 AI의 한계로 꼽히는 할루시네이션(Hallucination), 그러니까 ‘환각 현상’으로 인한 사고에 더 가깝습니다. 다만 학습 데이터에 선정적 이미지가 완전히 배제됐더라면 AI 환각 현상이 나타났더라도 이번과 같은 사고가 나질 않았으리란 게 전문가들의 공통된 분석이기도 한데요. 스노우가 내놓은 ‘필터 기능’ 고도화 중심의 재발 방지책이 반쪽 대응에 그친다는 지적이 나오는 이유입니다.

Q. 딥페이크 성 착취물에 대한 피해가 세계적으로 확산하자, 글로벌 빅테크에선 학습 데이터를 수정하고 있다고요?
A. 딥페이크 성 착취물의 피해가 세계적으로 확산하자 주요 국가 정부는 수사를 확대하고 규제를 마련하고 있는데요. 이에 이미지 생성형 AI 서비스를 운영하는 기업들도 환각 현상에 따른 이용자 피해를 줄이기 위해 움직이는 모습입니다. 개발자의 의도와 별개로 생성되는 선정적 이미지 생성 가능성을 최대한 줄이겠단 취지인 거죠.

마이크로소프트(MS)·오픈AI·어도비·앤트로픽·코히어 등은 지난 9월 12일(현지시간) 미국 백악관의 중재로 발표한 서약에서 ‘AI 모델에 학습된 데이터에서 나체 이미지를 제거할 것’을 약속하기도 했습니다. 메타·틱톡·범블·디스코드 등도 이미지 기반 성적 학대를 방지하기 위한 자발적 원칙을 별도의 서약으로 발표했죠.

한국 카메라 앱 서비스 시장을 사실상 장악한 스노우는 이런 대응 자체가 불가능한데요. 자체 AI를 통해 서비스를 구축한 게 아닌 외국 기업에 의존하고 있기 때문입니다. 스노우·소다 앱에 적용된 AI 모델을 개발한 스테이블AI는 지금까지 ‘나체 이미지 삭제’ 조치를 발표한 바 없습니다.

Q. 스노우 사진 앱에서 나타난 오류가 국회 국정감사장에서도 다뤄진다고요?
A. 김창욱 스노우 대표가 직접 국회 국감장에 출석하는데요. 이해민 의원(조국혁신당)이 김창욱 대표를 증인으로 신청한 건이 의결되면서 관련 내용이 국정감사장에서도 다뤄질 예정입니다.

김창욱 대표는 구체적으로 오는 10월 8일 국회 과학기술정보방송통신위원회가 진행하는 국정감사에 출석하는데요. 이해민 의원은 김창욱 대표를 증인으로 신청한 배경에 ‘딥페이크’를 적어냈습니다. 최근 벌어진 AI 합성 오류와 후속 대처 등에 대해서 질문과 답변이 오갈 것으로 보입니다.

더욱 안전한 AI 엔진으로 교체하고 필터 기술을 손봤다곤 하지만 ‘근본적인 대응’은 아니라는 지적이 나오는 만큼 김창욱 대표가 국감장에서 이번 오류에 어떤 답변을 내놓을지 지켜봐야겠습니다.

딥페이크 성 착취물에 대한 국내 공포가 확산하고 있는 상황에서, 대중적인 사진 앱의 유료 서비스에서도 이와 유사한 피해가 나타난 만큼 더욱 치밀한 후속 대응이 필요하다는 목소리가 높아지고 있습니다.

*본문과 방송 내용에는 다소 차이가 있을 수 있습니다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지