[이코노미스트 정두용 기자·박세진 기자] 헤어스타일을 바꿔 달라고 했더니 옷을 벗겼다. 배경을 편집해달라고 했더니 양손으로 가슴을 움켜쥐게 했다. 사용자들은 ‘성적 불쾌감’을 느꼈다. 돈을 내고 서비스를 이용한 고객이 한순간 회사의 ‘기술적 폭력’에 노출된 피해자가 됐다.

9일 본지 취재를 종합하면 네이버 자회사 스노우가 운영하는 카메라 애플리케이션(앱)에서 연달아 인공지능(AI) 편집 과정 중 외설적 합성 사진이 나왔다. ‘소다’(SODA)에 이어 국내 대표 사진 보정 앱으로 자리 잡은 ‘스노우’(SNOW)에서도 부적절한 이미지가 덧씌워져 논란이다. 상반신 전부가 나체로 합성되는 등 앞선 소다의 사례보다 문제 정도가 더 심각하다. 소다 앱에선 배경 너비를 AI로 늘리던 중 두 손으로 가슴을 움켜쥐는 듯한 이미지가 만들어졌다. 이번 문제의 원인으론 스노우가 자체 개발한 ‘프롬프트 필터 기술’의 미흡함이 지목됐다.

A 씨는 소다 앱 내 ‘AI 배경 확장’ 기능을 사용하다, B 씨는 스노우 앱 내 ‘AI 헤어샵’ 서비스를 이용 중 자신의 사진이 외설적 이미지로 바뀌는 일을 겪었다. 두 앱에서 나온 외설적 이미지가 포함된 AI 합성 사진은 유료 서비스를 통해 만들어진 결과물이다. 합성 사진을 받은 사용자들은 ‘정신적 피해’를 호소하고 있다.

A 씨는 본지와의 통화에서 “결혼을 앞두고 찍은 사진을 보정 중 결과물을 보고 성적 수치심을 느꼈다. 사진 유출 우려에 잠도 편히 못 자고 있다”고 했다. B 씨도 “대중적인 앱에서 상반신이 노출될 정도의 AI 편집이 이뤄졌다는 점에서 큰 충격을 받았고, 다른 피해자가 발생하지 않았으면 하는 마음에서 회사에도 공식적으로 문제를 제기했다”고 말했다.

아이지에이웍스의 데이터 분석 솔루션 모바일인덱스에 따르면 스노우 앱의 국내 월간활성이용자수(MAU)는 400만명에서 500만명 수준을 기록하고 있다. 이는 사진·동영상 부문에서 3위의 사용량이다. 1위는 삼성 갤러리, 2위는 구글 포토다. 두 앱이 안드로이드 스마트폰에서 필수적으로 사용된다는 걸 고려하면, 사실상 이 분야 국내 1위다. 또 스노우 앱은 최근 미국 최대 벤처캐피털(VC) 앤드리슨호로위츠(a16z)가 집계한 ‘세계에서 많이 사용되는 생성형 AI 앱’ 50위 목록에서 30위에 이름을 올리기도 했다.

정보기술(IT)업계 관계자는 “대중적인 앱에서 문제가 나타난 만큼 언제 어떻게 피해가 확산할지 모르는 상황”이라며 “딥페이크 성착취물의 피해가 커지고 있는 와중에 나타난 문제인 만큼 조속한 해결이 필요하다”고 말했다.

“소비자께 사과…의도성은 없어”

생성형 AI는 학습데이터의 양·질에 따라 결과물이 달라진다. 이에 따라 일각에선 “스노우가 의도적으로 학습데이터에 ‘선정적 이미지’를 포함했고, 소비자를 기만한 것”이란 지적이 나온다. 스노우 측은 자체 필터 기술의 미흡함에 서비스 오류가 나타나 소비자가 피해를 겪었다는 점에선 고개를 숙였지만, AI 학습데이터를 의도적으로 선정했다는 점은 전면 부인했다.

이번에 문제가 된 스노우·소다 앱의 AI 편집 기능은 오픈소스(Open Source·소프트웨어 프로그램을 개발하는 과정에 필요한 소스 코드나 설계도를 누구나 접근해서 열람할 수 있도록 공개) 모델인 ‘스테이블 디퓨전’(Stable Diffusion)을 기반으로 구축됐다. ‘AI 학습데이터 선정’에 회사가 관여하지 않았다는 의미다. 영국 기업 스테이블AI에서 개발한 이미지 생성형 AI 모델로, 입력된 문구를 기반으로 이미지(Text-to-Image)를 만들어낸다. 이탈리아의 ‘레미니’(Remini)나 중국의 ‘스타일아트’(StyleArt) 등에서도 해당 모델을 기반으로 서비스를 꾸렸다. 스노우는 문제가 나타난 두 앱의 핵심 기능인 ‘사진 보정’에는 해당 모델을 사용하지 않았다. 다만 두 앱에 최근 도입한 AI 편집 기능은 스테이블 디퓨전을 기반으로 제공하고 있다.

문제는 스노우가 자체적으로 개발해 두 앱에 적용한 ‘필터 기술’이다. 스테이블 디퓨전에 문구를 입력하는 프롬프트를 적절히 걸러 안전한 이미지를 만드는 기능이 미흡해 부적절한 이미지가 만들어진 구조다. 회사 측은 “원하는 결과물를 도출하기 위한 ‘긍정 프롬프트’(Positive Prompt)와 부적절한 이미지 생성을 막는 ‘부정 프롬프트’(Negative Prompt)를 서비스에 적용했다. 이와 함께 생성된 결과물을 직접 거르는 기능도 서비스 밑단에 깔았다”며 “두 앱에 함께 적용된 필터 기능이 미흡해 문제가 발생한 것”이라고 설명했다.

스노우 측은 두 앱에서 부적절한 이미지가 생성될 수 있다는 점을 인지한 후, 현재 필터 기술을 손보는 작업을 진행 중이다. 새로운 버전을 곧 배포해 안전한 사용 환경을 만들 방침이다.

세간에서 문제로 떠오른 ‘딥페이크 성착취물’(인공지능 기반 이미지 편집 기술을 이용해 음란물에 다른 얼굴을 합성하는 식으로 제작·유포되는 영상·사진 등)과 이번 문제는 완전히 별개라는 점도 분명히 했다. 성착취물 제작을 의도하고 개발된 딥페이크 생성형 AI와는 서비스 성격 자체가 다르단 입장이다.

스노우 측은 또 AI 편집 기능을 통해 생성된 이미지 모두 즉각 삭제돼 외부 유출 가능성도 없다고 강조했다. 회사 관계자는 “문제가 된 이미지는 스노우 서비스는 물론 스테이블 디퓨전 모델 학습에 활용되지 않는다”라며 “스노우 서버에도 저장되지 않을뿐더러, 다른 이용자들 역시 해당 결과물을 확인할 수 없다. 사진 유출에 관해 이용자분들이 우려하지 않도록 충분히 설명할 것”이라고 전했다.

“회사의 기술적 폭력에 노출된 것”

전문가들은 다만 스노우 측의 이런 기술적 해명보단 유료 서비스 이용 중 성적 불쾌감을 느낀 피해자를 먼저 생각해야 한다고 입을 모았다. 익명을 요구한 정보통신기술(ICT) 분야 전문가(교수)는 “이번 문제를 스노우 앱 이용자가 단순히 ‘황당한 일’을 겪은 수준으로 치부해서는 안 된다”며 “자신의 얼굴이 담긴 사진을 넣고 편집을 요청하는 과정을 ‘직접’ 수행하는 구조라 부적절한 이미지가 도출됐을 때의 충격이 더 클 수밖에 없다. 회사의 기술적 미흡이란 일종의 ‘폭력’에 노출된 것”이라고 지적했다.

윤석빈 서강대학교 특임교수도 “(이번 스노우 외설적 AI 합성 문제의) 핵심적인 부분은 이 같은 사례를 방지할 수 있는 ‘선정적 이미지 차단·방지 기술’(가드레일)이 작동하지 않은 것으로 보인다는 점”이라며 “문제가 발생한 서비스 자체가 유료인 만큼 이용자들의 불편을 막기 위해 이 사안을 방치해선 안 될 것”이라고 했다.

스노우 측은 이번 기술적 오류를 통해 피해를 본 이들과 직접 소통하며 보상안 등을 논의하고 있다. 스노우 측이 B 씨(스노우 앱 피해자)에게 보낸 메일에는 “서비스 이용 중 불편을 드려 죄송하다. 해당 이슈를 매우 심각하게 받아들이고 있고, 신속하고 철저한 조치를 통해 동일한 문제가 발생하지 않도록 최선을 다할 것”이라며 “콘텐츠 결과물은 절대 외부에 유출되지 않고, AI 모델 학습에 사용되지 않는다. 딥페이크와 같은 성범죄와도 연관이 없음을 명확히 말씀드린다”는 등의 내용이 담겼다. 스노우 측은 또 B 씨에게 콘텐츠 삭제 방법과 환불 절차 등을 안내했다. 해당 내용은 앞서 문제를 제기한 A 씨(소다 앱 피해자)에게도 전달된 것으로 전해진다.

스노우 측은 또 두 피해자를 직접 만나 사과를 전할 계획이다. 회사 관계자는 “환불은 물론 심리적 충격 및 피해의 보전을 위해 회사 차원에서 제공할 수 있는 것들을 확인하는 중”이라며 “직접 찾아뵙고 우려하시는 부분에 대해 경청하고 추가 대책을 마련할 계획이다. 피해자분들이 충분히 납득하실 수 있을 때까지 보상을 진행하려 한다”고 설명했다.

회사 측은 또 “정해진 정답을 알려주는 형식이 아닌, 기존 학습된 모델이 새로운 창작물을 만드는 생성형 AI가 적용된 서비스라 예상할 수 없는 결과를 도출하기도 한다. 이런 문제를 막기 위해 최선의 노력을 다하고 있다”고 전했다.

A 씨는 “유해 이미지를 100% 차단하기 어려운 기술력이라면, 유료 서비스를 제공하지 말았어야 한다. 여성의 비중이 높은 앱에서 이런 문제가 발생했다는 점에서 심각한 사안”이라며 “부모 계정으로 스노우의 앱들을 사용하는 미성년자도 많은데, 외설적 이미지에 이들이 노출될 걸 생각하면 끔찍하다”고 했다. 이어 “댓글 등을 통해 모욕적 내용을 다는 이들에게 ‘지금 결혼이라는 좋을 날을 앞두고 있어 강력하게 대응하지 않았을 뿐, 당신들 모두 가해자다. 가족 또는 지인이 같은 일을 당했을 때 당신들이 뱉어낸 모든 말들을 주워 담고 싶을 것이다. 반성하길 바란다’고 전하고 싶다”고 말했다.

B 씨도 “비난 댓글과 같은 2차 가해에 힘들다. 처벌 기준이 강화됐으면 하는 마음”이라며 “스노우와 같은 AI 기술 사용하는 다른 기업들도 시스템을 점검하고 개선이 이뤄졌으면 좋겠다”고 강조했다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지