박물관에서 역사적 사건 생존자의 경험담을 가상현실 통해 들을 수 있는 시스템 개발돼

미국 뉴욕의 유대인 문화유산 박물관. 비디오 스크린에 실물 크기의 핀차스 구터의 이미지가 나타났다. 그는 가만히 있지 못하고 연신 꼼지락거리고 눈을 깜빡거리며 발로 바닥을 톡톡 두드렸다. ‘해리 포터’의 마법 세계에서 초상화가 그러듯이 실제로 살아 있는 듯했다. 홀로코스트(유대인 대학살) 생존자로 캐나다 토론토에 살고 있는 구터는 내가 유대인 문화유산 박물관을 방문한 날 그 근처에 있지도 않았다. 그런데도 나는 비디오 스크린 앞에 가서 마우스를 클릭하고 마이크에 대고 그에게 무엇이든 질문할 수 있었다.

구터가 바로 내 앞에 있는 것처럼 그의 이미지가 답변에 따라 반응했다. 특이한 말버릇, 뜸 들이기, 손짓도 했다. 그는 내게 종교와 스포츠에 관해 얘기했다. 자신이 좋아하는 유대인 농담도 해줬다(때로는 노래도 부른다고 한다). 구터는 또 나에게 1939년 9월 1일 나치 군이 폴란드를 침공해 제2차 세계대전이 터지기 전까지 행복한 어린 시절을 보냈다고 돌이켰다. 곧 그의 부친이 끌려가 구타로 거의 죽을 뻔했다. 그 후로 “내 인생이 결코 예전과 같을 수 없다는 사실을 깨달았다”고 그는 말했다.

에바 슐로스도 구터에게서 얼마 떨어지지 않는 곳의 비디오 스크린에 나와 있었다. 아우슈비츠 수용소 생존자로 나치 독일의 박해 시절에 쓴 ‘안네의 일기’의 저자 안네 프랑크의 이복자매인 그녀도 사람들에게 들려줄 자신의 이야기가 아주 많았다. 그런 가상현실(VR)의 인물과 대화하는 것은 상당히 놀라우면서도 으스스했다. 나는 그들이 이미지일 뿐이라는 사실을 잠시도 잊지 않았지만 왠지 모르게 구터와 슐로스가 실제로 나와 얘기하는 것처럼 그들에게 끌렸다. 그들의 이야기는 감동적이었다.

그 두 이미지는 ‘새로운 차원의 증언(NDT)’ 프로젝트의 일부다. 서던캘리포니아대학(USC) 쇼아 재단, USC 크리에이티브테크놀로지연구소와 컨션스 디스플레이의 합작 사업이다. 두 이미지 모두 홀로코스트 생존자로서 자신의 경험을 ‘증언’한다. 내가 구터의 이미지 앞에서 왜 자신의 이야기를 들려주는지 질문하자 이런 대답이 나왔다. “첫째는 자신에게 무슨 일이 일어날 수 있는지 사람들에게 알려주고 싶고, 둘째는 사람들에게 관용을 가르쳐주고 싶어 이렇게 증언한다.”

NDT에 참가하는 생존자는 각각 100대 이상의 카메라로 360도 고해상도 촬영 과정을 거쳤다(가장 먼저 이 프로젝트에 참가한 구터는 그 절반의 카메라로만 촬영했다). 매우 정교한 설정으로 지금의 기술로는 카메라로 포착된 이미지를 전부 다 사용할 수 없다. 일부 데이터는 기술이 발전하면서 갈수록 정교해지는 이미지 재현 버전에 대비해 수집됐다. 생존자는 카메라를 똑바로 쳐다보고 촬영에 임해야 한다. 그래야 이미지를 보며 질문하는 방문객과 눈을 맞출 수 있다. 방문객은 예를 들어 이런 질문을 할 수 있다. 지금까지 겪은 일 중 가장 무서웠던 것은 무엇이었나? 가장 좋아하는 영화 배우는 누구인가? 구터의 경우 약 1900가지 답변을 녹음했다. 생존자들이 다른 사람의 증언을 듣는 모습도 촬영했다. 그래야 질문자와 공감하는 듯이 보일 수 있기 때문이다.

방문객이 질문하면 소프트웨어가 구글의 음성인식 알고리즘을 사용해 단어를 파악한다. 크리에이티브테크놀로지연구소가 개발한 자연언어 처리 편집기가 그 의미를 해석해 어떤 비디오 장면이나 답변을 올릴지 결정한다. 시리(애플의 인공지능 음성인식 개인비서)와 증언할 자신의 인생 이야기를 가진 인물을 합쳐놓았다고 생각하면 된다. 소프트웨어가 방문객의 말을 잘 이해할 수 없으면 이미지는 ‘다시 한번 말해주겠어요?’라고 묻는다. 질문과 일치하는 비디오 장면이나 녹음된 답변이 없는 경우 ‘아주 좋은 질문인데 안타깝게도 내가 답변할 수 없네요’라는 반응이 나온다.

이 프로젝트는 USC 쇼아 재단이 지난 40년 동안 교실에서 목격한 장면에 최대한 가까이 다가가기 위해 구상됐다. NDT 콘셉트 크리에에터로 2010년 USC 쇼아 재단에 이 아이디어를 제안한 헤더 마이오는 “학생들에게 홀로코스트 이야기를 들려주기 위해 교사들이 생존자들에게 학교를 방문해달라고 계속 요청했다”고 돌이켰다. “그만큼 그런 일이 절실했다는 뜻이다.” 마이오는 NDT가 랩톱 컴퓨터나 교실의 스마트 보드에서 사용하기 쉽도록 언젠가는 온라인으로도 제공될 수 있을 것이라고 말했다.

이런 형태의 쌍방향 대화가 공감대를 형성할 수 있다고 믿는 과학자들도 있다. 스탠퍼드대학의 커뮤니케이션 교수 제러미 베일렌슨이 설립해 운영하는 버추얼 휴먼 인터랙션 랩은 VR에 초점을 맞춰 인종차별 문제를 해결하고, 기후변화와 환경에 관한 사람들의 생각을 바꾸고, 몰입 경험이 공감 능력을 증진할 수 있는지 연구한다. 베일렌슨 교수는 “VR의 쌍방향 기능은 긍정적인 가능성이 무궁무진하다”고 말했다.

인디애나대학에서 공감·이타주의를 연구하는 통섭 프로그램 책임자 세라 콘래스 교수는 10년 이상 자아도취와 공감을 연구했다. 그녀가 사회심리학자로 박사학위를 받은 논문은 청소년 사이에서 자아도취증의 증가를 주제로 했다. 그녀는 후속 연구에선 공감의 퇴조 현상을 발견했다. 학계의 지배적인 반응은 기술의 탓으로 돌리는 것이었다. 인터넷과 SNS, 그 외 수많은 일상적인 온라인 오락 활동이 청소년의 인간성을 빼앗아간다는 지적이었다. 그러나 콘래스 교수는 “그것들은 단지 도구에 불과하다”고 설명했다. “우리는 기술을 좋아할 수도 있고 싫어할 수도 있다. 또 기술을 어떻게 하면 잘 활용할 수 있을지 알아낼 수도 있다.”

근년 들어 콘래스 교수는 페이스북이나 트위터 같은 SNS와 문자 메시지 등의 기술이 다른 사람을 돕는 행동에 어떤 영향을 미치는지 조사했다. 예를 들어 한 연구에 따르면 시리아의 고대도시 알레포가 급진 무장단체 이슬람국가(IS)에 의해 파괴된 모습을 일반 스틸 사진으로 봤을 때보다 VR 기술을 통해 몰입 체험을 한 경우 난민을 위해 구호단체에 기부할 가능성이 더 컸다. 콘래스 교수는 NDT에서 그 다음 차원을 경험했다. 그녀는 구터의 증언 장면을 보자 개인적인 유대감이 형성됐다고 말했다. “그의 이야기에 나도 모르게 끌렸다. 그를 알고 싶어졌다.” 다시 말해 이해와 온정으로 이어질 수 있는 공감이었다.

몇 달 전 이스라엘에 사는 우리 할아버지(89)가 미국을 방문했다(노익장을 과시하는 그는 지금도 주 3회 체육관에서 운동한다). 내 동생과 나는 그가 리투아니아에서 어린 시절을 어떻게 보냈는지, 소련에서 시베리아로 추방된 그의 중산층 유대인 가족은 어떠했는지 질문한 뒤 그의 답변을 녹화했다. 그는 십대 시절 나치가 리투아니아에서 유대인 주민의 90%를 학살하는 동안 얼어붙은 시베리아의 굴라그에서 강제노동을 했다고 말했다. 그는 지독한 굶주림과 고된 탈출을 돌이켰다. 우리는 그의 이야기를 그 자신의 목소리로 보존하고 싶었다. 그런데 우리의 후손도 그에게 질문할 수 있도록 그의 답변을 NDT처럼 녹음할 수 있다면 어떨까?

곧 가능해질 수 있다. NDT는 다양한 생존자를 대상으로 프로젝트를 확장하는 중이다. 홀로코스트 생존자 13명의 증언을 녹화하는 것에 더해 중국 난징 학살 생존자의 증언도 녹화했다(그 VR 이미지는 중국 난징 학살 기념관에서 서비스될 예정이다). USC 쇼아 재단의 스티븐 D. 스미스 대표는 치명적인 암이나 대형 허리케인을 겪고 살아남은 사람들에게도 이 기술이 활용되기를 기대한다.

성폭력 생존자나 외상 후 스트레스 장애(PTSD)를 가진 군인부터 사회활동가, 대통령, 우주비행사, 스포츠 선수, 문화 스타의 이야기까지 가능성은 무한하다. 노예 생활을 했던 사람이 VR로 손주들에게 자신의 이야기를 들려주거나 재즈 음악가가 알토색소폰 연주자로 비밥을 창시한 찰리 파커의 조언을 들을 수 있다면 어떨지 상상해보라.

내가 유대인 문화유산 박물관을 방문한 지 일주일도 채 안 된 어느 날 구터가 그곳을 직접 방문했다. 그는 NDT 프로젝트의 인기 스타로 소개됐다. 구터는 수년 동안 많은 사람 앞에서 연설했지만 자신의 개인적인 경험은 들려주지 않았다. 그의 자녀들도 자세한 내용을 몰랐다. 그러다가 1993년 토론토에서 한 교수에게 처음 증언했다. 그 후 몇 년 뒤 USC 쇼아 재단의 전통적인 비디오 증언을 위해 인터뷰에 응했다.

그 뒤 구터는 독일과 폴란드를 돌며 모든 연령층의 학생들에게 자신의 이야기를 들려주기 시작했다. 그는 “끝이 없었다”고 웃으며 말했다. “내가 일단 순회 강연을 시작하자 그들은 나를 그냥 놓아두지 않았다.” 그의 가장 최근 VR 실험은 지난 4월 트라이베카 영화제에서 선보였다. ‘마지막 안녕(The Last Goodbye)’라는 제목의 그 필름에서 구터는 관람객을 나치 강제수용소 6개 중 하나인 폴란드의 마즈다네크로 데려간다. 그의 부모와 쌍둥이 여동생이 죽고 자신은 살아남은 곳이다.

구터는 “이제 난 늙었고 지쳤다”고 말했다. 그러나 그는 자신의 이야기를 계속 들려준다. 그는 영국 셰필드 국제 다큐멘터리 영화제에서 사람들이 자신의 ‘분신’과 대화하는 모습을 한쪽 곁에서 지켜봤다고 돌이켰다. 구터는 방문객이 자신의 VR 이미지를 보다가 실제 그를 발견한 뒤 다시 VR 이미지에 질문을 계속한 것이 매우 인상적이었다고 말했다. 앞으로 그가 세상을 떠난 뒤에도 아이들이 자신의 VR 이미지 앞에 서서 ‘그런 시련을 겪을 때 어떤 생각을 했나요?’라고 물을 수 있다는 것이 그에겐 큰 위안인 듯하다.

- 스태브 지브 뉴스위크 기자

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지