지난 4월 중순 스위스 제네바 유엔 본부에서 수십 개국이 모여 다자간 군축 회의를 열었다. 인류를 위협할 새 ‘무기’를 논하는 자리다. 전 세계의 군사강국들이 완전 자율 무기의 기술개발에 열을 올린다. 다시 말해 표적을 임의로 골라 ‘사실상 인간의 통제’ 없이 발포하는 무기를 만들려 애쓴다. 제네바의 외교관들은 이 ‘킬러 로봇’을 국제법에서 어떻게 다룰지 너무 늦기 전에 결정해야 한다.

로봇의 자율성을 확대하는 쪽으로 기술발전이 이뤄지면서 무기 체계에 대한 인간의 통제력이 약화된다. 그에 따라 전쟁 수행방식에 혁명적인 변화가 일어날 수도 있다. 살상 권한을 로봇에 넘겨주면 화약이나 핵무기의 출현만큼, 나아가 그보다 더 큰 영향을 미칠 수 있다. 이런 무기 개발이 수십 년 뒤가 아니라 불과 몇 년 뒤에 가능하다고 인공지능 전문가들은 말한다.

이 같은 ‘치명적인 자율무기 시스템’이 현대의 군사장비에 추가될 가능성은 법적·윤리적·안전 문제를 다수 제기한다. 이런 우려는 그런 무기의 사용에 대한 인간의 통제력 상실과 직접적으로 연관된다. 각국은 완전 자율무기를 금지하는 국제 조약을 채택해 이 같은 위험을 예방해야 한다.

국제인권단체 휴먼라이츠워치와 하버드 로스쿨 국제인권클리닉(IHRC)이 제네바 회의에서 발표한 보고서에는 인적 통제의 필요성, 금지조약 요건에 대한 지지 확대, 통제에서 벗어난 무기를 금지하는 조약의 법적 선례를 점검한 내용이 담겨 있다.

전쟁에서든 법 집행에서든 무기를 사용한 생사 결정에서 인간이 통제력을 가져야 도덕적 한계선을 넘지 않게 된다. 공격 표적 선정도 인간이 해야 국제 인도주의법과 국제 인권법의 한계를 넘지 않는다. 그래야 무기사용에 ‘균형이 잡힐’ 수 있다. 다시 말해 민간에 대한 피해가 군사적 이점을 능가하지 않아야 한다. 로봇은 사전에 프로그램하지 않으면 판단할 수 없는 상황이 있다. 하지만 그런 복잡하고 예기치 못한 상황에서 인간은 더 잘 대처할 수 있다.

특정 표적에 언제 발포할지 인간이 결정하도록 정해 놓으면 불법적인 공격에 대해 누군가에게 책임을 물을 수 있다. 이런 규정은 완전 자율 무기의 사용이 초래할 수 있는 책임감 공백을 피하게 된다. 그리고 책임자가 행동을 취하기 전에 한번 더 생각할 가능성이 커진다.

지난 4월 중순의 회의 참가국들은 기존 ‘재래무기 금지협약’의 기틀 아래 3년 전 시작된 토론의 연장선에서 모임을 가졌다. 회의 초반부터 인적 통제의 개념이 핵심 이슈로 부상했다. 많은 연사들이 인적 통제 요건 또는 그 용어에 관한 토론의 확대에 지지를 표명했다. ‘통제’라는 용어를 사용하지 않는 사람들도 살상력을 동원할 때 사람이 개입해야 할 필요성을 인정하는 듯했다. 예컨대 미국과 이스라엘은 ‘적절한 수준의 인간적 판단’을 언급했다. 범위는 더 좁지만 관련성 있는 용어다.

토론 중 한 적십자 대변인은 “무기 시스템과 무력 사용에 대한 통제권을 사람이 계속 가져야 한다는 공감대가 형성됐다”고 말했다. 이 같은 여론은 사람의 통제를 받지 않는 무기의 명백한 금지를 공식화할 때임을 시사한다.

완전 자율무기 문제만 다룬 국제법은 없다. 하지만 이에 관한 새로운 금지규정은 채택할 수 있다. 국제법은 다양한 분야에서 통제의 개념을 채택해 왔다. 예컨대 범죄자에 대한 ‘실제적인 통제력’을 갖는 국가나 개인에게 불법행위의 책임을 묻거나, 국제 환경법에선 오염을 ‘통제하는 책임을 국가에 지운다.

역사적으로 군축법에선 사람의 통제를 받지 않는 무기는 인정할 수 없다고 판단해 금지했다. 지뢰금지협약에선 통제되지 않는 대인지뢰를 금지했다. 사람이 작동하지 않고 피해자가 뇌관을 터뜨리기 때문이다. 생물학·화학무기협약을 채택한 이유는 일정 부분 통제되지 않는 무기가 유발하는 공포를 저지하려는 취지였다.

그렇다면 각국이 재래무기금지협약을 치명적 자율무기 시스템에 어떻게 연관지을지 결정할 때 따를 만한 선례는 있는 셈이다. 하지만 비공식 전문가 회의를 3년이나 지속한 만큼 이젠 각국이 토론에 그치지 않고 행동에 옮길 때다.

올해 바로 그런 기회가 있다. 재래무기금지협약은 오는 12월 그동안의 업적을 평가하는 회의를 갖고 차기 의제를 정할 계획이다. 그 의제에 지침이 될 만한 권고안을 마련해야 한다.

장차 ‘정부 전문가 그룹’을 구성해 치명적인 자율무기의 개발·제조·사용 금지조약에 부수하는 법적 구속력을 지닌 의정서 관련 협상을 시작해야 한다. 그럼으로써 자율무기에 관한 심의를 공식화하도록 촉구해야 한다. 권고안에선 또한 표적의 선택과 공격에 대한 사람의 통제가 반드시 있어야 한다는 점을 명확히 해야 한다.

국제 사회에는 재앙을 초래할 수 있는 전쟁의 제3차 혁명을 선제적으로 예방할 기회가 있다. 그러나 그런 기회를 잡으려면 지금 행동에 나서야 한다. 더 이상 지체하면 완전 자율무기의 망령이 우리 앞에 현실화할 수 있다.

- 보니 다커티 뉴스위크 기자



[ 필자는 휴먼라이츠워치 무기 담당 선임 연구원이며 하버드 로스쿨 국제인권클리닉 강사다.

“할, 문 좀 열어줘.” “데이브, 미안하지만 그렇게는 못 하겠어요.” 스탠리 큐브릭 감독의 1968년작 고전 영화 ‘2001 스페이스 오딧세이’에서 디스커버리 원 우주선의 조종간을 잡은 지능형 컴퓨터 할이 우주인 데이브 보우먼에게 한 말이다.

그 뒤로 많은 영화에서 컴퓨터와 인간의 갈등이 예견됐다. 하지만 이제 한 선도적인 인공지능 과학자는 살상능력을 갖춘 인공지능이 인류에 도전하는 날을 대비해야 한다고 주장한다.

저명한 인공지능 과학자인 로만 V 얌폴스키 루이빌대학 사이버보안 연구소 소장은 최근 ‘위험한 인공지능으로 가는 길의 분류’라는 연구 보고서를 발표했다. 지난 2월 미국 애리조나 주 피닉스에서 열린 인공지능협회 세미나에서 발표한 그의 논문은 인간이 아직 존재하지 않는 로봇을 어떤 식으로 통제할 수 있을지 진지하고 지적인 토론에 불을 댕기려는 시도다.

“향후 5~10년 사이 인공지능 로봇이 심각한 대형 사고를 훨씬 더 많이 일으킬 것”이라고 얌폴스키 소장은 말했다. “공상과학은 무엇이 가능한지를 보여준다는 측면에서 유용하다. 하지만 ‘터미네이터’든 ‘엑스 마키나’든 우리가 목격한 스토리가 정확히 들어맞을 가능성은 크지 않다. 그러나 그런 로봇들이 초래할 수 있는 피해를 볼 때 비슷한 일이 일어날 수도 있다.”

얌폴스키 소장의 연구는 인공지능 시스템이 어떤 식으로 인간을 해치는 데 사용될 수 있는지 세분화하려 했다. 사람들이 제대로 이해하지 못하는 컴퓨터 소프트웨어에 자신의 많은 정보와 목숨을 맡길 때 위험이 커진다. “월스트리트 증권거래, 원자력 발전소, 사회보장 급여, 신용 기록, 교통신호등 모두 소프트웨어로 통제한다. 단 하나의 심각한 설계 결함만으로도 수백만 명에게 파멸을 초래할 수 있다.”

가상의 스카이넷(영화 터미네이터의 인공 지능 시스템)에 관해 걱정할 필요가 없다고 얌폴스키 소장은 말했다. 해커들이 혼란을 초래하려 자율적인 소프트웨어 코드를 개발하고 있기 때문이다. 랜섬웨어(ransomware)는 해커가 피해자의 컴퓨터를 장악하고 데이터를 암호화해 몸값을 요구하는 사이버 범죄다. 사실상 초보적 인공지능인 자동화 공격 명령(예컨대 자동으로 컴퓨터에 다운로드 돼 곧바로 이용자의 접근을 차단하는 식)에 의존한다. 그러나 일류 사이버 보안 전문가들도 암호를 풀지 못했다. 미국 연방수사국(FBI)은 지난해 10월 피해자들에게 데이터를 되찾고 싶으면 “그냥 몸값을 지불하라”고 말하기도 한다고 시인했다.

“인공지능은 사실상 사이버 보안의 미래”라고 얌폴스키 소장은 말했다. “더 많은 개인정보를 수집하고, 협박을 하거나, 데이터를 암호화해 인질로 잡을 수 있는 지능형 컴퓨터 바이러스가 계속 생긴다. 이는 아주 초보적인 지능이며 실제로 어떤 유형의 범죄도 자동화할 수 있다.”

스턱스넷 바이러스는 미국 국가보안국(NSA)의 작품이다. 2010년 발견됐을 때 사이버보안 세계에 충격파를 던졌다. 스턱스넷은 앞서 배포됐던 불법 악성코드와는 달리 일단 시스템에 침입하면 완전 자율적으로 작동했다. 결과적으로 인터넷에 연결되지 않은 이란 우라늄 농축 시설에 침투했다. 지멘스 산업제어 시스템을 통하는 방식이었다. 그 뒤로 불법 악성코드가 국가 기관에 흡수돼 더 지능적으로 발전하는 트렌드가 형성됐다.

사이버보안 업체 트렌드 마이크로의 선임 위협 연구원 카일 윌호이트는 “실제로 바이러스 같은 생물학에 비교할 수 있다”고 밝혔다. “악성코드가 일단 어떤 호스트 컴퓨터에 침투하면 다른 호스트로 퍼져나갈 수 있다. 요즘엔 연구할 때마다 ‘어떻게 확산될 수 있을지’를 감안한다.”

얌폴스키 소장이 1차적으로 관심을 갖는 또 다른 분야는 전투목적으로 설계된 인공지능 로봇이다. 미국 방위고등연구계획국으로부터 자금지원을 받는 구글 산하 로봇공학 업체 보스턴 다이내믹스는 군용 인공지능을 개발한다. 이들이 2013년 공개한 인간형 로봇 아틀라스는 도구를 이용해 콘크리트를 뚫고, 급수관에 소방호스를 연결하는 등의 응급 서비스를 제공할 수 있다.

이 같은 인공지능에 대비하는 한 가지 방법은 제품을 생산할 때 해킹이 불가능한 전원 종료 스위치를 모든 기계에 넣도록 의무화하는 것이라고 얌폴스키 소장은 말했다. ‘킬러 로봇 금지 캠페인’을 포함한 다른 단체들은 자율무기 개발과 배치의 전면 금지를 제안했다.

미국 정부도 관심을 보이고 있다. 제임스 클래퍼 미 국가정보국 국장은 지난 2월 “광범위한 인공지능 배치의 영향으로 사이버 공격의 취약점 노출 증가, 외국 무기·정보 시스템의 발전 촉진, 사고와 관련된 책임 문제의 발생 위험, 그리고 실업 문제 등이 있다”고 상원 정보위원회에서 말했다.

클래퍼 국장의 발언은 마이크로소프트 창업자 빌 게이츠, 스페이스X(로켓 개발 업체)와 테슬라(전기 자동차 제조업체) 창업자 엘론 머스크, 이론물리학자 스티븐 호킹을 비롯한 전문가 수십 명이 인류의 생존을 위협하기보다 혜택을 주기 위한 인공지능 시스템 개발 방법의 본격적인 연구를 촉구하는 공개서한에 공동 서명한 뒤에 나왔다.

- 제프 스톤 아이비타임즈 기자

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지