WE KNOW WHAT YOU DID LAST WEEK

Facial recognition software is about to take all the fun out of looting.From here on, if you’re going to riot, you’ll probably want to wear those funny nose glasses. And maybe a wig. Because otherwise facial recognition technology is going to land you in the clink.

This is not just some Kim Jong Un wet dream about a police state no one can escape. A trio of technologies, that is, computer learning, social networks and cameras everywhere, are converging to make it possible to identify rioters and looters after the fact. It will have much broader implications too, since the technology will be able to identify almost anybody anywhere doing anything. No more surreptitiously wandering into Adult Playland for you, mister.

Early versions of this technology have already been deployed to help police arrest rioters in the U.K. and in Vancouver, where things turned ugly in 2011, when the only thing that can make people in Canada riot happened: The city’s team lost a hockey game.

Amazingly, we haven’t heard much about Baltimore using this technology in the aftermath of the riots there, even though the mayor, Stephanie Rawlings-Blake, intimated they would. So far, Baltimore police have reported just one incident that foreshadows future tactics. When a young man slashed firefighters’ hoses as they tried to put out a blaze at a CVS, someone caught the act on a cellphone video and posted it to social media, where someone else saw it and tipped off police, who then arrested and charged 22-year-old Greg Bailey. But that’s more about Bailey’s bad luck than a strategic new way to keep the peace.

However, that’s going to change, and the first trend driving this tactical shift is the ubiquity of cameras. There are about 7 billion cellphones in the world, pretty much one for every person, and almost all those phones have cameras. In TV news footage from Baltimore, rioters could be seen taking cellphone images as casually as if they were on vacation at Disney World. Of course, cellphones have also caught police brutality, and footage of the arrest of Freddie Gray set off the riots in Baltimore. As Jon Stewart cracked on his show: “The ubiquity of cellphones is far outpacing police awareness of the ubiquity of cellphones.”

The number of surveillance cameras is also exploding. They’ve been in banks and lobbies for ages, but as the cost of cameras and image storage plummets, the technology is finding its way into every small business and a lot of private homes. One guy in Colorado set up a cam so you can watch his grass grow. Basically, you now have to assume that someone could be taking images of you anytime you’re in public.

So what happens to those images? Well, a lot of them get uploaded to social media, where the whole wide world can see them. Facebook is the largest repository of photos in history. Its 1.4 billion users upload 300 million photos a day. And then there’s video. YouTube alone has 1 billion users, who upload 300 hours of video every minute. That means every minute of actual reality equals 18,000 minutes of YouTube reality. Try to think that through next time you’re stoned.

Those two developments are already changing the way police find criminals. After the London riots in 2011, police created a Flickr page, “London Disorder — Operation Withern,” and posted images of looting and violence, asking the public to identify the alleged perpetrators. There were about 5,000 arrests made with help from the site. And yet asking for that kind of assistance from the public is like making copies of a book by hand just as the printing press is being invented.

Facial recognition software has come a long way quickly. We’ve all helped it greatly just by posting and tagging photos on Facebook. That has created a lot of photos that help computers learn about how a face can look different depending on the angle, lighting, expression, age and so on. And a Facebook project called DeepFace has been systematically teaching computers about faces. At this point, DeepFace correctly identifies a face about 97 percent of the time. When humans look at photos, they get it right 98 percent of the time. So if you’re a criminal and you’ve ever had a photo of yourself posted on Facebook, you’re hosed.

Facebook isn’t the only entity racing to develop facial recognition. The U.S. government’s intelligence research arm last year started up a facial recognition project called Janus. In the police world, NEC Corporation of America (parent company of NeoFace) and other companies are marketing technology that can match the mug shots in a police database with images caught on security cameras or posted on social media. Other companies are selling facial recognition to retailers, which might use it to spy on known shoplifters.

Some applications of the technology are trifling. Microsoft made a splash recently when it turned its facial recognition software into a website that can estimate a person’s age. At most, this might be useful to someone using a dating site.

The flip side, of course, is the creepiness factor. It’s easy to imagine abuses, especially by governments that aren’t all that thrilled about freedom of speech and action. As is the case with almost every aspect of our digital age, we’re going to have to either adjust our expectations for privacy or pass laws that govern this stuff.

Not everything about facial recognition is police-state-oriented. Facebook has said that it wants to use DeepFace to protect privacy, not invade it. The software will sense any time a photo of you is uploaded by anyone and give you a chance to blur your face. Retail operations are interested, as a way to improve customer service. Perhaps a system could recognize you as you come in the door, alerting employees so they greet you by name and anticipate what you want, the way it might happen in a small-town shop you go into every week.

And think of the embarrassment saved if you were to wear a Google Glass type of device to a company party and it recognized the guy in accounting you should know and told you his name.

Still, security and policing are a big driver of facial recognition technology, and every society is going to have to figure out how to balance this with human rights. People are already starting to push back. One British designer, Adam Harvey, hosted a recent session on hair and makeup techniques aimed at defeating facial recognition software. Although, really, nose glasses should work just as well.

얼굴인식 기술과 도처에 설치된 카메라 덕분에 전 세계인을 실시간 감시할 수 있어앞으로는 폭동을 일으키고 싶다면 우스꽝스런 코안경(가짜 코와 콧수염이 부착된 안경)이나 가발을 써야 할지도 모른다. 아니면 얼굴인식 기술이 폭도를 감옥으로 보낼 것이기 때문이다. 김정은 북한 국방위 제1위원장의 꿈속에나 나오는 경찰국가를 말하는 것이 아니다. 컴퓨터 학습, 소셜미디어, 도처에 깔린 카메라가 결합하면 폭동이나 약탈에 가담한 사람을 찾아낼 수 있다. 뿐만 아니라 종국엔 어디서 누가 무슨 일을 하는지 판독이 가능할 정도로 발전한다.

이 기술은 아직 초기 단계지만 이미 영국에서 경찰이 폭도들을 체포하는 데 도움을 줬다. 2011년 캐나다 밴쿠버에서 밴쿠버 하키팀이 경기에 졌다는 이유로 폭동이 일어났을 때도 그랬다. 하키 경기는 벤쿠버 시민들이 폭동을 일으키도록 만드는 유일한 원인이다.

얼마 전 폭동으로 몸살을 앓았던 미국 메릴랜드주 볼티모어에서도 이 기술을 사용한다. 놀랍게도 세간엔 잘 알려지지 않았다. 심지어 스테파니 롤링스-블레이크 시장이 사용하겠다고 위협했음에도 말이다. 볼티모어 경찰의 검거 사례 하나는 앞으로 체포 전술이 어떻게 발전할지 보여준다. 한 젊은이가 편의점 화재 진압 중인 소방사의 소방 호스를 잘랐다. 누군가가 이를 휴대전화로 촬영해 소셜미디어에 올렸고, 또 다른 이가 이를 경찰에 제보했다. 제보 덕분에 용의자 그렉 베일리(22)는 체포됐다. 사실 이는 새로운 평화유지 전략의 힘이라기보다 베일리의 운이 나빴던 탓이다.

앞으로는 상황이 달라진다. 전술적 변화를 이끄는 첫째 요소는 도처에 깔린 카메라다. 지구상엔 70억 대의 휴대전화가 있다. 거의 한 사람 당 1개 꼴이다. 게다가 거의 모든 휴대전화는 카메라를 탑재했다. 볼티모어 폭동을 다룬 뉴스 영상을 보면 폭도들은 마치 디즈니랜드에 놀러오기라도 한 것처럼 휴대전화를 들고 사진을 찍어댄다. 물론 휴대전화엔 경찰의 과잉진압이나 볼티모어 폭동을 주도한 프레디 그레이의 체포 장면도 담겼다. 코미디언 존 스튜어트가 방송에서 말했듯이 “휴대전화는 경찰의 생각보다 훨씬 많이 퍼져 있다.”

감시 카메라의 수도 폭발적으로 증가한다. 은행과 건물 로비에 설치된 지는 이미 오래다. 카메라와 사진 저장공간의 비용이 급락하면서 이 기술은 작은 사업체부터 개인 가정까지 확장을 계속한다. 콜로라도주의 한 남성은 잔디를 관찰하기 위해 마당에 카메라를 설치했다. 실질적으로 공공장소에선 언제든 촬영당할 가능성을 염두에 둬야 한다.

그 사진들은 모두 어떻게 될까? 대다수는 소셜미디어에 공개돼 전 세계인이 본다. 페이스북은 역사 상 가장 큰 사진 저장소다. 14억 이용자가 하루 3억 장의 사진을 올린다. 동영상도 있다. 유튜브 한 곳에만 10억 이용자가 있으며 이들은 1분 당 300시간의 동영상을 올린다. 실제 세계의 1분은 유튜브 세계의 1만8000분과 동일한 셈이다.

이 두 발전은 경찰이 범죄자를 잡는 방식을 바꿔놓았다. 2011년 영국 런던 폭동 이후 경찰은 플리커에 ‘런던 폭동 - 작전명 위던’ 페이지를 만들고 약탈과 폭력을 촬영한 사진을 올리며 대중에게 용의자 신상을 제보해달라고 요청한다. 이 웹사이트 덕분에 5000명가량이 검거됐다. 그럼에도 아직 갈 길이 멀다. 대중에게 그런 협조를 요청하는 건 마치 인쇄기가 개발됐음에도 책을 필사하는 것이나 마찬가지다.

얼굴인식 소프트웨어는 빠르게 발전했다. 이용자들이 페이스북에 사진을 올리고 태그하는 것만으로도 기술 발전에 도움이 된다. 그 사진들 덕분에 컴퓨터는 각도, 조명, 표정, 나이 등 여러 요소에 따라 얼굴이 어떻게 다르게 보이는지를 학습했다. 딥페이스라 불리는 페이스북 프로젝트는 컴퓨터에 체계적으로 얼굴 인식을 가르친다. 현재 딥페이스는 97%의 얼굴을 정확하게 식별한다. 인간이 사진을 보고 얼굴을 정확히 식별할 확률은 98%다. 그러니 단 한 번이라도 페이스북에 얼굴 사진이 공개된 범죄자라면 잡히는 건 시간문제다.

얼굴인식 개발에 몰두하는 건 페이스북뿐만이 아니다. 미 정부 정보연구부서는 지난해 야누스라 불리는 얼굴인식 프로젝트를 개시했다. 경찰계에선 미국NEC(네오페이스의 모기업)를 비롯한 몇몇 업체들이 경찰 데이터베이스 내의 범인 사진과 보안카메라에 잡힌 사진, 소셜미디어에 공개된 사진을 대조하는 기술을 홍보 중이다. 좀도둑을 예방하려는 소매업자들에게 얼굴인식 기술을 판매하는 업체도 있다.

사소한 응용도 있다. 마이크로소프트는 얼마 전 얼굴인식으로 나이를 추정하는 소프트웨어를 웹사이트로 제공해 큰 인기를 끌었다. 기껏해야 데이팅 웹사이트에서나 유용할 법한 기술이다.

물론 악용되기 쉽다는 단점은 있다. 특히 표현의 자유를 기꺼워하지 않는 정부측에서 써먹기 좋다. 디지털 시대에서 얼굴인식은 거의 모든 분야에 활용 가능하다. 우리는 개인정보 보호에 대한 기대를 낮추거나 이를 규제할 법안을 통과시켜야 한다.

얼굴인식이 경찰국가에만 도움을 주는 것은 아니다. 페이스북은 딥페이스가 개인정보 보호에 기여하길 원한다고 밝혔다. 이 소프트웨어는 이용자의 사진이 언제 어디서든 페이스북에 올라오면 그 이용자가 자신의 얼굴을 지울 기회를 준다. 소매 업체들은 고객 서비스를 향상시킬 방법으로 여기고 흥미를 보인다. 이 시스템은 이용자가 매장 앞에 왔을 때 얼굴을 인식하고 직원들에게 알려줄 수도 있다. 직원들은 마치 작은 동네 가게에서 하듯이 이름을 부르며 고객을 환대하고 고객이 원하는 것을 사전에 예측한다.

얼굴인식 기능이 탑재된 구글글래스를 사용하면 민망한 상황을 피하는 데도 도움이 된다. 사람이 많이 모이는 자리에서도 이 기술은 이용자에게 알아야 할 사람의 이름을 알려줘 그 사람의 이름을 제대로 부르도록 해준다.

그럼에도 보안과 정책은 여전히 얼굴인식 기술의 중요한 과제다. 이 기술이 인권을 침해하지 않도록 균형을 잡는 일은 시민사회의 과제로 남아 있다. 사람들은 벌써 거부 반응을 보이기 시작했다. 영국 디자이너 애덤 하비는 얼굴인식 소프트웨어를 피하기 위한 헤어 디자인과 메이크업 기술을 주제로 모임을 열었다. 그보단 우스꽝스런 코안경이 더 효과적이겠지만 말이다.

- 번역 이기준

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지