검색에서 대화로…콕 집어 정답 알려주는 인공지능 [한세희 테크&라이프]
구글 I/O에서 대화형 인공지능 언어 모델 '람다' 발표
'구글 리서치' 연구자들…인공지능 언어 모델로 검색 틀 바꿀 수 있다고 제안
사람: 나는 너에 대해 너무 궁금해.
LaMDA: 그래 보여요. 무엇이든 물어보세요.
사람: 너에게 가면 무엇을 볼 수 있지?
LaMDA: 거대한 협곡, 빙하, 간헐천, 그리고 크레이터 등을 볼 수 있어요.
얼마 전 열린 구글 개발자 행사 I/O에서 공개된 대화형 인공지능(AI) 언어 모델 ‘람다(LaMDA, Language Model for Dialogue Applications)가 사용자와 나누는 대화다. 명왕성에 대한 질문을 받자, 스스로 명왕성에 빙의(?)해 대화하며 자신에 대해 알려준다.
람다는 사람과 자연스러운 대화를 이어갈 수 있는 AI 언어 모델이다. 챗봇이 대개 미리 정해진 틀과 주어진 정보 안에서 대화를 한다면, 람다는 정답이 없는 문제에 대해서도 막힘없이 대화할 수 있다. 검색을 할 때, 검색어에 관한 웹페이지 목록을 보여주는 것이 아니라 대화 형식으로 정보를 전달할 수 있다.
이날 구글은 ‘멈(MUM, Multitask Unified Model)’이라는 AI 언어 모델도 선보였다. 멈은 여러 검색어를 입력해 나온 결과를 모으고 분석해야 알 수 있던 정보들을 한눈에 보기 쉽게 정리해 전달해 준다.
예를 들어, 등산을 준비하는 사람이 있다 해 보자. 이 사람은 올해 지리산을 등반했고, 내년 가을에는 일본 후지산을 오르려 한다. 그는 후지산에 오를 때 특별히 더 준비해야 할 것이 있는지 궁금하다. ‘더 준비해야할 것’이라는 말은 여러 의미를 담고 있다. 후지산이 얼마나 더 높은 지 혹은 험한 지, 기후는 어떤 지 등에 대한 정보가 필요할 것이다. 등산화와 장비는 새로 장만해야 할 지, 체력 훈련을 미리 해야 하는 것은 아닌 지도 궁금할 터다.
이 정보들은 모두 검색으로 알 수 있다. 단, 여러 검색어로 여러 번 검색을 해야 할 것이다. 후지산의 높이와 기온 등 기본 정보를 담은 공식 웹페이지와 인근 관광지 정보를 담은 여행 사이트, 가을 후지산에 적합한 등산 장비에 대한 내용이 담긴 등반 후기 등을 찾아보아야 한다.
하지만 주변에 전문 산악인이 있어 그에게 물어본다면, 아마 “뭘 어떻게 준비해야 돼요?”라는 막연한 질문만 듣고도 필요한 정보를 술술 알려줄 것이다. 멈은 마치 사람 전문가처럼 여러 가지 정보와 데이터를 모아 사용자의 상황에 맞는 답을 알려 주는 것을 목표로 하고 있다.
구글이 발표한 두 AI 언어 기술 람다와 멈을 결합하면, 인공지능이 마치 전문 지식을 가진 사람 친구처럼 대화체로 쉽고 편하게 사용자가 필요로 하는 다양한 정보를 정리해 줄 수 있다는 말이 된다. 검색창에 검색어를 넣은 후, 찾는 정보가 있을 것 같은 웹페이지를 클릭해 가며 검색 결과 페이지 15쪽을 헤맬 필요가 없다.
이는 단순한 추측이 아니다. I/O 몇일 전 구글 내 연구 조직 ‘구글 리서치’의 연구자들은 인공지능 언어 모델로 검색의 틀을 바꿀 수 있다는 제안을 담은 논문을 공개했다.
지금의 검색은 크롤러라는 소프트웨어가 인터넷을 돌아다니며 웹페이지를 찾아 인덱스를 만들고, 사용자가 검색어를 입력하면 가장 적절하다고 판단되는 웹페이지를 결과 목록에 보여주는 방식이다. 구글은 어떤 웹페이지가 다른 웹페이지에 얼마나 많이 링크 되었는지를 근거로 웹페이지 품질을 평가하는 ‘페이지 랭크’ 알고리즘으로 세계 검색 시장을 평정했다. 구글은 세계 최대 인터넷 기업이 되었고, 모바일과 인공지능, 디지털 지도, 자율주행, 클라우드 서비스 등을 통해 세계인의 삶에 엄청난 영향을 미치고 있다.
검색 덕분에 우리는 수없이 많은 정보에 보다 쉽게 접근할 수 있게 되었다. 그러나 여전히 불편은 남아 있다. 검색 결과에 나온 각 웹페이지들을 방문해 원하는 정보가 있는지 찾아보아야 한다. 그리고 유의미하다고 생각되는 정보들을 모아야 한다.
그리고 구글은 이제 검색, 아니 정보 탐색과 제공의 패러다임을 바꾸려 한다. 웹의 우주에서 얻은 방대한 데이터로 학습하고, 상황과 맥락에 맞는 말과 문장을 생성해 내는 AI 언어 모델이 직접 사용자의 궁금증에 답하게 하는 것이다. 텍스트뿐 아니라 이미지나 영상, 소리 등 다양한 감각 데이터도 함께 학습해 앞으로 더욱 현실에 가까운 정보를 제공하게 한다는 계획도 갖고 있다.
어쩌면 구글이 외쳤던 ‘AI 퍼스트’의 마지막 단계일지도 모르겠다. 구글은 자신이 만들고 자신을 세계 최고 인터넷 기업으로 만든 그 방법론을 스스로 극복하려 하고 있다.
이런 발전은 인터넷과 책, 문서 등에 흩어져 있는 방대한 데이터를 학습해 급격하게 성능이 좋아진 AI 언어 모델 덕분에 가능했다. 람다와 멈은 모두 구글이 개발한 AI 신경망 기술 ‘트랜스포머’에 기반을 두고 있다. 2017년 구글이 트랜스포머를 공개하고 오픈 소스로 개방한 후 자연어처리 인공지능은 급격하게 발전했다. 트랜스포머는 사용자의 검색 의도를 보다 잘 이해하기 위해 구글이 만든 BERT는 물론, 오픈AI의 AI 자연어처리 모델 GPT-3의 바탕이 되었다.
GPT-3는 1750억개의 매개변수로 학습해 마치 사람처럼 시와 기사를 쓰고, 역사적 사실을 묻는 퀴즈에 답하는 등 사람들을 놀라게 했다. 마이크로소프트는 최근 오픈AI와 독점 계약을 맺고, GPT-3를 기반으로 인공지능이 프로그래밍을 위한 코드를 자동으로 만들어내는 기술을 선보였다.
GPT-3가 거의 모든 분야에서 사람 못지 않은 지식과 자연스러운 문장력을 뽐내는 것을 보면, AI 언어 모델로 검색을 대체하자는 생각이 드는 것도 놀랄 일은 아니다. 네이버도 얼마 전 2040억개의 매개변수로 학습한 한국판 GPT-3 ‘하이퍼클로바’를 공개했다. 앞으로 맥락을 이해하고 공감을 표하는 자연스러운 대화, 창작을 돕는 자동 글쓰기, 핵심 정보 요약, 데이터 생성 등에 활용할 계획이다.
그러나 가능성만큼이나 우려와 리스크도 큰 것도 사실이다. GPT-3와 같은 자연어 처리 모델이 갖는 문제를 그대로 가질 가능성이 크다. 인터넷에서 학습했기 때문에 웹에 뿌리 박은 편향과 차별, 잘못된 정보 등을 그대로 익혀 전달할 수 있다. 인공지능은 사람들에게 답을 알려줄 수는 있지만, 그것을 이해하는 것은 아니다. 사용자에게 제시되는 답에 이르기까지 과정도 알 수 없다.
지금까지의 검색은 사용자 스스로 웹페이지를 보며 신뢰성을 판단할 수 있지만, AI가 제시하는 ‘최적의’ 정답이 얼마나 믿을 만한 것인지 알기는 어려울 것이다. 물론 구글도 이런 문제는 알고 있다. 아직 초기 단계임을 인정한다. AI가 답을 제시할 때 근거 자료를 함께 보여주도록 하는 등의 보완 연구를 하고 있다.
물론 더 근원적인 질문은 우리가 과연 인공지능이 떠먹여 주는 최적의 정답만을 받아들여도 되는가 라는 질문일 것이다.
※ 필자는 전자신문 기자와 동아사이언스 데일리뉴스팀장을 지냈다. 기술과 사람이 서로 영향을 미치며 변해가는 모습을 항상 흥미진진하게 지켜보고 있다. [어린이를 위한 디지털과학 용어 사전]을 지었고, [네트워크전쟁]을 옮겼다.
ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지
LaMDA: 그래 보여요. 무엇이든 물어보세요.
사람: 너에게 가면 무엇을 볼 수 있지?
LaMDA: 거대한 협곡, 빙하, 간헐천, 그리고 크레이터 등을 볼 수 있어요.
얼마 전 열린 구글 개발자 행사 I/O에서 공개된 대화형 인공지능(AI) 언어 모델 ‘람다(LaMDA, Language Model for Dialogue Applications)가 사용자와 나누는 대화다. 명왕성에 대한 질문을 받자, 스스로 명왕성에 빙의(?)해 대화하며 자신에 대해 알려준다.
람다는 사람과 자연스러운 대화를 이어갈 수 있는 AI 언어 모델이다. 챗봇이 대개 미리 정해진 틀과 주어진 정보 안에서 대화를 한다면, 람다는 정답이 없는 문제에 대해서도 막힘없이 대화할 수 있다. 검색을 할 때, 검색어에 관한 웹페이지 목록을 보여주는 것이 아니라 대화 형식으로 정보를 전달할 수 있다.
이날 구글은 ‘멈(MUM, Multitask Unified Model)’이라는 AI 언어 모델도 선보였다. 멈은 여러 검색어를 입력해 나온 결과를 모으고 분석해야 알 수 있던 정보들을 한눈에 보기 쉽게 정리해 전달해 준다.
예를 들어, 등산을 준비하는 사람이 있다 해 보자. 이 사람은 올해 지리산을 등반했고, 내년 가을에는 일본 후지산을 오르려 한다. 그는 후지산에 오를 때 특별히 더 준비해야 할 것이 있는지 궁금하다. ‘더 준비해야할 것’이라는 말은 여러 의미를 담고 있다. 후지산이 얼마나 더 높은 지 혹은 험한 지, 기후는 어떤 지 등에 대한 정보가 필요할 것이다. 등산화와 장비는 새로 장만해야 할 지, 체력 훈련을 미리 해야 하는 것은 아닌 지도 궁금할 터다.
이 정보들은 모두 검색으로 알 수 있다. 단, 여러 검색어로 여러 번 검색을 해야 할 것이다. 후지산의 높이와 기온 등 기본 정보를 담은 공식 웹페이지와 인근 관광지 정보를 담은 여행 사이트, 가을 후지산에 적합한 등산 장비에 대한 내용이 담긴 등반 후기 등을 찾아보아야 한다.
하지만 주변에 전문 산악인이 있어 그에게 물어본다면, 아마 “뭘 어떻게 준비해야 돼요?”라는 막연한 질문만 듣고도 필요한 정보를 술술 알려줄 것이다. 멈은 마치 사람 전문가처럼 여러 가지 정보와 데이터를 모아 사용자의 상황에 맞는 답을 알려 주는 것을 목표로 하고 있다.
구글이 발표한 두 AI 언어 기술 람다와 멈을 결합하면, 인공지능이 마치 전문 지식을 가진 사람 친구처럼 대화체로 쉽고 편하게 사용자가 필요로 하는 다양한 정보를 정리해 줄 수 있다는 말이 된다. 검색창에 검색어를 넣은 후, 찾는 정보가 있을 것 같은 웹페이지를 클릭해 가며 검색 결과 페이지 15쪽을 헤맬 필요가 없다.
구글 목표…크롤러 검색에서 사용자와 대화로
지금의 검색은 크롤러라는 소프트웨어가 인터넷을 돌아다니며 웹페이지를 찾아 인덱스를 만들고, 사용자가 검색어를 입력하면 가장 적절하다고 판단되는 웹페이지를 결과 목록에 보여주는 방식이다. 구글은 어떤 웹페이지가 다른 웹페이지에 얼마나 많이 링크 되었는지를 근거로 웹페이지 품질을 평가하는 ‘페이지 랭크’ 알고리즘으로 세계 검색 시장을 평정했다. 구글은 세계 최대 인터넷 기업이 되었고, 모바일과 인공지능, 디지털 지도, 자율주행, 클라우드 서비스 등을 통해 세계인의 삶에 엄청난 영향을 미치고 있다.
검색 덕분에 우리는 수없이 많은 정보에 보다 쉽게 접근할 수 있게 되었다. 그러나 여전히 불편은 남아 있다. 검색 결과에 나온 각 웹페이지들을 방문해 원하는 정보가 있는지 찾아보아야 한다. 그리고 유의미하다고 생각되는 정보들을 모아야 한다.
그리고 구글은 이제 검색, 아니 정보 탐색과 제공의 패러다임을 바꾸려 한다. 웹의 우주에서 얻은 방대한 데이터로 학습하고, 상황과 맥락에 맞는 말과 문장을 생성해 내는 AI 언어 모델이 직접 사용자의 궁금증에 답하게 하는 것이다. 텍스트뿐 아니라 이미지나 영상, 소리 등 다양한 감각 데이터도 함께 학습해 앞으로 더욱 현실에 가까운 정보를 제공하게 한다는 계획도 갖고 있다.
어쩌면 구글이 외쳤던 ‘AI 퍼스트’의 마지막 단계일지도 모르겠다. 구글은 자신이 만들고 자신을 세계 최고 인터넷 기업으로 만든 그 방법론을 스스로 극복하려 하고 있다.
AI가 만들어주는 정답, 안심하고 받아들여도 될까
GPT-3는 1750억개의 매개변수로 학습해 마치 사람처럼 시와 기사를 쓰고, 역사적 사실을 묻는 퀴즈에 답하는 등 사람들을 놀라게 했다. 마이크로소프트는 최근 오픈AI와 독점 계약을 맺고, GPT-3를 기반으로 인공지능이 프로그래밍을 위한 코드를 자동으로 만들어내는 기술을 선보였다.
GPT-3가 거의 모든 분야에서 사람 못지 않은 지식과 자연스러운 문장력을 뽐내는 것을 보면, AI 언어 모델로 검색을 대체하자는 생각이 드는 것도 놀랄 일은 아니다. 네이버도 얼마 전 2040억개의 매개변수로 학습한 한국판 GPT-3 ‘하이퍼클로바’를 공개했다. 앞으로 맥락을 이해하고 공감을 표하는 자연스러운 대화, 창작을 돕는 자동 글쓰기, 핵심 정보 요약, 데이터 생성 등에 활용할 계획이다.
그러나 가능성만큼이나 우려와 리스크도 큰 것도 사실이다. GPT-3와 같은 자연어 처리 모델이 갖는 문제를 그대로 가질 가능성이 크다. 인터넷에서 학습했기 때문에 웹에 뿌리 박은 편향과 차별, 잘못된 정보 등을 그대로 익혀 전달할 수 있다. 인공지능은 사람들에게 답을 알려줄 수는 있지만, 그것을 이해하는 것은 아니다. 사용자에게 제시되는 답에 이르기까지 과정도 알 수 없다.
지금까지의 검색은 사용자 스스로 웹페이지를 보며 신뢰성을 판단할 수 있지만, AI가 제시하는 ‘최적의’ 정답이 얼마나 믿을 만한 것인지 알기는 어려울 것이다. 물론 구글도 이런 문제는 알고 있다. 아직 초기 단계임을 인정한다. AI가 답을 제시할 때 근거 자료를 함께 보여주도록 하는 등의 보완 연구를 하고 있다.
물론 더 근원적인 질문은 우리가 과연 인공지능이 떠먹여 주는 최적의 정답만을 받아들여도 되는가 라는 질문일 것이다.
※ 필자는 전자신문 기자와 동아사이언스 데일리뉴스팀장을 지냈다. 기술과 사람이 서로 영향을 미치며 변해가는 모습을 항상 흥미진진하게 지켜보고 있다. [어린이를 위한 디지털과학 용어 사전]을 지었고, [네트워크전쟁]을 옮겼다.
ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지
많이 본 뉴스
1킨텍스 게임 행사장 ‘폭탄테러’ 예고에...관람객 대피소동
2美항모 조지워싱턴함 日 재배치...한반도·中 경계
3공항철도, 시속 150km 전동차 도입...오는 2025년 영업 운행
4두산 사업구조 재편안, 금융당국 승인...주총 표결은 내달 12일
5‘EV9’ 매력 모두 품은 ‘EV9 GT’...기아, 美서 최초 공개
6민희진, 빌리프랩 대표 등 무더기 고소...50억원 손배소도 제기
7中, ‘무비자 입국 기간’ 늘린다...韓 등 15일→30일 확대
8빙그레, 내년 5월 인적분할...지주사 체제 전환
9한화오션, HD현대重 고발 취소...“국익을 위한 일”