한국선 게임 끝났다…네이버 인공지능, 구글·오픈AI ‘압도’

해례, 한국·한글 이해도 측정 AI 평가 체계 ‘KMMLU’ 마련
네이버 하이퍼클로바X, 구글·오픈AI 모델보다 점수 높아

[이코노미스트 정두용 기자] 네이버가 만든 ‘생성형 인공지능’(Generative AI)이 한국에 대한 이해도 측면에서 오픈AI·구글 모델보다 높은 수준이라는 연구 단체의 평가가 나왔다.

국내 오픈소스 언어모델 연구팀 ‘해례’(HAE-RAE)는 최근 한국에 맞는 인공지능(AI) 성능 평가 체계 ‘KMMLU’(Measuring Massive Multitask Language Understanding in Korean)을 마련했다. 네이버클라우드는 헤례의 연구 논문 결과를 인용해 자사 AI 모델이 오픈AI·구글보다 높은 점수를 기록했다고 27일 밝혔다.

▲오픈AI의 챗GPT ▲구글의 바드 ▲네이버의 클로바X 등 대화형 AI 서비스는 초대규모 AI(Hyperscale AI) 혹은 대형언어모델(LLM·Large language model)로 불리는 기반인프라를 통해 가동된다. 구글이 도입한 ‘SGE’(Search Generative Experience)나 네이버의 큐:(CUE:)와 같은 ‘생성형 AI 검색’도 마찬가지다. 네이버가 ‘하이퍼클로바X’란 초대규모 AI 모델을 통해 클로바X와 큐: 같은 서비스를 마련한 구조로 이해하면 쉽다. 이런 방식은 오픈AI·구글도 마찬가지다.

해례는 KMMLU를 통해 각 기업의 초대규모 AI 모델 점수를 측정했다. 네이버 하이퍼클로바X는 물론 오픈AI의 GPT-3.5 터보(Turbo)와 GPT-4는 물론 구글의 제미나이-프로(Gemini-Pro) 등을 각각 평가한 결과를 묶어 최근 논문으로 발표했다.

네이버의 하이퍼클로바X는 이 평가에서 오픈AI의 GPT-3.5-Turbo와 구글의 Gemini-Pro보다 높은 점수를 기록했다. 한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 받았다. 네이버 측은 “일반 지식과 한국 특화 지식을 종합한 전반적인 성능이 글로벌 빅테크의 AI와 경쟁할 수 있는 수준임이 확인됐다”며 “국가적으로 다르지만 정보 중요성이 큰 교육·법률 등의 산업 분야에서 하이퍼클로바X가 가장 유용할 수 있음을 보였다”고 전했다.

KMMLU는 인문학·사회학·과학기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5030개 문항으로 구성된다. 수학적 추론 능력과 같이 세계 공통으로 적용할 수 있는 ‘광범위한 지식을 묻는 문항’이 약 80%를 차지한다. 지리·법률 등 한국 특화 문제 해결 능력을 평가하기 위한 문항은 20% 정도다. AI의 보편적 능력과 한국 맞춤형 지식을 고르게 측정할 수 있는 평가지표란 평가를 받고 있다.

오픈AI·구글 등 미국 빅테크 기업이 자사 AI 성능을 확인하기 위해 주로 사용하는 지표인 ‘MMLU’는 한국에 정확히 부합하지 않는다. MMLU를 한국어로 번역해 적용하더라도 ▲문항 부정확성 ▲영어권 국가만의 문화적 맥락 등이 반영돼 있기 때문이다. 해례는 한국 특화 AI 모델의 성능을 정확하게 평가하기 위해 KMMLU를 마련했다. 한국어 원본의 시험 문제들로 구성, 국내∙외 AI의 한국어 이해 역량을 정확하게 평가할 수 있다.

네이버클라우드 측은 “KMMLU를 통해 입증된 하이퍼클로바X의 성능 경쟁력을 바탕으로 ‘소버린(Sovereign·자주적인) AI’ 솔루션을 마련할 것”이라며 “하이퍼클로바X는 보안과 성능을 모두 갖추면서도 한국에 대한 높은 이해도를 갖춘 모델”이라고 전했다.

네이버클라우드는 2023년 10월에 폐쇄된 사내망에서 하이퍼클로바X를 사용하며 데이터 유출을 방지할 수 있는 하이브리드 클라우드 서비스 ‘뉴로클라우드 포 하이퍼클로바X’(Neurocloud for HyperCLOVA X)를 기업 간 거래(B2B) 상품으로 출시한 바 있다.

성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 “하이퍼클로바X는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI로, 우수한 성능, 강력한 보안을 갖춘 솔루션과 함께 국내 산업계 전반에서 도입이 이뤄지고 있다”며 “자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것”이라고 말했다.