[이코노미스트 서지영 기자]

“AI도 스스로 ‘모른다’고 말할 수 있어야 한다.”

자율주행과 의료 진단 등에서 인공지능(AI)의 가장 큰 위험으로 지적돼 온 ‘과도한 확신(overconfidence)’ 문제를 해결할 새로운 접근법이 제시됐다. KAIST 연구진이 AI가 스스로 모르는 상황을 인식하도록 하는 학습 방법을 개발해, 과신을 줄이고 신뢰성을 높일 수 있는 기반을 마련했다.

KAIST는 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝에서 널리 사용되는 무작위 가중치 초기화(random initialization)가 AI의 과신을 유발하는 근본 원인일 수 있음을 규명했다고 27일 밝혔다.

연구팀은 해결책으로 실제 데이터를 학습하기 전, 무작위 노이즈로 신경망을 짧게 학습시키는 ‘예열(warm-up)’ 전략을 제안했다.

연구에 따르면, 무작위로 초기화된 신경망은 아직 아무것도 배우지 않은 상태에서도 높은 확신도를 보이는 경향이 있다. 이는 생성형 AI의 환각(hallucination) 문제로 이어질 수 있다.

연구팀은 인간 두뇌에서 힌트를 얻었다. 인간은 태어나기 전부터 외부 자극 없이도 자발적 신경 활동을 통해 신경회로를 형성한다는 점에 착안해, AI에도 사전 ‘예열 단계’를 도입했다.

이 과정에서 모델은 실제 학습 전에 스스로의 불확실성을 조정하게 된다. 예열을 거친 AI는 초기 확신도가 낮은 수준으로 정렬되며, 기존의 과신 편향이 크게 줄어든 것으로 나타났다.

즉, ‘아직 모른다’는 상태를 먼저 학습하게 되는 것이다. 그 결과, 모델의 정확도와 확신도가 보다 일치하는 방향으로 개선됐다.

특히 처음 보는 데이터에 대해서도 기존 모델은 높은 확신으로 오답을 제시하는 반면, 예열 모델은 확신도를 낮춰 ‘모른다’고 판단하는 능력이 향상됐다. 이에 따라 분포 밖 데이터 탐지 성능도 개선됐다.

이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어, 무엇을 알고 무엇을 모르는지 구분하는 ‘메타인지’ 능력을 갖출 가능성을 제시했다는 점에서 의미가 있다.

백 교수는 “두뇌 발달 과정을 모사해 AI가 자신의 지식 상태를 인식할 수 있음을 보여준 연구”라며 “정확도를 넘어 불확실성을 판단하는 원리를 제시했다는 데 의의가 있다”고 말했다.

이번 기술은 자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야에 적용될 수 있으며, 다양한 딥러닝 모델의 초기화 방식 개선에도 활용될 것으로 기대된다.

이번 연구는 국제 학술지 네이처 머신 인텔리전스에 4월 9일 게재됐으며, ‘뉴스 앤 뷰스(News & Views)’에도 소개됐다.
 
 
 

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지