[이코노미스트 정길준 기자] 독자 인공지능(AI) 파운데이션 모델(독파모) 2차 평가에서 탈락한 모티프테크놀로지스(이하 모티프)가 정부의 평가 기준에 의문을 제기하며 상세 채점 내역과 채점 방식에 대한 완전 공개를 촉구했다. 글로벌 벤치마크 평가에서 독파모 참여 기업 중 가장 높은 성적을 거두고도 전문가·사용자 평가에서 감점을 받아 탈락한 배경에 대해 정밀 검증이 필요하다는 입장이다.

AI 스타트업 모티프는 27일 과학기술정보통신부(과기정통부)의 독파모 사업 2차 단계 선정 결과에 대해 이의 신청서를 제출하고 공식 입장문을 발표했다.

모티프는 과기정통부에 ▲전체 평가 항목별·업체별 상세 점수 및 내용 공개 ▲벤치마크 배점 산정 방식의 근거 제시 ▲전문가 평가의 구체적 판단 근거 공개 ▲사용자 평가 방법론 및 조건 공개 등 4가지 요구사항에 대해 답변해 줄 것을 요청했다.

과기정통부는 지난 8월 18일 독파모 2차 단계 평가 결과를 공개하며 3개 참여 팀을 확정했다. 모티프가 제출한 모델 ‘모티프 3’에 대해 벤치마크 평가 점수는 높았지만 전문가 평가와 사용자 평가에서 상대적으로 낮은 점수를 받아 최하위로 탈락했다고 설명했다. 과기정통부 고위 관계자가 ‘모티프 3’에 대해 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다고 언급한 바 있다.

이에 대해 임정환 모티프 대표는 “이번 사안은 단순히 특정 업체의 선정·탈락 차원을 넘어 독파모 사업의 본질과 향후 방향성에 대한 근본적인 의문”이라고 비판했다.

모티프 측은 이번에 제출한 ‘모티프 3’가 글로벌 종합 성능 지표인 AAII에서 47점을 획득했다고 강조했다. 이는 글로벌 모델 업체 기준 10위이자 미·중 기업을 제외하면 세계 1위에 해당하는 성과다. 과기정통부 역시 앞서 국무회의 대통령 보고에서 독파모의 ‘47점, 글로벌 3강’ 성과를 강조했다. 이번 평가에 제출된 타사 모델들의 AAII 점수는 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다.

임 대표는 평가의 본질적 기준에 대해 강하게 문제를 제기했다. 임 대표는 “파운데이션 모델의 가치는 단순 챗봇의 사용성이 아니라 여러 도메인으로 확장 가능한 기반 성능에서 나온다”며 “AAII에서 모델 간 47점과 31점이라는 상당한 차이가 있었음에도 전문가 평가와 상반된 결과가 나온 배경을 업계가 이해할 수 있도록 구체적인 설명이 필요하다”고 지적했다.

또 “컴퓨터공학에서 벤치마크는 인위적 조작이 어렵고 산업과 기술 발전의 방향을 제시하는 객관적 기준”이라며 글로벌 1위 AAII 점수(63점)를 만점으로 환산하는 과정에서 모델 간 실제 성능 격차가 배점 상 단 4점 차이로 축소된 채점 방식의 문제점도 꼬집었다.

국내 AI 모델 성능이 이미 충분하다는 정부 일각의 인식에도 정면으로 반박했다. 임 대표는 “독파모 사업의 당초 목표는 글로벌 프론티어 모델 대비 95% 이상의 성능 확보였지만 현재 글로벌 프론티어(63점) 대비 ‘모티프 3’는 75%, 31점 모델은 49% 수준에 불과하다”며 “글로벌 선도권과 아직 상당한 차이가 있는데 이미 성능이 충분하다고 판단하는 것에는 동의하기 어렵다”고 뼈 있는 말을 남겼다.

전문가 평가 과정의 공정성에도 의문을 표했다. 가장 낮은 벤치마크 점수를 받은 모델이 전문가 평가 1위를 차지한 판단 근거에 대한 설명이 필요한 것은 물론, 평가 과정에서 “컨소시엄 내 외국계 자본이나 해외 법인이 의결권 있는 주요 주주로 참여하고 있는지” 등 기술 기준과 무관한 서면 질의를 받은 목적도 명확히 밝혀져야 한다고 촉구했다. 더불어 일반 사용자 평가 시 브랜드 인지도에 따른 선입견을 막기 위한 ‘블라인드 평가’ 요청이 반영됐는지도 투명하게 공개돼야 한다고 주장했다.

임 대표는 최근 배경훈 과기정통부 장관의 “스타트업은 특화모델, 대기업은 프론티어 모델” 발언도 조명하면서 “전 세계를 선도하는 프론티어 모델 업체의 절대 다수는 스타트업”이라며 “독파모 2차 벤치마크에서는 스타트업 2개사가 대기업 2개사보다 우수했다”고 목소리를 높였다.

다만 모티프는 이번 이의 신청이 3차 사업 재참여를 위한 목적은 아니라고 전했다. 이의 제기 결과와 상관없이 향후 독파모 3차 평가에는 참여하지 않을 방침이다.

임정환 모티프 대표는 “이번 계기가 독파모 사업이 추구해야 할 본래 목표에 대한 사회적 합의를 이끌어내는 과정이 되기를 바란다”며 “3차에 선정된 3개사에는 축하를 전하며, 앞으로 더 좋은 모델로 글로벌 AI 3강이라는 목표를 향해 선의의 경쟁을 이어가길 기대한다”고 말했다. 이어 “앞으로는 스스로의 힘으로 한국에서 가장 우수한 프론티어 모델을 만들어 글로벌 경쟁에서 이겨낼 수 있다는 것을 증명하겠다”고 덧붙였다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지