[이코노미스트 정길준 기자] 인공지능(AI) 추론 효율화 기업 노타가 초대형 오픈웨이트 모델의 하드웨어 요구 조건을 낮춘 최적화 성과를 공개했다.

노타는 문샷AI의 초거대 모델 ‘키미 K3.1 프로’를 최적화해 그래픽처리장치(GPU) 초기 구매 비용을 최대 약 20% 낮췄다고 10일 밝혔다. 기존에는 엔비디아 B300 GPU 8장이 필요했는데, 상대적으로 비용이 낮은 B200 GPU 8장에서도 실행할 수 있도록 효율을 끌어올렸다. 키미 K3.1 프로는 2조8000억개의 매개변수를 갖춘 모델로, 현재 공개된 오픈웨이트 AI 모델 중 최대 규모다.

노타는 모델 내부의 전문가 모듈을 선별적으로 제거하는 프루닝 기술을 적용해 전문가 모듈을 최대 37% 줄였다. 이를 통해 메모리 요구량을 낮춰 B200 환경에서도 모델을 구동할 수 있도록 설계했다. 고난도 과학 추론 능력을 평가하는 ‘GPQA 다이아몬드’ 테스트에서 원본 모델 점수의 99% 이상을 유지했다.

확보한 여유 메모리는 긴 문맥 처리와 답변 생성 가속에 집중됐다. B200 GPU 8장 환경에서 전문가를 37% 줄인 모델은 최대 100만 토큰의 긴 문맥을 처리한다. 아울러 작은 보조 모델이 다음 내용을 미리 제안하고 본 모델이 검증하는 ‘추측 디코딩’을 지원해 처리 속도도 높였다.

자사 견적 기준으로 동일 AI 모델 구동 시 B300 대신 B200을 활용하면 구매 비용은 최대 약 20%, 클라우드 임대료는 최대 약 22%가량 절감되는 것으로 나타났다. 앞서 키미 K3 구동에 필요한 B300 GPU 수량을 8장에서 4장으로 줄인 데 이어, 이번에는 최신 후속 모델의 요구 사양 자체를 낮췄다.

채명수 노타 대표는 “AI 산업의 경쟁력은 더 많은 고성능 GPU를 확보하는 것뿐 아니라 이미 보유한 컴퓨팅 자원에서 얼마나 높은 성능과 효율을 구현하느냐에 달려 있다”며 “이번 성과는 초거대 AI 모델의 주요 추론 성능을 유지하면서 하드웨어 요구 조건을 낮춰 AI 도입의 경제성을 개선할 수 있음을 보여준다”고 말했다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지