[이코노미스트 정길준 기자] 컴퓨터 마니아들 사이에서 ‘갓(God)사수’로 통하는 리사 수 에이엠디(AMD) 회장이 지난 7월 미국에서 열린 연례 콘퍼런스에서 방문한 한국 기업 부스는 단 두 곳이었다. 그중 한 곳이 망고부스트다. AMD 임원진이 먼저 찾아와 협업을 제안할 정도로 관심이 쏠린 망고부스트의 경쟁력은 하드웨어와 소프트웨어를 함께 최적화하는 ‘풀스택 시스템 아키텍처’다.

망고부스트 탄생의 계기는 데이터처리장치(DPU)였다. 김장우 망고부스트 대표는 포항공대와 서울대 교수로 재직하며 ‘최고의 컴퓨터를 만들겠다’는 목표로 약 15년간 DPU 기술을 연구했다. 이 과정에서 축적한 연구 성과가 2022년 창업의 밑거름이 됐다.

명문대 교수 자리와 글로벌 빅테크의 러브콜을 마다하고 창업에 동참한 서울대 연구실 제자 15명도 힘을 보탰다. 김 대표는 이들이 엔비디아 상위 1% 수준의 시스템 설계 역량을 갖춘 인재라고 평가한다. 망고부스트는 이들과 함께 DPU를 넘어 ▲그래픽처리장치(GPU) 서버 ▲스토리지 ▲소프트웨어를 결합한 인공지능(AI) 풀스택 기업으로 진화하고 있다.

AI 데이터센터에 중앙처리장치(CPU)와 GPU를 대규모로 설치하더라도 처리해야 할 데이터가 폭증하면 전송 통로에 병목이 발생한다. CPU와 GPU가 맡던 데이터 전송과 네트워크·보안 업무 등을 대신 처리해 병목을 줄이는 핵심 장치가 DPU다.

CPU와 GPU, DPU가 유기적으로 구동되는 시스템을 구축하는 과정은 건축과 비슷하다. 수천명이 공사에 참여하더라도 건물의 뼈대를 설계하는 건축가는 소수에 불과하다. 김 대표는 미국의 전설적인 서버 제조사인 썬마이크로시스템즈 출신의 시스템 ‘건축가’다.

기술력은 글로벌 벤치마크에서도 확인됐다. 망고부스트는 AI 시스템 성능평가인 ‘MLPerf 스토리지 v1.0’에서 DPU 가속 시스템으로 초당 12GB 이상의 전송 속도를 기록했다. ‘MLPerf 추론 v5.0’의 라마2-70B 부문에서도 역대 최고 수준의 성능을 달성했다. 이를 바탕으로 누적 1억달러(약 1300억원)의 투자를 유치했다.

지난 8월 3일 김 대표와 만난 서울 사당역 인근 데이터센터에서는 ▲DPU ‘부스트X’ ▲분산 가속 소프트웨어 ‘LLM부스트’ ▲GPU 서버 ‘알폰소’ ▲스토리지 서버 ‘케사르’가 가동되고 있었다. 망고부스트는 내년 상반기 강남에 AI 데이터센터를 구축할 계획이다.

김 대표는 “부품을 조립해 납품하는 부품 상인이 되려는 게 아니다”라며 “애플이 스마트폰에 필요한 반도체와 하드웨어, 소프트웨어를 통합 설계해 독자적인 아이폰 생태계를 구축했듯 망고부스트도 풀스택 시스템 아키텍처를 통해 가격 대비 성능이 뛰어난 AI 데이터센터 생태계를 열겠다”고 말했다.

1. 영감을 준 ‘인물’(WHO)은 누구입니까?

“누군가를 모방하기보다 제자들과 전문가 동료들을 절대적으로 신뢰합니다.”

연구에서 세계 1등을 달성할 때는 남을 따라가는 것이 아니라 스스로가 최고라는 믿음으로 임해야 합니다. 제게 영감을 주는 존재는 수제자인 권동업 최고기술책임자(CTO)를 비롯해 10년 넘게 연구에 매진해 온 제자들과 현장의 최고 전문가들입니다. 2등짜리 역량도 100명이 진심으로 협력하면 초월적인 1등이 된다는 것을 연구실에서 이미 함께 경험했기 때문입니다.

2. 빅테크가 대체할 수 없는 당신만의 ‘독자적 가치’(WHAT)는 무엇입니까?

“하드웨어와 소프트웨어를 동시에 설계해 극상의 효율을 끌어내는 ‘통합 시스템 최적화 기술’입니다.”

남들이 만든 하드웨어를 사 와서 소프트웨어만 살짝 만지는 수준은 진정한 풀스택이 아닙니다. 저희는 CPU가 처리하던 잡다한 일들을 별도의 전용 장치로 넘겨 대신 처리하게 만드는 핵심 기술을 직접 개발했습니다. 성능을 저해하는 지점을 하드웨어와 소프트웨어 양쪽에서 재설계할 수 있는 기술력은 전 세계적으로 손에 꼽힙니다. 현재 국내 AI 인프라 시장은 결국 ‘외국인이 만들어준 데이터센터’를 가져다 쓰고 있는 실정인데, 제대로 된 풀스택 인프라 솔루션을 갖춰 한국의 독자적인 AI 인프라 주권을 확보하겠습니다.

3. 자본과 인프라 한계를 ‘어떤 방식’(HOW)으로 돌파하고 있습니까?

“글로벌 대표 기업들과 손잡고 우수한 가성비와 기술력을 입증하는 파트너십 전략입니다.”

미국 빅테크 기업들이 수조원의 자본을 투입할 때 저희는 독자적인 시스템 기술력으로 가성비를 극대화합니다. 예를 들어 AMD의 GPU 시스템에 망고부스트의 초고속 가속 카드(부스트X)와 소프트웨어(LLM부스트)를 결합해 경쟁사 엔비디아 시스템을 뛰어넘는 성능을 세계 최초로 증명해 냈습니다. 거대한 인프라 사업자 및 서버 제조사들과 협력해 IT 가속 시스템을 통합 관리 대행 서비스 형태로 공급하며 효율적으로 시장을 개척하고 있습니다.

4. 기술을 걸고 승부를 보겠다고 확신한 ‘결정적 계기’(WHY)는 무엇입니까?

“우리가 10년 넘게 연구해 온 문제들이 글로벌 클라우드 시장의 실제 치명적인 병목이었음을 확인했기 때문입니다.”

2018년 글로벌 학회에서 세계 1위 클라우드 기업 아마존웹서비스(AWS)가 데이터센터 병목 해결을 위해 발표한 기술 방향성이 저희 연구실에서 연구하던 내용과 정확히 일치했습니다. 학계에만 갇혀 있던 우리 기술이 글로벌 산업 현장의 가장 뜨거운 문제를 해결할 수 있는 세계 최고 수준의 정답이라는 확신이 들어 망설임 없이 창업했습니다.

5. 기술력을 마침내 인정받게 될 ‘결정적 시점’(WHEN)은 언제입니까?

“단품 요소 기술 공급을 넘어, 당사 통합 플랫폼 기반의 가성비 데이터센터 시스템 매출이 본격화되는 2027년입니다.”

현재는 DPU를 비롯한 고성능 요소 기술과 소프트웨어가 글로벌 클라우드 및 서버 업체를 대상으로 판매되며 매출을 내고 있습니다. 하지만 진정한 인정의 시점은 당사의 통합 시스템 플랫폼(에이전트 팩토리)이 상용화돼 고객이 버튼 하나만 누르면 최상의 성능과 비용 절감을 경험하게 되는 내년부터가 될 것입니다. 고객들은 자신이 개발한 AI 모델만 가지고 오면 됩니다. 최고 속도로 최적 구동될 수 있는 최상의 가성비 데이터센터 인프라는 저희 망고부스트가 완벽하게 준비해 놓겠습니다.

6. 가장 먼저 파고들 ‘핵심 타깃 영역’(WHERE)은 어디입니까?

“글로벌 AI 데이터센터 시장 및 국가 차원의 소버린 AI 인프라 구축 영역입니다.”

해외 빅테크 중심의 독점 구조에서 벗어나 고효율·고성능 데이터센터를 구축하려는 글로벌 기업과 국가들이 주요 타깃입니다. 한국을 포함한 글로벌 시장에서 레퍼런스를 신속하게 구축하고, 미국 본사를 거점으로 글로벌 대형 클라우드 서비스 제공 업체와 AI 서비스 기업들을 공격적으로 공략해 나갈 것입니다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지