[이코노미스트 정길준 기자] KT가 인공지능(AI) 시대에 발맞춰 기업들의 효율적인 전환을 지원하기 위해 다양한 모델과 비용 관리를 통합 제공하는 서비스를 선보인다.

KT는 오는 30일 ▲AI 모델 선택 ▲비용 관리 ▲AI 신뢰·안전 기능을 하나의 플랫폼에서 제공하는 AI 플랫폼 ‘KT 토큰팩토리’(이하 토큰팩토리)를 출시한다고 27일 밝혔다.

KT는 토큰팩토리를 AI 시대 고객의 AI 전환(AX)을 지원하는 핵심 플랫폼이자 새로운 성장 사업으로 육성할 계획이다. 토큰팩토리는 국내외 500개 이상의 AI 모델을 통합 제공하며 가입·사용량 확인·비용 관리·결제까지 한 곳에서 처리할 수 있다. 고객이 업무 목적·비용·보안 요구 사항에 맞는 최적의 모델을 활용할 수 있도록 지원한다.

토큰팩토리는 업무 성격에 따라 적합한 AI 모델을 자동으로 선택해 불필요한 비용 지출을 줄인다. KT가 자체 개발한 AI 모델 라우팅 기술인 ‘오토 모델 라우터’를 적용해 모델 최적화를 완성했다. 이 기술은 모델 선택 성능을 평가하는 글로벌 벤치마크에서 종합 1위를 기록했다.

아울러 한국어 특성을 고려한 정밀 프롬프트 압축 기술을 고도화해 입력 토큰 수를 줄이고 처리 효율을 높였다. 이러한 자체 기술을 통해 AI 이용에 필요한 토큰 사용을 최대 25%까지 절감한다. 글로벌 AI 모델 마켓플레이스 1위 사업자인 오픈라우터와 파트너십을 체결해 경쟁력을 높였다.

토큰팩토리는 해외 AI 서비스 의존에 따른 데이터 주권 우려를 줄이기 위해 한국 내 KT 데이터센터에서 직접 AI 추론 서비스를 제공한다. 다양한 오픈웨이트 모델을 국내 인프라에서 안정적으로 이용할 수 있는 환경을 제공하며, 모델 평가 체계와 자체 가드레일 기술을 적용해 AI 이용 과정의 안전성을 높였다. 고객이 입력하는 프롬프트의 개인정보 및 민감정보와 유해 표현을 점검하고, AI가 생성한 답변도 가드레일로 점검한다.

KT는 이번 출시를 시작으로 유라클·캐스트아이·타임리 등 국내외 기업과의 협력을 확대하고 생태계를 구축할 방침이다.

박상원 KT AX사업부문장 전무는 “AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AI 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지