-2년 연속 플래티넘 스폰서 참여… 생성형 AI 신뢰성 확보 전략 발표
-LLM-as-a-Judge 기반 검증 체계로 콘텐츠 검수 시간 90% 이상 단축 사례 공유

클라우드 AI MSP 스마일샤크가 ‘AWS 서밋 서울 2026’에서 생성형 AI 품질관리 사례를 발표하고, AI·클라우드 도입 기업을 대상으로 기술 상담을 진행했다.

스마일샤크는 지난 5월 20일부터 21일까지 서울 삼성동 코엑스에서 열린 ‘AWS 서밋 서울 2026’에 2년 연속 플래티넘 스폰서로 참여했다고 밝혔다.

AWS 서밋 서울 2026은 아마존웹서비스가 주최하는 국내 대표 AI·클라우드 컨퍼런스다. 올해 행사에서는 생성형 AI, 클라우드 인프라, 산업별 디지털 전환 사례 등을 중심으로 다양한 세션과 전시가 진행됐다.

스마일샤크는 행사 첫날 코엑스 3층 D홀에서 열린 인더스트리 데이 스폰서 발표 세션에 참여했다. 최병주 스마일샤크 솔루션즈 아키텍트는 ‘생성형 AI의 신뢰성 확보 전략: 매경AX의 환각 통제 사례’를 주제로 발표했다.

이번 발표에서는 매일경제신문사 산하 디지털 조직 매경AX의 AI 팟캐스트 자동화 프로젝트가 소개됐다. 스마일샤크는 생성형 AI 출력물의 품질을 운영 단계에서 관리하기 위한 전략과 검증 체계 구축 과정을 공유했다.

발표에 따르면 매경AX 프로젝트에는 AI 모델이 다른 AI의 출력 결과를 평가하고 검증하는 LLM-as-a-Judge 기반 품질 검증 방식이 적용됐다. 이를 통해 월평균 15~20건 발생하던 사실 오류를 월 1건 이하로 줄였으며, 콘텐츠 검수 인력 투입 시간도 기존 대비 90% 이상 단축한 것으로 나타났다.

최병주 솔루션즈 아키텍트는 “생성형 AI 서비스는 개념 검증을 넘어 실제 운영 단계에 들어서는 순간 품질 관리가 중요해진다”며 “LLM 기반 평가는 원문 근거와 정해진 기준에 따라 오류를 확인하는 운영 전략으로 활용될 수 있다”고 설명했다.

그는 이어 “모델 관리, 평가 체계, 실패 사례 관리가 함께 갖춰져야 안정적인 생성형 AI 서비스 운영이 가능하다”고 말했다.

스마일샤크는 행사 기간 플래티넘 부스도 운영했다. 부스에서는 ‘야구단 포지션 테스트’를 활용한 클라우드 서비스 추천 콘텐츠와 맞춤형 굿즈 제작 프로그램을 선보였다.

회사 측에 따르면 이틀간 스마일샤크 부스에는 약 4000명의 방문객이 찾았다. 현장에서는 AI 도입을 검토하는 스타트업 및 중소기업 실무자들을 대상으로 클라우드 인프라, 생성형 AI 도입, 운영 최적화 관련 상담도 진행됐다.

스마일샤크 장진환 대표는 “이번 AWS 서밋에서는 생성형 AI 운영 사례와 함께 고객이 클라우드를 보다 쉽게 이해할 수 있는 접점을 마련하는 데 집중했다”며 “AI 도입을 고민하는 기업들이 참고할 수 있는 사례와 운영 노하우를 지속적으로 공유하겠다”고 말했다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지