[박정남 젠틀파이 대표] 챗GPT가 처음 소개된 지 2년이 가까워진다. 오픈AI의 혁신적인 기술은 빠르게 진화하며 우리의 일상과 비즈니스 환경에 깊숙이 파고들었다. 해외의 여러 기업은 이미 대규모 언어 모델(Large Language Model·LLM)을 활용하여 고객 지원 효율성을 극대화하고, 데이터 분석의 정확성을 높이려 하고 있다. 콘텐츠 생산에 드는 시간을 획기적으로 단축하는 성과도 거두고 있다. 법률·규정·계약서 등 서류검토 자동화나 문서작성 등 업무 효율화 등을 통한 비용절감 성과들이 화제가 되면서 LLM 도입을 고민하는 기업들이 늘어나고 있다. 

“우리는 LLM을 도입해야 할까” “도입하게 된다면 어떻게 시작해야 할까” 등 기업들에 여러 가지 걱정과 궁금증이 따르기 마련이다. 생성형 AI 언어 모델을 도입하려는 기업과의 미팅에서 주로 제기되는 질문들이 있다. 이에 대한 답변을 통해 기업의 막연한 두려움과 우려를 해결할 수 있을 것이다. 

데이터 보안…기업 정보는 안전하나

오픈AI를 비롯한 대부분의 상용화 LLM 서비스 공급자는 고객 데이터 보호를 약속한다.  고객의 질문에 사용된 데이터가 모델 학습에 사용되지 않도록 하는 정책을 가지고 있다. 웹이나 외부에 공개된 자료를 활용한다면 상용 LLM 서비스를 사용해도 큰 무리가 없을 것이다. 

다만 이러한 보안 약속에 대해 여전히 불신하는 기업이 많다. 다행히 최근 몇 년 동안 이러한 우려를 해소할 다양한 대안이 등장하였다. 저렴한 온프레미스 소규모 설치형(sLLM) 솔루션도 시장에 등장하고 있다. 이를 통해 기업의 내부 서버에 LLM을 설치하여 데이터를 외부로 유출하는 것을 원천적으로 방지할 수 있다. 이러한 방식은 주로 금융 업종이나 기술 유출 위험이 큰 기업에서 선호하는 방법이다.

마찬가지로, 설치형이나 서비스형 모두에서 데이터를 LLM에 전달하기 전에 중요 데이터를 사전에 모니터링하여 파악할 수 있는 시스템 개발이 필요하다. 추가적인 보안 조치를 통해 데이터 유출 위험을 최소화할 수 있는 방안이 마련되고 있다. 결국 이러한 노력이 기업의 신뢰도를 높이는 데 기여할 수 있다. 여기에 데이터 보호를 위한 종합적인 정책을 수립하고, 정기적인 보안 감사와 직원 교육을 통해 지속적으로 보안 의식을 환기시키는 것이 필수적이다.

개인정보 유출 대비 필수 

개인정보 보호는 LLM을 도입할 떄 가장 중요하게 고려하는 사항 중 하나다. 개인정보를 포함한 데이터가 LLM에 들어가기 이전에 조치를 취하는 것이 좋다. 데이터 익명화·암호화·접근 제어 등의 기술적 조치를 취해야 한다. 향후 발생할 수 있는 사고에 대비한 예방 계획을 미리 수립하는 것이 중요하다.

이와 함께 개인정보 유출 사고가 발생할 경우를 대비한 사고 대응 계획을 미리 수립해야 한다. 여기에는 신속한 탐지와 피해 최소화 조치 등을 포함해야 한다. 정기적인 보안 감사와 직원 교육도 필수적이다. 법적 요구사항을 준수하고, 필요 시 전문가의 자문을 받는 것도 중요하다. 직원들에게 개인정보 보호의 중요성과 방법을 강조하며, 실질적인 개인정보 관리 절차를 구축하는 것이 필요하다.

환각 문제 해결하고 AI 정확성 높여야 

LLM은 때때로 잘못된 정보를 생성하는 경우가 있다. 이는 모든 사용자가 이미 알고 있는 사실이다. 우리 모두 이미 챗GPT가 내놓은 이상한 답변을 경험한 바 있다. 

LLM의 할루시네이션(환각) 문제는 해결이 불가능한 구조적인 문제다. 주로 학습 과정에서의 범위 한계와 출력 검토의 어려움에서 기인한다. 제한된 데이터로 인해 모든 정보가 완전할 수도 없다. 언어의 자의성이 존재하기 때문에 사람의 의도를 정확히 파악하지 못하는 경우도 명백히 존재한다. 출력 검토 역시 100% 정확성을 보장할 수 없다. 기업이 할 수 있는 일은 정확도를 최대한으로 높이는 것뿐이다. 

가장 합리적인 선택은 ‘LLM이 학습하는 범위의 한계’를 늘려주는 검색증강생성 (Retrieval-Augmented Generation·RAG) 시스템을 적극 활용하는 것이다. LLM은 이미 완성된 형태의 언어 모델로 구현되어 있기 때문에 추가 학습 데이터를 넣을 필요는 없다. 그보다는 LLM이 답변을 생성할 때 참고할 수 있는 정보를 미리 검색하여 LLM 답변 시 활용하도록 제공해야 한다. LLM 답변의 정확도를 높이는 데 결정적 역할을 한다. 

따라서 회사의 제품 정보·FAQ· 정책 문서 등을 체계적으로 정리하여 RAG 시스템 즉 벡터DB에 적재해야 한다. 여기에서 정보를 업데이트하고 검토하는 프로세스를 정기적으로 수행하여 정보의 최신화 등 정확성을 높이는 작업을 해야 한다. 

아무리 정확도가 높은 자료를 주더라도, LLM은 자의적으로 말할 수 있다. 때문에 LLM이 "모르는 것은 아예 대답하지 않도록 하라"는 가이드를 명확히 주는 것도 중요하다. 데이터의 품질과 범위가 높아질수록 LLM은 더욱 정확하고 관련성 높은 답변을 제공할 수 있으며, 이는 기업의 운영 효율성에도 지대한 영향을 미친다.

결론적으로, 데이터 준비와 환각 문제 관리가 결합되면 LLM의 정확성을 높이고, 기업이 AI 기술을 보다 효과적으로 활용할 수 있는 기반을 마련하게 된다. 

LLM 적용시 예산에 맞게 선택해야 

LLM 도입에 따른 비용은 사용량 및 요구사항에 따라 다양하게 변동할 수 있다. 초기 투자 및 운영 비용이 발생하고, 클라우드 서비스 사용료와 개발 비용 등도 신중하게 고려해야 한다. 정교한 RAG 시스템 도입 시 추가 비용이 발생하기도 하며, 예산에 맞는 플랫폼과 서비스를 선택하는 것이 필수적인 요소다.

일반적으로 초기 설정 비용, 월간 또는 연간 라이선스 비용, API 호출 비용 등이 발생할 수 있다. 기업 규모와 목적에 따라 이에 따른 비용은 수백만원에서 수십억원에 이를 수 있다. 내부 보안 데이터를 활용해야 하는 구축형을 선택해야 하지만, 공개 자료를 사용하는 경우에는 오픈AI나 구글 제미나이(Gemini) 같은 상용 LLM 응용 프로그램 프로그래밍 인터페이스(API)를 활용하는 것이 경제적이다. 

추가적으로 초기 투자 비용뿐만 아니라 장기적인 유지 비용까지 계산하여 예산을 마련해야 한다. 예기치 않은 비용 발생에 대비할 필요도 있다. 이를 위해 솔루션 제공 업체와 장기 계약을 체결해 할인 혜택을 고려하는 것도 좋은 전략이다.

얼마나 많은 운영 인력 필요한지 파악해야 

앞서 언급한 대로, 할루시네이션 문제와 데이터 최신화를 위해서는 적절한 인력이 요구된다. LLM 자체는 별도의 운영 인력이 필요하지 않지만, 도입 이후 다양한 시도를 통해 LLM의 사용성을 높여야 한다. 기본 운영에는 적정 수준의 기술 인력이 필요하지만, 대규모 운영을 원하는 경우에는 더욱 많은 인력이 필요할 것이다.

운영 인력은 데이터 관리·사용자 지원·시스템 유지 보수 등 다양한 기능에 할당되어야 한다. 초기에는 소수 팀으로 시작할 수 있지만, 사용량이 증가함에 따라 인력 조정이 필요하게 된다. 기업 규모 및 LLM 활용 범위에 따라 1~10명의 전담 팀이 필요할 수 있다. 이 팀은 ▲LLM 시스템의 일상 운영 ▲모니터링 ▲문제 해결 ▲데이터 업데이트 ▲사용자 교육 및 지원 등 다양한 역할을 수행하게 된다. 운영 인력이 지속적으로 시스템을 보완하고 개선해 나가는 것이 LLM 효과를 극대화하는 데 핵심이 된다.

LLM 도입 시 직원들에게 필요한 교육은…

챗GPT의 뜨거운 인기에 비해 실제 사용해보지 않은 직원들이 많다는 점은 간과할 수 없는 문제다. 기업이 돈을 들여 시스템을 도입하더라도 시스템이 유용하게 사용되지 않으면 결국 또 하나의 버려진 도구가 될 위험이 크다. 따라서 사용률을 높이기 위해 기본적인 AI 및 LLM의 개념·기능·한계에 대해 교육을 해야 한다. 

또한, LLM 사용 방법, 프롬프트 작성 기술, 결과 해석 및 검증 방법과 같은 실제적인 사용 기술도 교육해야 한다.  사용자가 LLM을 통해 얻고자 하는 정보나 결과를 보다 효과적으로 도출할 수 있도록 돕는 것이 중요하다. LLM은 정답을 찾아내기보다 대화하는 과정을 통해 사용자가 원하는 것을 밝히는 데 강점을 가지므로, 이러한 특성을 강조한 교육이 필요하다.

데이터 보안 및 개인정보 보호에 대한 교육도 필수적으로 진행되어야 한다. 기업의 LLM 사용 정책과 윤리 지침에 대한 교육도 포함되어야 한다. 정기적인 워크숍, 온라인 교육 과정 및 실습 세션 등을 통해 다양한 형태의 교육 프로그램을 제공하는 것이 효과적이다. 인간의 자율적인 의지에만 의존하지 않고 시스템적인 보완이 함께 이루어져야 함을 강조해야 할 것이다. 직원들의 피드백을 통해 교육 내용을 개선하는 것도 좋은 방법이다.

LLM 도입 끝 아냐…성과 측정 고민해야 

LLM 도입 후 성과 측정은 기업의 비즈니스 목표와 활용 사례에 따라 다양할 수 있다. 일반적으로 사용자의 만족도·응답 정확도·처리 시간 단축·비용 절감 등을 주요 지표로 활용할 수 있다. 예를 들어 고객 서비스에 LLM을 도입한 경우 ▲고객 문의 해결 시간 ▲첫 응답 해결률 ▲고객 만족도 점수를 측정할 수 있다. 내부 업무 프로세스에 적용한 경우 작업 완료 시간 단축·오류율 감소·직원 생산성 향상 등을 평가하는 데 중점을 두어야 한다.

정량적 지표와 함께 정성적 피드백도 함께 수집하여 종합적인 평가를 수행해야 한다. 정기적인 성과 리뷰를 통해 지속적인 개선 방향을 설정하고 발전시켜 나가는 것이 중요하다. 성과 측정을 단순히 수치를 기록하는 것을 넘어 기업의 전략적 목표를 달성하기 위한 개선 리포트를 작성하는 데 중심 두어야 한다.

챗GPT의 그 유명세에도 불구하고 많은 기업들이 실질적인 도입 과정에서 어려움을 겪고 있다. 새로운 기술에 대한 두려움과 불확실성 그리고 구체적인 적용 방법에 대한 의문으로 인해 실제 적용을 망설이는 기업들이 많다. 

LLM 도입은 복잡해 보일 수 있지만, 체계적인 접근과 올바른 이해를 통해 충분히 관리 가능한 과정이다. 각 기업의 필요와 환경에 맞춰 신중하게 검토하고 단계적으로 추진한다면 AI 기술의 혜택을 충분히 누릴 수 있을 것이다. 두려움에 주저하기보다는 이 기회를 통해 기업의 경쟁력을 한 단계 끌어올리는 계기로 삼기를 바란다.

박정남 대표는 엔씨소프트와 제일기획에서 쌓은 웹서비스 개발 경험을 바탕으로 2016년 AI 챗봇전문기업 (주)젠틀파이를 설립하였다. 챗봇의 초기 시점부터 AI 분야에 맞춘 기업으로 회사를 발전시켜왔으며, 최근 누구나 쉽게 만들 수 있는 생성AI 챗봇빌더인 버블잇을 출시하여 생성AI 챗봇의 대중화에 앞장서고 있다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지