[솔트룩스 AI혁신센터장 이승민 부사장] 제1회 ‘AI 2025 애널리스트 어워즈’는 AI 기술을 활용해 투명하고 공정한 평가 모델을 제시했다는 데 큰 의미가 있다. 사람이 주관적으로 수행하던 평가 방식에서 벗어나, AI를 통해 편향성을 배제했다는 점이 가장 중요하다. 

평가의 기초 데이터는 애널리스트들이 작성한 리포트였다. 애널리스트 리포트는 한 번 발행되면 수정되지 않고 영구적인 기록으로 남기 때문에, 애널리스트의 역량을 증명하는 가장 확실한 원천 데이터이기 때문이다. 이번 평가를 위해 각 애널리스트별로 분기당 최소 2~3건, 총 300여 개의 리포트가 분석 대상이 됐다. 여기에 블로그·, 투자 커뮤니티, 텔레그램 등 SNS 활동 내역과 구글 뉴스 검색을 통한 언론 노출 빈도까지 수집해 입체적인 평가를 진행했다.

수집된 방대한 데이터는 AI가 정밀 분석했다. AI는 텍스트에 담긴 투자 논리의 맥락을 이해하고, 예측 시나리오와 실제 시장 흐름의 일치 여부를 검증했다. 또한 전자공시시스템(DART)의 실제 실적 데이터와 애널리스트의 추정치를 대조해 정확도를 산출했다. 다섯 개의 서로 다른 AI 모델이 각자의 전문 영역에서 교차 검증을 수행했기에, 데이터에 기반한 가장 ‘근거 중심적인 평가’ 방법론이라 할 수 있다. 

이번 AI 평가 시스템은 단순한 데이터 집계가 아닌, 막대한 리소스가 투입된 고도화 프로젝트의 산물이다. 디자인부터 포털 구축, 알고리즘 설계, 멀티 AI 연동까지 모든 과정을 새롭게 개발해야 했기 때문에 개발 난도와 규모가 상당했다. 실제로 개발된 소스 코드를 분석한 결과, 파일 수만 255개, 코딩 라인은 약 2만 줄에 달했다.

가장 난관이었던 부분은 알고리즘 설계였다. 기업 실적 발표 시점과 목표 주가 예측 시점을 정확히 매칭해 비교하는 작업이 까다로웠다. 특히 PDF 문서로 된 리포트 데이터를 AI가 인식하도록 하고, 이를 수식 데이터와 매핑해 데이터베이스(DB)를 설계하는 과정이 매우 복잡했다. 

이렇게 구축된 시스템은 5종의 AI 모델(퍼플렉시티, GPT-4, 클로드, 제미나이, 루시아)을 복합적으로 활용해 결과를 도출한다. 사람이 물리적으로 다 검토할 수 없는 방대한 양의 자료를, AI가 정교한 프롬프트에 따라 종합 분석해 결과를 냈다. 

평가 지표는 ▲목표주가 정확도(25%) ▲실적 예측 정확도(30%) ▲투자 논리 타당성(15%) ▲리스크 분석 적정성(10%) ▲SNS 주목도(10%) ▲리포트 발행 빈도(5%) ▲미디어 노출 빈도(5%)로 구성됐다. 목표주가 정확도는 ‘괴리율’ 모델을, 실적 예측 정확도는 ‘예측 오차율’ 모델을 적용했다. 각 핵심성과지표(KPI)는 100점 만점으로 수치화하여 최종 점수를 산출했다.

평가 프로세스는 유기적으로 작동했다. ‘퍼플렉시티’가 최신 리포트와 미디어 반응을 수집하면, ‘GPT-4’가 목표가와 실적 예측 정보를 추출했다. 이어 ‘클로드 3.5 Sonnet’이 논리와 리스크를 분석하고, ‘제미나이 프로’가 수치 정확도를 검증했다. 이 모든 데이터를 ‘루시아’가 가중치를 적용해 종합하고, 최종 평가 보고서까지 스스로 작성하는 방식으로 진행됐다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지