-장시간 업무서 상태 유지·결과 예측하는 AI 에이전트 연구…‘Jina’ AssistantBench 공동 1위
-영상 기반 물리추론 모델 ‘Loka-1’ 공개…환경 인식 넘어 시간·인과관계 이해로 기술 고도화

미국 AI 스타트업 Om Labs의 공동창업자 겸 최고기술책임자(CTO) 김건우가 거대언어모델(LLM) 이후 차세대 AI 에이전트의 핵심 기술로 ‘월드모델(World Model)’을 주목하고 관련 기술 개발을 확대하고 있다.

월드모델은 AI가 주변 환경의 현재 상태를 내부적으로 표현하고 새로운 관찰을 반영해 이를 갱신하면서, 특정 행동 이후 어떤 변화가 발생할지를 예측하는 기술이다. 텍스트를 이해하고 생성하는 데서 나아가 실제 환경과 행동의 결과까지 파악하는 것이 목표다.

김 CTO는 AI 에이전트가 실제 업무를 안정적으로 수행하려면 언어 이해 능력뿐 아니라 현재 상황을 기억하고 행동에 따른 결과를 예측하는 능력이 필요하다고 보고 있다.

특히 여러 단계로 구성된 업무를 장시간 수행할수록 AI가 작업 과정의 ‘상태’를 일관되게 유지하는 능력이 중요하다는 설명이다. 현재 언어모델 기반 에이전트는 단계마다 문맥을 토대로 상황을 다시 판단하기 때문에 긴 작업에서는 정보나 판단의 일관성이 떨어질 수 있다.

월드모델은 환경의 변화를 지속적으로 반영해 이러한 한계를 보완하고, 장기적인 계획 수립과 행동 수행을 지원하는 기술로 활용될 수 있다는 것이 김 CTO의 설명이다.

이 같은 연구 방향은 Om Labs가 개발하고 있는 AI 에이전트와도 연결된다. Om Labs는 기존 소프트웨어 환경에서 여러 단계의 업무를 자율적으로 수행하는 이른바 ‘AI 직원(AI employees)’ 개발에 초점을 맞춘 응용 AI 기업이다.

김 CTO가 개발을 이끈 AI 에이전트 ‘Jina’는 장시간 웹 리서치 능력을 평가하는 ‘AssistantBench’에서 42.10%의 정확도로 공식 리더보드 공동 1위를 기록했다. AssistantBench는 여러 웹사이트에서 정보를 수집하고 작업 과정의 문맥을 유지하면서 최종 결과를 도출하는 능력을 평가하는 벤치마크다.

소프트웨어 화면을 인식하는 연구에서도 성과를 냈다. 김 CTO와 Om Labs 공동창업자 크리시 첼리카바다가 개발한 ‘Zoom Consistency’ 기반 시스템은 지난 4월 ‘ScreenSpot-Pro’에서 정확도 80.9%를 기록하며 발표 당시 리더보드 1위에 올랐다.

ScreenSpot-Pro는 Photoshop, Excel, AutoCAD, Visual Studio Code 등 29개 전문 애플리케이션을 대상으로 AI가 사용자의 지시에 해당하는 화면 요소를 정확하게 찾아낼 수 있는지를 평가한다. 연구진은 별도의 추가 모델 학습 없이 기존 추론 과정에서 생성되는 정보를 활용해 AI 판단의 신뢰도를 추정하는 방식을 제안했다.

최근에는 관련 연구 범위를 월드모델 기반 물리추론으로 확대하고 있다. Om Labs가 공개한 ‘Loka-1’은 영상 속 장면을 인식하거나 설명하는 데 그치지 않고 현재 상태와 시간적·인과적 관계를 바탕으로 이후 발생할 상황을 예측하도록 설계됐다.

회사 측에 따르면 Loka-1은 Meta AI Research의 영상 기반 물리추론(Physical Reasoning from Video) 평가에서 IntPhys 2, MVPBench, CausalVQA 등 3개 벤치마크에 결과를 제출해 상위권 성능을 기록했다.

김 CTO는 차세대 AI 에이전트의 경쟁력이 단순히 ‘무엇을 보고 있는가’를 이해하는 수준을 넘어 ‘다음에 무엇이 일어날 것인가’를 예측하는 능력에서 결정될 것으로 보고 있다.

김 CTO는 “앞으로의 AI는 ‘다음에 무슨 말을 할 것인가’를 넘어 ‘내가 이렇게 행동하면 세상이 어떻게 달라질 것인가’를 예측할 수 있어야 한다”고 말했다.

AI 활용 범위가 챗봇에서 실제 업무를 수행하는 에이전트로 확대되면서 환경을 이해하고 작업 상태를 유지하며 행동 결과까지 예측하는 기술이 차세대 AI 에이전트 개발의 주요 연구 영역으로 부상하고 있다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지