[이코노미스트 정길준 기자] 멀티모달 영상 이해 인공지능(AI) 기업 트웰브랩스가 로봇 및 피지컬 AI 학습에 필요한 1인칭 영상 가공 절차를 자동화하는 비전언어모델(VLM)을 선보였다.

트웰브랩스는 로봇과 휴머노이드가 사람의 경험을 학습할 수 있도록 돕는 신규 VLM ‘페가수스 1.6’을 공식 출시했다고 7일 밝혔다.

이 모델은 사람이 액션캠이나 스마트 글래스를 착용하고 촬영한 1인칭 시점 영상인 ‘에고센트릭 데이터’의 이해 능력을 강화했다. 그동안 로봇 학습에 필요한 1인칭 영상은 사람이 일일이 구간을 나누고 수작업으로 설명(라벨)을 붙여야 해 시간과 비용이 들었지만, 페가수스 1.6은 영상 속 작업자의 행동과 사용 도구, 전후 맥락을 자동으로 분석해 구조화된 학습 데이터로 빠르게 바꿔준다.

데이터 정제 과정 자동화

페가수스 1.6은 실제 로봇 학습 데이터 구축을 자동화하기 위해 다섯 가지 핵심 기능을 제공한다. ▲작업 단계를 구별해 라벨을 붙이는 ‘행동 분할 및 라벨링’ ▲공간과 상황을 상세히 설명하는 ‘상세 캡션 라벨링’ ▲저품질 영상을 걸러내는 ‘품질 평가’ ▲자연어로 원하는 장면을 찾는 ‘검색 및 큐레이션’ ▲얼굴이나 민감정보를 파악하는 ‘개인정보 및 컴플라이언스 탐지’ 등이다.

특히 시간 기반 메타데이터(TBM) 기능을 활용해 로봇 학습에 필수적인 ‘특정 행동이 일어난 정확한 시점’과 맥락을 사용자가 원하는 형태로 정리해준다. 또 손과 물체, 도구를 영상 전체에서 식별하는 개체 인식 성능을 높여 대규모 영상 분석 속도를 개선했다.

미국 로보틱스 기업서 검증

이미 현장 적용도 이뤄지고 있다. 공장 현장 영상을 수집하는 미국의 한 로보틱스 학습 데이터 기업은 페가수스 1.6을 도입해 불량 데이터를 가려내고 상세 설명을 자동으로 추가하고 있다. 이를 통해 하루 수십만 시간 분량의 영상을 로봇 학습용 데이터로 가공 중이다.

트웰브랩스는 기존 미디어·엔터테인먼트 중심의 영상 이해 기술을 로봇 및 피지컬 AI, 제조 현장 등 산업 전반의 AX(AI 전환) 영역으로 확대해 나갈 방침이다.

이재성 트웰브랩스 최고경영자(CEO)는 “페가수스 1.6은 현실 세계의 영상을 구조화된 지식으로 바꿔 피지컬 AI와 로보틱스 기업들이 인간의 실제 경험을 학습에 활용하도록 도울 것”이라고 말했다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지