IT 일반
노타, AI 에이전트 작업 시간 최대 47%·토큰 60% 줄인 최적화 기술 공개
- ‘하네스’ 제어로 불필요한 추론·재검토 축소
코딩 에이전트부터 기업용 AI 서비스까지 순차 확대
[이코노미스트 정길준 기자] 인공지능(AI) 추론 효율화 기업 노타가 모델 경량화와 그래픽처리장치(GPU) 최적화를 넘어 AI 에이전트의 실행 흐름까지 제어해 작업 시간과 연산 자원을 줄이는 기술을 선보였다.
노타는 AI 에이전트의 작업 흐름을 제어하는 ‘풀스택 최적화’ 기술을 공개했다고 18일 밝혔다. 동일한 AI 모델과 GPU 환경에서 코딩 에이전트 ‘클라인’ 기본 구성 대비 작업 시간을 최대 47%, 출력 토큰을 최대 60% 줄여 별도 장비 증설이나 모델 교체 없이 기존 인프라 활용 효율을 높였다.
AI 에이전트가 코드 작성과 오류 수정 등 실제 업무에 쓰이면서 문제 해결 능력과 함께 작업 시간과 자원 관리가 기업들의 과제로 떠올랐다. 에이전트는 하나의 요청을 처리하는 동안 모델 호출과 도구 사용, 결과 확인을 반복하기 때문에 불필요한 추론과 재검토가 쌓이면 사용자 대기시간과 연산 부담이 커진다.
노타는 기존 모델 경량화·하드웨어별 추론 최적화·GPU 커널 최적화에 이어 에이전트의 추론·검증·도구 호출 방식까지 조정하는 방식으로 최적화 범위를 넓혔다. 새로 적용한 기술은 에이전트 작업 흐름을 관리하는 ‘하네스’ 최적화다. 최근 응답 길이와 파일 수정 이력, 도구 실행 결과 등을 분석해 상황에 맞는 추론 강도를 선택한다. 이미 통과한 검증이나 불필요한 재검토를 반복하는 행동도 줄여 필요한 단계에 연산 자원을 집중하도록 설계했다.
모델 답변 생성 과정과 GPU 계산 처리도 개선했다. ‘D플래시2 기반 추측 디코딩’에 반복 문맥을 재사용하는 기술을 적용해 본 모델이 받아들이는 예측 비율을 높였다. GPU에서 주요 계산을 수행하는 코드인 ‘커널’은 하드웨어 특성에 맞춰 조정하고, 여러 GPU가 빠른 실행 설정을 공유하도록 해 중복 조정(튜닝)과 대기 부담을 낮췄다.
노타는 동일한 AI 모델과 엔비디아의 전문가용 GPU ‘RTX 프로 6000’ 4장을 사용하는 환경에서 자체 성능 평가를 진행했다. 오픈소스 코딩 에이전트 ‘클라인’ 기본 구성을 비교 기준으로 삼고, 명령어 기반 작업 수행 능력을 평가하는 ‘터미널-벤치 2.1’과 다양한 프로그래밍 언어의 소프트웨어 오류 수정 능력을 평가하는 ‘SWE-벤치 다국어’를 활용했다.
평가에서는 모델 추론과 GPU 커널 최적화를 공통 적용한 뒤 하네스 제어 범위에 따라 ‘패스트’와 ‘울트라 패스트’ 두 모드를 비교했다. 작업 상황에 맞춰 추론 강도를 조절하는 패스트 모드는 두 평가에서 문제 해결률을 높이거나 유사하게 유지하면서 작업 시간을 최대 32%, 출력 토큰을 최대 42% 줄였다.
반복 검증과 불필요한 재검토까지 줄이는 울트라 패스트 모드는 작업 시간을 최대 47%, 출력 토큰을 최대 60% 단축했다. 소프트웨어 오류 수정 평가에서는 문제 해결률이 비교 기준인 65.7%에서 62.0%로 낮아져 작업 유형과 최적화 수준에 따라 처리 효율과 해결률에 차이가 나타났다.
노타는 이번 기술을 코딩 에이전트를 시작으로 기업용 AI 에이전트와 다양한 생성형 AI 서비스로 확대할 계획이다.
김태호 노타 최고기술책임자(CTO)는 “AI 에이전트가 실제 업무에 도입될수록 모델의 단순 추론 속도보다 하나의 작업을 완료하는 데 필요한 시간과 연산 비용이 더욱 중요해진다”며 “노타는 모델과 GPU 최적화를 넘어 에이전트의 추론과 검증 과정까지 함께 최적화해 동일한 인프라에서 더 많은 AI 업무를 처리할 수 있도록 기술 범위를 확대하고 있고, 향후 다양한 기업용 AI 에이전트와 서비스 환경으로 적용을 확대해 고객의 AI 운영 비용을 낮추고 최적화 소프트웨어 사업 영역도 넓혀갈 것”이라고 말했다.
ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지






당신이 좋아할 만한 기사
브랜드 미디어
브랜드 미디어
신라젠, 항암바이러스 ‘SJ-650’ 국가신약개발사업 선정…비임상 진입 추진
바이오 성공 투자, 1%를 위한 길라잡이팜이데일리
이데일리
일간스포츠
[공식] 임형준, 송은이 품 떠난다... 미디어랩시소와 3년 만에 결별
대한민국 스포츠·연예의 살아있는 역사 일간스포츠일간스포츠
일간스포츠
일간스포츠
월가 ‘고객사 돈줄’ 질문세례…엔비디아 크레스 “우린 해낼 수 있다”(종합)
세상을 올바르게,세상을 따뜻하게이데일리
이데일리
이데일리
[마켓인]고려아연 분쟁, 법정서도 장기전…엇갈리는 판결에 복잡해진 셈법
성공 투자의 동반자마켓인
마켓인
마켓인
아리바이오 알츠하이머 신약 3상 엇갈린 평가...추가 임상 가능성도 제기
바이오 성공 투자, 1%를 위한 길라잡이팜이데일리
팜이데일리
팜이데일리