테크

비드래프트, AI 과학추론 벤치마크 GPQA Diamond서 90.9% 기록

이용우 기자

입력 2026.06.15 16:02

공유: 공유

인쇄: 인쇄

URL: URL복사

댓글: 댓글

과학추론 특화 LLM ‘Darwin-398B-JGOS’, 허깅페이스 리더보드 기준 1위
Self-Consistency·추론 시 추가 연산 없이 단일 디코딩 방식으로 성과

AI 기술기업 비드래프트가 자체 개발한 과학추론 특화 대규모언어모델로 글로벌 AI 성능 평가 지표에서 높은 성과를 기록했다.

비드래프트는 자사가 개발한 LLM ‘Darwin-398B-JGOS’가 GPQA Diamond에서 90.9%의 정확도를 기록하며 허깅페이스 공인 리더보드 기준 세계 1위에 이름을 올렸다고 밝혔다.

GPQA Diamond는 생물학, 물리학, 화학 등 과학 분야의 고난도 문제를 기반으로 구성된 벤치마크다. 단순 정보 검색이나 암기보다 심층적인 개념 이해와 추론 능력을 평가하는 지표로 활용된다.

비드래프트에 따르면 Darwin-398B-JGOS는 총 198개 문항 중 180개를 정답 처리하며 90.9%의 성적을 기록했다. 회사는 해당 결과가 Self-Consistency, Test-Time Compute 등 성능 향상 기법 없이 단일 그리디 디코딩 방식만으로 도출됐다고 설명했다.

또한 측정 환경으로 Temperature 0, 단일 샘플, 최대 1만6384토큰 등의 조건을 모델 카드에 공개해 평가의 재현성과 투명성을 확보했다고 덧붙였다.

Darwin-398B-JGOS는 비드래프트의 독자 진화형 모델 개발 플랫폼 ‘Darwin V9’를 기반으로 개발됐다. 약 4000억 개 규모의 파라미터를 갖춘 Mixture-of-Experts 구조를 채택했으며, 실제 추론 과정에서는 토큰당 약 170억 개 수준의 활성 파라미터만 활용하도록 설계됐다.

회사 측은 이를 통해 대규모 모델의 성능과 추론 효율성을 동시에 확보했다고 설명했다.

Darwin V9는 여러 사전 학습 모델에 내재된 특정 능력을 분석하고 추출한 뒤 이를 재조합하는 방식이 특징이다. 비드래프트는 추론, 코딩, 언어 처리 등에 특화된 모델들의 신경망 구조를 계층 단위로 분석하고, 필요한 기능을 선별적으로 결합함으로써 대규모 재학습 없이 목적에 맞는 고성능 모델을 구현할 수 있다고 밝혔다.

비드래프트는 차세대 파운데이션 모델 ‘AETHER’도 개발 중이다. AETHER는 서로 다른 특성을 가진 다수의 어텐션 메커니즘을 결합한 이종 어텐션 구조를 기반으로 한다. 장거리 추론, 국소 패턴 처리, 선형 시퀀스 연산 등 다양한 특성을 하나의 모델 안에서 구현하는 것을 목표로 한다.

회사 측은 현재 관련 기술 특허 8건을 보유하고 있으며, AETHER를 차세대 AI 아키텍처 연구의 핵심 프로젝트로 육성하고 있다고 설명했다.

오픈소스 생태계에서도 Darwin 계열 모델의 활용 범위는 확대되고 있다. 비드래프트 자체 집계에 따르면 2026년 6월 기준 Darwin 기반 및 파생 모델은 700종 이상으로 늘었으며, 누적 다운로드 수는 100만 회에 근접했다.

국내에서도 관련 성과가 이어지고 있다. 비드래프트가 개발한 한국어 특화 LLM ‘JGOS-31B-Citizen’은 과학기술정보통신부와 한국지능정보사회진흥원이 운영하는 K-AI 리더보드에서 종합 1위를 기록했다. 회사 측은 상위 12개 모델 중 8개가 Darwin 계열 모델로 나타나 플랫폼의 확장성을 보여주고 있다고 설명했다.

비드래프트는 서울AI허브 입주기업으로, 정부 첨단 GPU 지원 사업과 정보통신산업진흥원의 AI 컴퓨팅 활용 사업 등에 선정돼 연구개발 인프라를 확보하고 있다.

김민식 비드래프트 대표는 “이번 성과는 별도의 점수 보정 기법 없이 모델 자체의 추론 능력만으로 달성한 결과라는 점에서 의미가 있다”며 “앞으로 과학, 산업, 행정, 신약 개발 등 다양한 분야에서 실제 활용 가능한 문제 해결형 AI 기술 개발을 지속해 나갈 것”이라고 말했다.

한편 비드래프트는 진화형 모델 개발 플랫폼 Darwin과 독자 AI 아키텍처 AETHER를 기반으로 과학추론 모델, 산업 특화 AI, 한국어 LLM, 공공 서비스형 AI 등을 개발하고 있으며, 관련 기술의 산업 현장 적용 확대에 주력하고 있다.