e비즈*솔루션

‘한국어 LLM 리더보드’ 업그레이드된다…추론 지표 추가

디지털데일리 발행일 2024-06-11 10:56:11
  • 가
  • 가
권하영 기자
[Ⓒ NIA]
[Ⓒ NIA]

[디지털데일리 권하영기자] 한국지능정보사회진흥원(원장 황종성, 이하 NIA)은 업스테이지와 공동 운영하는 ‘오픈 Ko-LLM 리더보드’에 평가 지표를 추가해 업그레이드한다고 11일 밝혔다.

‘오픈 Ko-LLM 리더보드’는 지난해 9월 민관 협업을 통해 개설돼 학계 및 업계 다양한 참여자들로부터 큰 관심을 받고 있다. 지난 5월 말까지 참여한 거대언어모델(LLM) 모델 수는 1500개를 넘어섰고, 최고 점수는 70.7점을 기록했다. 이는 세계적으로 인정받는 허깅페이스의 LLM 리더보드(최고점 81.2점)에 근접한 수치다.

NIA와 업스테이지는 오픈 Ko-LLM 리더보드의 지속적인 발전과 개선을 위해 우선 추론 관련 지표를 추가해 운영할 계획이다. 추가 지표는 AI 언어 데이터 전문 기업인 플리토가 참여해 한국어에 맞는 번역 및 개발을 지원했다.

이번에 추가하는 지표는 허깅페이스의 오픈 LLM 리더보드에서 사용되는 평가지표 중 ‘추론 능력(Winogrande, 글 속 대명사 추론 능력)’ 및 ‘산출 추론 능력(GSM8K, 산술 연산 분야 추론능력)’ 두 개 지표다. 해당 지표를 한국어에 맞게 적용함으로써, 한국어 모델의 성능 평가 체계를 국제 평가 기준과 대등한 수준으로 끌어올릴 방침이다.

이번 업그레이드는 6월부터 적용되며, AI허브 사이트의 리더보드 메뉴에서 확인할 수 있다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
권하영 기자
kwonhy@ddaily.co.kr
기자의 전체기사 보기 기자의 전체기사 보기
디지털데일리가 직접 편집한 뉴스 채널

당신이 좋아할 만한 뉴스

많이 본 기사

연재기사

실시간 추천 뉴스