e비즈*솔루션

한국어 LLM 리더보드 시즌2 시작…추론·감성이해 등 전면 개편

디지털데일리 발행일 2024-08-12 11:19:53
  • 가
  • 가
권하영 기자
[Ⓒ NIA]
[Ⓒ NIA]

[디지털데일리 권하영기자] 한국지능정보사회진흥원(NIA)은 업스테이지와 공동 운영하는 ‘Open Ko-LLM 리더보드’를 시즌2로 전면 개편했다고 12일 밝혔다.

‘Open Ko-LLM 리더보드’는 2023년 9월 민관협력을 통해 개설된 국내 최대 개방형 한국어 거대언어모델(LLM) 평가 체계로, 산·학·연 각계 분야에서 7월 말 기준 1700개가 넘는 LLM 모델이 제출돼 경쟁하고 있다.

하지만 LLM 기술이 빠르게 발전함에 따라 1년 전에 만들어진 리더보드 벤치마크(평가지표)의 개선 필요성이 대두됐다. 글로벌 ‘Open LLM 리더보드’를 운영 중인 허깅페이스 또한 지난 6월에 벤치마크를 새로 개편한 리더보드 시즌2를 공개한 바 있다.

이에 NIA와 업스테이지는 이날부터 새로운 성능 평가지표를 적용한 ‘Open Ko-LLM 리더보드 시즌2’ 운영을 시작한다.

시즌2에서는 기존에 운영되던 벤치마크들을 전면 폐지하고, AI 데이터 전문 기업인 ‘플리토’와 ‘셀렉트스타’, ‘KAIST AI대학원’이 참여해 ▲추론능력 지표 ▲감성 지표 ▲무해성 지표 등 9개의 새로운 벤치마크를 구축·적용한다.

이에 따라 시즌1에 제출됐던 모든 모델을 포함해 향후 제출되는 모든 LLM은 신규 벤치마크를 통해 평가된다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지
권하영 기자
kwonhy@ddaily.co.kr
기자의 전체기사 보기 기자의 전체기사 보기
디지털데일리가 직접 편집한 뉴스 채널

당신이 좋아할 만한 뉴스

많이 본 기사

연재기사

실시간 추천 뉴스