투디지트, 허깅페이스 오픈 LLM 리더보드서 세계 1위 기록 달성
[디지털데일리 이종현기자] 인공지능(AI) 기업 투디지트가 전 세계 오픈소스 대규모언어모델(LLM) 경쟁서 1위를 차지했다.
투디지트는 자연어처리 모델과 데이터셋을 개발·공유하는 오픈소스 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM 리더보드’에서 세계 최초로 평균 80점의 벽을 넘어서며 1위를 차지했다고 26일 밝혔다.
해당 대회는 LLM으로 추론, 상식, 언어 이해 종합, 환각 현상 방지, 대명사 참조, 수학 해결 등 6개 분야 테스트를 진행하는 것이 골자다. 분야별 점수 평균으로 세계 순위를 결정된다. 투디지트는 전체 평균에서 81.22점을 기록했는데, 평균 80점을 넘은 것은 투디지트가 처음이다.
투디지트는 허깅페이스에 앞서 한국지능정보사회진흥원(NIA)이 운영하는 한국어 LLM 리더보드 경쟁에 참여했다. 3월12일 국내 최초로 평균점수 60점을 넘으며 1위를 차지했고, 3월19일에는 67점으로 1위 자리를 공고히 했다.
현재 오픈 LLM 리더보드에는 다수 한국 기업들이 참여하고 있다. 모레가 78.55점으로 7위, 솔트룩스가 77.91점으로 9위다. 업스테이지 74.2점(151위), 뤼이드 71.22점(
세계 대회인 Open LLM 리더보드에서 1위를 한 투디지트는 평균 81.22점이고, 2위 ‘SALESFORCE’는 평균 80.81이다. 이 대회는 등수보다 점수가 중요하다. 기존 참가자들의 점수보다 높으면 순위가 올라가고, 점수가 낮으면 순위가 내려가기 때문이다.
현재 대한민국 주요 인공지능 기업들의 성적을 보면 ‘모레’가 78.55점으로 7위, 솔트룩스가 77.91점으로 9위이다. 업스테이지(74.2점), 뤼이드(71.22점) 등도 참여했다.
투디지트 박석준 대표는 “사업에 필요한 기술을 개발하고 세계 시장에 맞게 업그레이드하다 보면, 대회에 참여하는 것은 사치다. 하지만 대회 참여가 대한민국 AI 산업과 생태계 확장에 도움이 된다고 판단해 참여를 결정했다”고 말했다.
투디지트는 1위를 기록한 한국어 LLM에 대한 소스코드 및 데이터셋을 모두 공개하며 눈길을 끈 바 있다. 일반적으로 모델만 공개하는 것을 감안하면 파격적인 결정이다.
박석준 투디지트 대표는 “데이터를 공개하자는 것에 구성원들이 거부감을 나타냈지만 우리가 데이터를 공개하면 국내 스타트업 생태계가 한단계 발전할 수 있을 거라고 설득했다”며 “공개한다고 해도 우리를 넘으려면 더 많은 노력을 해야 할 거라고 하니 이해해 줬다”고 말했다.
투디지트 AI 랩실 관계자는 “AI 대회는 ‘우리는 이렇게 해봤다. 이걸 가지고 당신들은 어떻게 해볼래?’라고 물어보는 과정에서 함께 발전하는 것”이라며 “일부 개발자들이 기업 홍보와 투자를 받기 위해 한순간의 순위를 경쟁하는 곳이 아니다. 순위는 계속 변하게 돼 있다”고 말했다. LLM 리더보드가 의미 없는 마케팅 수단으로 전락했다는 비판에 대한 일침이다.
함영주 하나금융 회장 "글로벌 눈높이 맞는 주주환원 이행”… 홍콩서 해외 IR
2024-11-15 12:28:22[尹정부 ICT점검] 불복소송전에 송무팀 필요성↑…개인정보위 "이르면 연초 전문인력 구성"
2024-11-15 12:27:41수능지문 속 링크 들어가니 '尹퇴진집회' 안내 …"도메인 구입 후 악용"
2024-11-15 11:26:46'최대 실적'에도 웃을 수 없는 케이뱅크… 내년 초 IPO 흥행엔 여전히 의문부호
2024-11-15 11:11:03한국화웨이, 韓 ICT 산업 발전 방향 담은 백서 발간
2024-11-15 11:10:42