[디지털데일리 이나연기자] 인공지능(AI) 소프트웨어 전문기업 코난테크놀로지가 추론모드가 통합된 신규 거대언어모델(LLM) 'ENT(엔터프라이즈)-11'을 이달 선보인다고 26일 밝혔다.

신규 모델은 일반 모드와 추론 모드를 하나의 엔진에 통합한 점이 가장 큰 특징이다. 단일 모델로서 일반 질의 응답뿐만 아니라 복잡한 추론을 요구하는 작업에도 최적의 답변을 제공할 수 있도록 전환 대응한다. 일반용 모델과 추론용 모델을 별도로 제공하는 타사 모델에 비해 더 낮은 그래픽처리장치(GPU) 비용으로도 고성능 AI 서비스가 가능하다.

한국어 최적화 구조를 갖춘 것도 강점이다. 알리바바 큐웬, 메타 라마, 구글 젬마, 딥시크 등 모델 대비 한국어 토큰이 사전 학습 단계에서 더 많이 포함돼 있어 한국어 기반 질의에 대한 처리 정확도와 응답 속도 면에서 월등히 앞선다.

출시 전 진행된 자체 벤치마크에 따르면, ENT-11모델 매개변수는 32B 규모로 671B인 대형 모델 딥시크 R1 대비 약 5% 수준에 해당한다. 멀티턴 대화 및 지시를 따르는 능력을 측정하는 'MT-Bench' 평가 ▲작문 ▲역할극 ▲추론 ▲수학 ▲코딩 ▲정보 추출 ▲STEM(과학·기술·공학·수학) ▲인문학 8개 항목에서 딥시크 R1과 대등한 점수를 기록했다. 코딩 성능은 크게 앞섰다. 매개변수가 32B로 동일한 딥시크 R1모델에 비해서는 평균 4.75%p 성능이 높았다.

코난테크놀로지는 MT-Bench를 직접 번역 및 검수, 교정해 평정 결과 정확성을 증대하고, 오차를 감소시킨 'Konan MT-Bench'를 자체 구축해 신규 모델 성능을 거듭 평가했다. 그 결과 ENT-11 모델은 동일 크기 딥시크 R1 대비 평균 5.38%p 높은 성능을 기록했다. 복잡한 추론과 수학 분야에서 모두 앞섰다. ENT-11 모델 일반 모드 성능 또한 이전 모델인 'ENT-10' 대비 4.5%p 향상됐다.

한편, 모델 성능 향상은 컨텍스트 처리 능력에서도 확인된다. 기존 ENT-10 모델이 최대 16K 컨텍스트를 지원했다면, ENT-11은 최대 128K 토큰의 긴 컨텍스트까지 확장됐다. 한글 토큰 기준으로 A4 용지 128장 분량, 영어 토큰으로는 320장 분량에 달한다.

김영섬 대표는 "LLM 모델이 늘어나며 평가 방식도 다변화되는 가운데 특정 평가지표에만 과도하게 피팅돼 일부 평가에서만 성능이 좋게 나타나는 모델에 대해서는 변별력이 필요하다"고 전했다.

이어 "딥시크 R1대비 20배나 작은 모델이지만 더 나은 추론 성능을 입증했다"고 덧붙였다.