카카오, AI 언어모델 성능평가 데이터셋 구축·공개…韓 기업 최초
[디지털데일리 이나연기자] 카카오가 인공지능(AI) 언어모델 펑션콜(함수호출) 성능을 평가할 수 있는 데이터셋을 구축했다. 한국어 기반 관련 데이터셋을 마련해 대외 공개한 것은 국내 정보기술(IT) 기업 중 카카오가 처음이다.
카카오는 펑션콜 기술의 고도화를 위해 한국어 대화 환경에서 성능을 다면적으로 평가할 수 있는 ‘펑션챗-벤치(FunctionChat-Bench)’ 데이터셋을 구축, 이를 지난 23일 오픈소스 커뮤니티 깃허브(GitHub)에 공개했다고 27일 밝혔다. 향후 해당 데이터셋 규모를 늘리고 영어 버전을 추가하는 등 사용성을 지속 확장할 계획이다.
펑션콜은 AI 언어모델이 자체적으로 수행할 수 없는 동작을 지시하거나 사전에 학습하지 않은 정보를 실시간 정보를 받아올 수 있도록 언어모델과 응용프로그램 인터페이스(API) 등 외부 도구를 연결하는 기술을 뜻한다.
언어모델을 기반으로 하는 서비스 구현에 있어 필수적으로, 언어모델이 가진 한계를 해결해 새로운 기능으로 확장할 수 있다. 예를 들어, 모델에 펑션콜 기능을 활용해 지도 등 특정 API를 연결하면 실시간 도로 정보를 호출해 답변할 수 있게 된다.
데이터셋은 ▲함수 이름과 인자 추출 정확성 ▲함수 호출 결과 전달 정확성 ▲누락 정보 인지를 통한 추가 질의 발생 여부 ▲호출 가능한 함수와의 관련성 감지 등을 평가하는 기준 항목으로 구성된다.
타사 데이터셋이 주로 언어 모델의 정확한 함수 호출 메시지 생성 중심으로만 구축된 것에 비해, 카카오가 구축한 이번 데이터셋은 함수 호출 전후에 요구되는 사용자와의 적절한 상호 작용 메시지 생성 능력까지 평가 영역으로 포함했다.
김병학 카카오 카나나 알파 성과리더는 “이번 펑션챗-벤치 데이터셋 구축 및 오픈소스 공개는 한국어 기반의 국내 AI 기술 생태계에 기여할 수 있는 의미를 지닌다”며 “펑션콜 기술 성능 평가 토대를 처음으로 마련한 만큼, 꾸준히 데이터셋 활용성을 높이기 위해 노력할 계획”이라고 말했다.
NHN “페이코, 티메프사태 피해 1300억원 규모”...대표 사퇴, 비상경영체제 돌입
2024-09-27 19:13:49국내 통신비, 해외보다 비쌀까?…“韓 차원 비교·분석 필요”
2024-09-27 18:13:42“AI로 맞춤 제품 추천” 폴라리스AI, 뷰티기업 앤드원코퍼레이션과 업무협약
2024-09-27 17:45:00HNB프로토콜, FZF 벤처스와 전략적 투자 유치 및 업무 협약 체결
2024-09-27 17:18:17"AI 시대, 안전한 개인정보 활용체계 필요" 개인정보위, 프랑스 기관과 정책협력 강화
2024-09-27 17:00:00