[디지털데일리 이건한 기자] 영상이해 초거대 AI 개발 기업 트웰브랩스가 오는 12월 '뉴립스(NeruIPS) 2024'에서 한국 스타트업 중 처음으로 영상언어모델 워크숍을 주최한다고 20일 밝혔다.

뉴립스는 국제머신러닝학회(ICML), 국제표현학습학회(ICLR)과 함께 세계 3대 AI 학회로 꼽힌다. 논문 채택률이 약 26%에 불과할 정도로 기준이 엄격하다. 트웰브랩스가 이번에 주최하는 워크숍 주제인 영상언어모델은 전세계에 존재하는 방대한 양의 영상 데이터를 효과적으로 처리 및 활용하는 AI다. 영상검색과 콘텐츠 제작, 보안 감시 및 로봇공학 등 전 산업 분야에 적용할 수 있다.

워크숍에서는 ▲텍스트 및 이미지 데이터 대비 부족한 영상 데이터 ▲방대한 영상 데이터 처리 방법 ▲시각, 음성, 시간, 텍스트 등 다양한 데이터가 혼재된 영상 데이터의 특성을 반영한 모델 설계 ▲영상-언어 모델 평가 및 비교 등 다양한 논의가 오갈 예정이다.

뉴립스에서 영상-언어 모델워크숍이 개최되는 것은 처음이다. 이는 LLM(거대언어모델)에서 영상언어모델로 AI 모델에 대한 관심의 전환이 이뤄지고 있음을 의미한다.

트웰브랩스는 전 세계에서 영상언어모델을 가장 빠르게 개발 및 상용화한 기업이자 글로벌 AI 산업 내 선도 기업으로 인정받아 워크숍 주최자로 선정됐다. 이승준 트웰브랩스 CTO(최고기술책임자)는 네이버AI랩, 마이크로소프트, 애플, AI2 등과 함께 워크숍 주최자로 참가한다. 또한 디나 데이먼 구글 딥마인드 시니어 리서치 사이언티스트, 커스틴 그라우만 텍사스 대학교 오스틴 컴퓨터공학 교수, 이샨미스라 메타 영상생성 리드 등 주요 석학들도 연사로 참가한다.

트웰브랩스는 창업 초기부터 영상 AI 분야의 잠재력을 예측하고 멀티모달 기술 기반 영상이해 초거대 AI모델을 개발해왔다. 트웰브랩스의 초거대 AI 영상 언어 생성 모델 '페가수스(Pegasus-1)'와 멀티모달 영상이해 모델 '마렝고(Marengo 2.6)'는 구글, 오픈AI 등 상용 및 오픈소스 영상 언어 모델과 비교해 최대 43%가량 성능 우위를 보이는 등 영상이해 기술에서 앞선 경쟁력이 입증된 바 있다.

이를 바탕으로 지난 6월 뉴엔터프라이즈어소시에이트와 엔비디아의 자회사인 엔벤쳐스 등 글로벌 유력 투자사로부터 5000만달러(약 700억 원) 규모의 시리즈 A 투자를 유치했다. 지금까지 트웰브랩스의 누적 투자 금액은 약 7700만 달러(약 1060억 원)에 달한다.

이재성 트웰브랩스 대표는 "세계 최고 권위 학회인 뉴립스에서 영상-언어 모델 워크숍을 주최하게 된 것은 트웰브랩스의 기술력과 비전이 글로벌 AI 커뮤니티에서 인정받았다는 의미"라며 "트웰브랩스는 이번 워크숍에서 전 세계 최고의 AI 연구자들과 영상 AI 기술의 현재와 미래를 조망하고 본격적인 멀티모달 인텔리전스 시대를 열어갈 것"이라고 말했다.