트웰브랩스, 영상 AI ‘페가수스‧마렝고’ 업데이트 공개
[디지털데일리 이종현기자] 영상 인공지능(AI) 기업 트웰브랩스는 자사 AI 모델의 신규 업데이트를 출시했다.
트웰브랩스는 AI 영상 언어 생성 모델 ‘페가수스’와 멀티모달 영상 이해 모델 ‘마렝고 2.6’을 업데이트했다고 14일 밝혔다.
페가수스는 AI 영상언어 생성 모델로, 작년 11월 정식 공개됐다. 영상에 대한 요약, 하이라이트 생성 등 영상 기반 텍스트 생성 기능 등을 선보인 바 있다. 이번 업데이트로 영상에 관해 궁금한 점들을 질문하면 답을 해주는 영상 질의응답 성능이 향상됐다.
기존 모델은 홈페이지 내 대기자 명단 등록을 통해서만 사용 가능했던 반면 이번 업데이트부터는 일반 대중에게 공개돼 누구나 페가수스 모델에 접근 및 활용 가능하다. 유료 버전의 경우 대량의 영상 활용이 필요한 기업 및 개발자들에게 제공된다.
마렝고는 영상뿐 아니라 이미지, 음성까지 아우르는 멀티모달 기반 모델이다. 트웰브랩스가 자체 진행한 내부 테스트 결과 최근 구글이 공개한 ‘비디오프리즘(VideoPrism)’ 모델보다도 높은 성능을 기록했다. 기존 모델에 비해 행동이나 방향성 등을 인지하는 모션 이해 인지 기능이 강화됐다.
비공개 베타 버전에서는 음성 및 이미지 이해 성능이 강화돼 텍스트 투 오디오(Text-to-Audio), 오디오 투 비디오(Audio-to-Video), 텍스트 투 이미지(Text-to-Image), 이미지 투 비디오(Image-to-Video) 작업 수행이 가능해졌다.
트웰브랩스 이재성 대표는 “트웰브랩스의 모델은 영상 이해에 특화돼 오픈AI의 소라, 구글 제미나이가 제공하는 영상 생성과는 차이가 있다”며 “페가수스 및 마렝고 모델은 영상 언어 모델들로는 수행 불가한 세밀한 수준의 작업까지 지원하는 만큼 영상 이해 기술을 핵심 산업들에 최적화하여 본격적인 확산을 추진하겠다”고 말했다.
[DD퇴근길] 현대차, KT 최대주주로…공공 SaaS 활성화 시동
2024-09-19 17:43:48내 아이 경기, 앱으로 본다…스카이라이프, 新 '스포츠 중계' 시장 포문(종합)
2024-09-19 17:37:25코빗 리서치센터, ‘가상자산의 제도권화와 향후 과제’ 보고서 발간
2024-09-19 17:36:01산업은행 노조, ‘천막 농성’ 돌입… 부산이전 반대·불법 조직개편 중단 ‘촉구’
2024-09-19 17:35:37“딥페이크 정의 명확히 해야…규제는 신중히, 다각도로”
2024-09-19 17:30:12