[디지털데일리 김문기 기자] Arm(대표 르네 하스)은 최근 Arm 클레이디(Kleidi) 기술을 파이토치(PyTorch) 및 엑스큐토치(ExecuTorch)와 통합해 차세대 앱이 Arm CPU에서 대규모 언어 모델(LLM)을 실행할 수 있도록 지원한다고 30일 발표했다.

알렉스 스피넬리(Alex Spinelli) Arm 개발자 기술 부문 부사장은 “Arm은 소프트웨어 개발자가 Arm 기반 하드웨어에서 가속화된 AI와 ML 워크로드를 쉽게 구현할 수 있는 환경을 조성하기 위해 선도적인 클라우드 서비스 제공업체 및 프레임워크와 긴밀히 협력하고 있다”며, “클레이디는 출시된 지 불과 4개월 만에 이미 개발을 가속화하고 Arm CPU에서 주요 AI 성능 향상을 실현하고 있으며 Arm과 파이토치 커뮤니티와의 긴밀한 협력은 해당 기술이 개발자가 효율적인 AI를 활용하는 데 필요한 노력을 대폭 줄여주는 좋은 예”라고 말했다.

클라우드에서 클레이디는 Arm 컴퓨팅 라이브러리(ACL)를 통해 파이토치를 개선한 Arm의 기존 작업을 기반으로 모든 곳에서 Arm의 AI를 최적화 시켜준다. Arm은 파이토치 및 텐서플로우와 직접 파트너십을 맺고 이러한 주요 프레임워크에 직접 통합된 필수 Arm 커널(kernels)로 구성된 Arm 클레이디 라이브러리를 통합했다.

즉, 애플리케이션 개발자는 새로운 프레임워크 버전이 출시되는 즉시 Arm을 기반으로 구축하기 위한 추가 단계를 거치지 않아도 된다.

메타 라마3 대규모 언어 모델에 기반하며 AWS 그라비톤(Graviton) 프로세서에서 실행되는 Arm의 데모 챗봇은 메인라인 파이토치에서 처음으로 실시간 채팅 응답을 지원한다. AWS 그라비톤에서 측정한 기준 기준, 클레이디 기술을 오픈 소스 파이토치 코드베이스에 통합한 후 첫 토큰 생성 시간이 2.5배 단축됐다. ACL을 통해 제공되는 클레이디 기술을 효율적으로 활용하기 위해 torch.compile에 최적화를 적용한 결과, 다양한 허깅페이스(Hugging Face) 모델 추론 워크로드에서 AWS 크라비톤 성능이 1.35배에서 최대 2배까지 향상됐다는 게 Arm의 설명이다.

이 클라우드 사례는 Arm에서 ML 워크로드를 보편화하기 위해 노력하면서 실현 가능한 성능 가속화의 유형을 나타낸다. Arm은 개발자가 즉시 활용할 수 있도록 새로운 기능을 이전 버전과 호환되도록 하는 등 개발자의 AI 앱이 클라우드부터 엣지까지 자사 기술에서 최상의 성능을 발휘할 수 있도록 지속적으로 투자하고 있다.

한편, 최근 Arm은 파이토치 재단에 프리미어 멤버로 합류했다. Arm은 엔드투엔드 AI의 잠재력을 최대한 발휘하여 전 세계 개발자들이 최첨단 AI 및 애플리케이션 기능을 개발할 수 있도록 지속적으로 지원하고 있다.