효성인포메이션시스템 데이터사업팀 김서환 프로

생성형 인공지능(AI) 챗GPT는 지난 한 해를 뜨겁게 달군 최대 화두였다. 각 기관이 발표한 2024년 정보기술(IT) 트렌드를 보면, 모든 예측 자료가 생성형 AI의 전성시대를 예고하고 있으며, 기업들도 발전적인 AI의 힘에 주목하기 시작했다. 글로벌 컨설팅 기업 맥킨지(McKinsey)는 생성형 AI에 전 세계적으로 수조 달러가 투자될 것으로 전망했다.

이러한 변화는 하루아침에 이루어진 것은 아니다. 현재 사용할 수 있는 엄청난 양의 컴퓨팅과 고객 지원을 가능하게 하는 챗GPT 뒤에는 대규모 언어 모델(LLM)과 같은 강력한 아키텍처가 존재한다. 그리고 모든 것은 데이터에서 시작되었다. 사용할 수 있는 데이터가 폭증함에 따라 새로운 모델의 신속한 개발이 가능해졌고, 새로운 가능성을 끊임없이 열어가는 시대를 살아가게 된 것이다.

모두가 주목하고 있는 생성형 AI와 같은 새로운 여정을 위해서는 기업의 패러다임 전환이 중요하다. 어디서나 데이터를 활용하고, 어디서나 AI를 생성할 수 있도록 고성능 데이터 플랫폼을 기반으로 데이터 운영의 혁신이 무엇보다 필요하다.

◆고성능을 요구하는 데이터 레이크=생성형 AI, 대규모 언어 모델(LLM)에 대한 기업의 관심이 높아지면서 AI 모델 학습을 위한 고성능 데이터 레이크 인프라가 부상하고 있다. AI 모델을 학습하기 위해서는 데이터 수집, 전처리, 모델 생성, 평가, 아카이빙 등의 여러 단계를 거친다. 이 과정에서 전수 데이터를 읽으며 상당한 디스크 입출력(IO)이 일어난다. NVMe 플래시는 개별 속도는 빠르지만 데이터를 찾아 GPU로 이동시키는 것이 느리다면 전반적인 시스템 속도는 현저히 떨어질 수밖에 없다.

AI 시스템에 고속으로 정확하게 데이터를 공급하고 분석하려면 서버 외 스토리지나 네트워크도 고성능을 갖춰야 한다. 특히 스토리지는 고속 처리를 위해 하드디스크보다 NVMe 플래시와 방대한 양의 데이터를 고성능으로 저장하기 위한 병렬 분산 파일 시스템이 권장된다.

추가적으로 고려할 중요한 사항은 비용 효율적인 저장소의 아키텍처다. 오브젝트 스토리지와의 통합된 아키텍처 구성은 차세대 고성능 데이터 레이크 저장소로 적합하다. 딥러닝은 하나의 데이터셋을 잘게 쪼개 사용하기 때문에 작은 IO 요청이 빈번하게 일어난다. 이 때문에 높은 IOPS(초당 입출력 횟수)가 요구되며 저장소 역시 메타정보 오버헤드를 최소화하는 구조여야 한다.

흔히 고성능 컴퓨팅(HPC) 환경에서는 GPU만 도입하면 된다고 생각하기 쉽다. 그러나 AI 모델을 학습할 때 방대한 양의 데이터 IO가 필요하고, 재학습하면서 무수한 데이터를 받아들이는 과정이 반복된다. 이는 결국 스토리지의 병목 현상을 발생시킨다. 즉, 스토리지 성능이 탄탄해야 완벽한 HPC 환경을 구현할 수 있다. 실제로 기업들은 초기에는 GPU나 네트워크 부분에 주로 투자했지만, 이제는 모든 인프라의 원활한 흐름을 위해 이에 적합한 고성능 스토리지를 도입하려는 수요가 많아지고 있다.

효성인포메이션시스템이 제공하는 ‘HCSF(Hitachi Content Software for File)’는 병렬 파일 시스템과 오브젝트 스토리지가 통합된 파일 스토리지다. HCSF는 오브젝트 스토리지의 가용량과 클라우드 기능을 갖추면서도 분산 파일 시스템 속도를 제공한다.

멀티 프로토콜을 지원해 데이터 수집이 편리하다. 특히 정책 기반 티어링 파일 시스템 운영으로 비용 효율적으로 데이터를 관리할 수 있다. NVMe 기반의 병렬 처리 시스템은 PB(페타바이트) 이상의 데이터 저장에 있어 데이터를 찾기 위한 메타데이터 서버의 역할이 성능에 가장 중요한 역할을 한다. 또한, 대부분의 데이터가 초기에는 많은 IO를 요구하지만 시간이 지날수록 액세스 빈도가 급격히 낮아진다.

따라서 병렬 처리 시스템의 확장에 따른 메타데이터 서버도 함께 확장되는 아키텍처가 필요하다. 액세스 빈도가 낮아지는 데이터를 병렬 처리 시스템 스토리지 레이어에서 자동으로 티어링을 통해 저렴한 스토리지로 이동시키면 비용을 상당히 절감할 수 있다.

◆AI 세대를 위해 올인원 제공=생성형 AI는 새로운 분야며 아직은 초기 발전 단계다. 미션 크리티컬 애플리케이션에 생성형 AI를 사용하는 기업은 높은 위험 요소가 수반되지만, 생성형 AI 여정에 뛰어들지 않는 기업은 경쟁에서 뒤처질 수밖에 없다.

기업이 AI를 비즈니스에 성공적으로 활용하는 것은 시간이 걸리는 과정이다. 비즈니스에 적합한 결과를 얻기 위해서는 전문 기업의 컨설팅을 통해 환경에 맞는 로드맵을 수립하고 최적의 인프라를 체계적으로 도입하는 것이 무엇보다 중요하다. 탄탄한 인프라를 위한 컴퓨팅 파워, 네트워크 속도, 스토리지 구성 등을 초기부터 종합적으로 살펴보고 기업 환경에 맞는 전략을 수립해야 향후 투자 비용을 최소화할 수 있다.

효성인포메이션시스템은 AI 비즈니스를 위해 필요한 GPU 서버부터 초고성능 스토리지, 네트워크를 사전 설계해 완벽하게 통합한 ‘효성 AI 플랫폼’을 통해 AI 연산 환경부터 고성능 데이터 처리, AI 솔루션까지 고객의 AI 전환을 위한 핵심 경쟁력을 제공한다. 수년간 다양한 산업 분야에서 쌓은 노하우와 전문 인력, 성공 사례를 바탕으로 안정적인 원스톱 지원이 가능하다.