오늘날 다양한 산업 분야에서 AI가 비즈니스에 적극적으로 도입되고, 특히 생성형 AI는 혁신의 중심에 자리잡았다. 대형언어모델(LLM)을 비롯해 소형언어모델(sLLM), 대형멀티모달모델(LMM) 등 다양한 AI 모델이 등장하면서 기업들은 비즈니스 목표에 맞춰 이러한 모델들을 활용하고 있다. 생성형 AI는 언어 처리는 물론 수요 예측, 스마트 팩토리 운영, 예지 정비 등 다양한 분야에서 활용되고 있다.

생성형AI를 성공적으로 비즈니스에 접목하려면 우선 기업은 명확한 목표 설정이 필수다. 그 목표를 달성하기 위해 필요한 데이터가 충분히 확보되었는지 점검하고, 이를 기반으로 가치 창출이 가능한 인프라를 구축해야 한다.

AI 인프라의 필수 요소 ‘GPU’와 ‘스토리지’

생성형 AI 구현을 위한 핵심 인프라 요소는 크게 ▲연산 파워(GPU 및 HPC 시스템) ▲데이터(고성능 데이터 인프라) ▲알고리즘(AI 모델 개발 및 운영 솔루션)으로 나눌 수 있다.

고성능 AI 인프라 구축 시 많은 기업들이 우선 고려하는 것이 GPU다. 그러나 무조건 최신 GPU를 도입하는 것만이 답은 아니다. 기업의 비즈니스 목표와 분석 요구 사항에 맞는 최적의 GPU를 선택하는 것이 중요하다.

AI 분석 프로세스는 데이터 수집, 전처리, 학습, 평가 등 일련의 워크플로우로 구성되며, 각 단계에서 요구되는 스토리지 성능과 효율성이 다르다. 초창기에는 각 단계마다 다양한 형태의 스토리지를 사용한 아키텍처가 도입되었다. 그러나 각 워크플로우 단계에 개별 스토리지를 구성하게 되면, 데이터 복사를 위한 불필요한 저장소의 낭비와 관리의 복잡성이 발생하게 된다.

따라서 다양한 분석 환경을 지원하는 멀티 프로토콜을 통해 단일 스토리지 시스템에서 여러 워크플로우 솔루션들이 효율적으로 연동될 수 있어야 한다. 멀티 프로토콜 기능은 빅데이터/AI 분석 스토리지 시스템의 필수 요소가 되고 있다.

AI 모델 학습 과정에서는 대량의 데이터 입출력(IO)이 발생하며 반복적인 재학습이 이뤄진다. 이 과정에서 스토리지 성능이 병목 현상을 일으키지 않도록 고성능 스토리지 인프라가 뒷받침되어야 원활한 AI 분석 환경을 구축할 수 있다.

생성형 AI 열풍과 고성능 시스템 수요

다양한 AI 및 ML 패턴에서 고성능을 보장하는 데이터 레이크 저장소는 생성형 AI 프로젝트에 필수 요건이다. HS효성인포메이션시스템은 유연한 데이터 레이크 저장소로서 뛰어난 강점을 지닌 고성능 스토리지 솔루션 ‘HCSF(Hitachi Content Software for File)’을 제공한다. HCSF는 병렬 파일 시스템과 오브젝트 스토리지가 통합된 파일 스토리지로 AI 업무에 필요한 IOPS(초당 입력/출력 작업 수) 성능, 다양한 인터페이스, 대용량 확장을 지원한다.

국내 A 은행은 외부 기관 및 국내 금융 기관 데이터를 통합해 데이터를 분석하고 분석 체계를 확립하기 위해 고성능 단일 데이터 레이크 저장소로서HCSF를 도입했다. 이를 통해 통합 플랫폼 기반으로 하드웨어 관리 포인트를 최소화하고 확장의 유연성을 확보했다.

국내 대형 B 제조기업은 실시간 대용량 데이터 분석 시스템 구축을 위해 HCSF를 선택했다. 그 결과, 비용 효율적인 인프라를 통해 매일 수백 테라바이트의 데이터를 신속하게 분석할 수 있게 되면서 업무 효율성이 크게 향상됐다.

AI 비즈니스 성공을 위한 통합 솔루션

많은 기업들이 LLM 및 AI 모델을 단편적으로 도입하고 있지만, AI 모델은 지속적인 변화와 업데이트가 필수적이므로 안정적인 운영이 쉽지 않다. 따라서 초기 단계부터 컴퓨팅 파워, 네트워크 속도, 스토리지 구성 등 인프라를 종합적으로 검토하고 기업 환경에 맞는 전략을 수립해야 향후 비용 절감과 성공적인 AI 도입을 도모할 수 있다.

기업들은 개념검증(PoC)과 평가시험(BMT) 등 다양한 방법으로 인프라 성능을 검토하고, 고도의 기술력을 가진 벤더와 협력하는 것이 중요하다. HS효성인포메이션시스템은 성능, 자원 효율성, 운영 관리 측면에서 최적화된 AI 플랫폼을 제공함으로써, 기업들이 AI 혁신을 성공적으로 이끌 수 있도록 지원한다.

강준범 / HS효성인포메이션시스템 데이터사업팀 매니저

<기고와 칼럼은 본지 편집방향과 무관합니다.>