02 ​GPUaaS(GPU as a Service) 현황

​│한상기 테크프론티어 대표

AI 연구 개발과 활용에 핵심 요소인 GPU를 클라우드 환경에서 서비스 형태로 제공하는 GPUaaS(GPU as a Service)는 비용 효율성, 확장성, 관리 편의성 등의 이점으로 인해 많은 기업의 관심을 받고 있다. 이는 클라우드 서비스 제공자가 GPU를 가상화하여 사용자에게 제공하는 방식으로, 사용자는 필요한 만큼의 GPU 자원만을 할당받아 사용하고, 사용한 만큼만 비용을 지불할 수 있다. 이를 통해 복잡한 시뮬레이션, 데이터 분석, AI 학습 등 리소스 집약적인 프로젝트에 GPU의 사용을 더욱 유연하게 할 수 있다.¹⁾

글로벌 리서치사 스카이퀘스트(SkyQuest)에서 발간한 시장보고서에 따르면 세계의 GPUaaS 시장 규모는 2022년 50억 달러에 달했다. 2024년부터 2031년까지의 CAGR은 32%로 성장하여 2023년 66억 달러에서 2031년 608억 3,000만 달러로 성장할 것으로 보인다. 포춘 비즈니스 인사이트에서는 2024년 43억 달러 시장에서 2032년 498억 달러 시장으로 연평균 35.8% 성장할 것으로 보고 있다. 

AWS, 마이크로소프트, 구글 클라우드 같은 기존 하이퍼스케일러 클라우드 사업자들은 이미 다양한 방식으로 GPUaaS를 제공하고 있다. 이번 글에서는 이미 널리 알려진 클라우드 사업자가 아닌 GPUaaS를 전문적으로 제공하고 있는 신생 기업을 중심으로 현황을 알아보고자 한다.

국내에서도 이미 SK텔레콤(SKT)이 미국의 람다와 손잡고 2023년 12월부터 GPUaaS를 제공한다고 했으며, 삼성SDS도 엔비디아 GPU 기반의 서비스를 하고 있다. 카카오엔터프라이즈도 국내 주요 MSP와 협력을 확대해 서비스를 본격화하겠다고 했다. 다만 카카오엔터프라이즈는 A100 기반의 GPU 팜을 중심으로 한다는 계획이다. SKT는 3년 내 수천 대의 GPU를 확보할 예정이고 최신 GPU H200도 도입할 계획이라고 밝혔다.²⁾ SKT는 가산 AIDC에 라마 한국 리전을 유치했는데 이는 아시아태평양 지역에 처음으로 생긴 람다의 리전이다.

GPUaaS 서비스는 AI 분야에서만 필요한 것이 아니라 과학 시뮬레이션 같은 고성능 컴퓨팅(HPC), 그래픽 렌더링, 블록체인 같은 영역에서도 활용성이 높다. GPUaaS의 주요 기능과 특징은 다음과 같다.

• 온디맨드 GPU 자원 제공: 사용자는 필요에 따라 GPU 리소스를 동적으로 할당받고 해제할 수 있다. 이는 사용량이 불규칙하거나 변동이 심한 워크로드에 유연하게 대응할 수 있도록 해준다.

• 다양한 GPU 모델 및 구성 제공: GPUaaS 제공업체는 다양한 성능의 GPU 모델과 다양한 구성 옵션을 제공하여 사용자가 자신의 요구사항에 맞는 최적의 환경을 선택할 수 있도록 지원한다.

• 탄력적인 확장성: GPUaaS는 필요에 따라 GPU 리소스를 손쉽게 확장하거나 축소할 수 있는 기능을 제공합니다. 이를 통해 사용자는 갑작스러운 워크로드 증가에도 안정적으로 대응할 수 있다.

• 비용 효율성: 필요한 만큼만 GPU 리소스를 사용하고 사용한 만큼만 비용을 지불하는 종량제 방식이 일반적이다. 이는 초기 투자 비용을 절감하고 총소유비용(TCO)을 낮추는 데 기여한다. 또한 운영 및 유지 관리 측면에서 하드웨어 관리, 드라이버 업데이트, 보안 패치 등의 운영 부담을 클라우드 서비스 제공자가 담당하므로, 개발자는 애플리케이션 개발에 집중할 수 있다.

• 다양한 소프트웨어 및 프레임워크 지원: 대부분의 GPUaaS 플랫폼은 딥러닝, 머신러닝, HPC (고성능 컴퓨팅), 그래픽 렌더링 등 다양한 분야에서 사용되는 소프트웨어 및 프레임워크를 지원한다.

• 보안 및 안정성: 클라우드 제공업체의 강력한 보안 인프라와 안정적인 서비스 운영을 통해 사용자는 안심하고 GPU 리소스를 사용할 수 있다. 

• 개발자 친화적 인터페이스: RESTful API나 다양한 프로그래밍 언어용 SDK를 통해 손쉽게 GPU 리소스를 프로비저닝하고 관리할 수 있다. 도커, 쿠버네티스와 같은 컨테이너 오케스트레이션 도구와의 통합을 지원하여, 클라우드 네이티브 애플리케이션과 원활하게 연동할 수 있다.

전문 GPUaaS 사업자에는 디지털오션/페이퍼스페이스, 람다 랩스, 코어위브, 배스트(Vast.ai), 하이퍼볼릭, 키네시스, 런포드 등이 있다. 이들의 GPUaaS의 가격은 약정 기간, GPU 개수와 메모리, 선불형의 과금 형태에 따라 탄력적으로 책정할 수 있다. 예를 들어 런포드의 가격은 다음과 같이 제시하고 있다.

그림 1 런포드의 GPUaaS 서비스 가격표

페이퍼스페이스는 GPU 기반 가상 머신과 쿠버네티스 기반 컨테이너 서비스를 제공하는 클라우드 기반 머신러닝 플랫폼이다. 2023년 7월에 클라우드 호스팅 기업인 디지털오션이 1억 1,100만 달러에 인수했다. 모든 페이퍼스페이스 리소스는 시간당 청구되며, 점진적 구독 플랜이 있다. 

페이퍼스페이스 가격 플랜에는 CPU, GPU, 다중 GPU 머신으로 구분하며 스토리지와 네트워킹에 대한 요금도 지불해야 한다. 예를 들어 GPU 유형에 따른 가격표는 다음과 같다.

그림 2 페이퍼스페이스 GPU 가격표

투게더AI는 AI 모델의 학습, 미세 조정, 추론 과정을 제공하는 클라우드 서비스 사업자이면서 200개 이상의 생성형 모델을 지원한다. 이 회사가 제공하는 서비스 중 하나는 GPU 클러스터 서비스이며 GB200, H200, H100의 GPU로 이루어진 클러스터를 제공하는데 기본적으로 시간당 1.75달러의 요금 기준을 갖고 있다. 투게더AI는 최근 3억 5천만 달러의 시리즈 B 펀딩을 제너럴 카탈리스트와 프러스페러티7에서 받았다.³⁾

통신사 버라이즌은 ‘버라이즌 AI 커텍트’라는 서비스로 매크로 5G 네트워크와 고속 광섬유 연결에서 엣지 컴퓨팅 환경 및 공간, 전력 및 냉각 인프라에 이르기까지 필요에 따라 AI 워크로드를 제공하고 있다. 특히 GPUaaS는 전문 기업인 Vultr와 협력하기로 했다. 최근에는 GPU 기반 엣지 플랫폼을 버라이즌의 5G 프라이빗 네트워크에 통합하는 방법을 재구성하기 위해 엔비디아와 협력한다고 발표했다. Vultr는 첨단 AMD 가속기와 엔비디아 GPU를 함께 제공하고 있다. 또한 GPU로 가속한 쿠버네티스 엔진과 생성 AI 모델을 빠르고 효율적으로 배포할 수 있는 서버리스 추론 기능을 제공한다. 

SKT와 협력하는 람다도 AI 클라우드 플랫폼 사업 확장을 위해 시리즈 D로 4억 8천만 달러 투자를 받았다.⁴⁾

그림 3 람다에 4억 8천만 달러 펀딩을 한 투자자들

람다는 람다 스택이라는 개발자가 원하는 AI 소프트웨어를 간편하게 활용할 수 있는 소프트웨어 스택을 제공하며 여기에는 파이토치, 텐서플로, 쿠다, CuDNN, 엔비디아 드라이버 등을 포함한다. 우분투 환경에서 단 한 줄로 람다 스택을 데스크톱에 설치 사용할 수 있음을 자랑한다. 데이터 센터에는 엔비디아 DGX 시스템과 스칼라(Scalar) 서버가 있으며 조만간 H200 NVL GPU와 4.8TB/s의 메모리 대역폭, 4-웨이 NVLink 등을 제공할 예정이다.

키네시스는 좀 더 흥미로운 접근을 한다. 연구에 따르면 기존 GPU의 절반 이상은 항상 사용하지 않는 것으로 나온다.⁵⁾ 키네시스는 전 세계 서버에서 GPU와 CPU 모두 유휴 컴퓨팅을 식별해 회사에서 사용할 수 있는 단일 컴퓨팅 소스로 모은다.⁶⁾ 이를 위해 키네시스는 사용하지 않는 컴퓨팅 파워를 판매할 의향이 있는 대학, 데이터 센터, 회사 및 개인과 협력한다. 서버에 설치된 특수 소프트웨어를 통해 유휴 처리 장치를 감지하고 준비한 다음 일시적으로 사용할 수 있도록 클라이언트에게 제공한다. 

키네시스의 장점은 기존 클라우드 컴퓨팅 회사보다 환경친화적이라는데 있다. 이 회사는 추가 서버에 전원을 공급하는 대신 기존의 사용되지 않는 처리 장치를 활용함으로써 에너지 소비를 크게 줄였다고 말한다. 

여러 GPUaaS 중 하나를 선택하기 위해서는 다음과 같은 사항을 고려해야 한다.

• 성능 요구 사항: 컴퓨트 파워, 메모리 용량과 대역폭

• 예산과 비용 효율성: 가격 모델, 총소유비용

• 확장성과 유연성: 탄력적 자원 할당, 다중 GPU 지원

• 프레임워크 및 도구와의 호환성: 프레임워크 지원, 개발 도구 

GPUaaS는 AI시대 개발과 배포를 위해 중요한 클라우드 컴퓨팅 요소로 자리 잡고 있다. 하이퍼스케일러 외에도 전문 AI 클라우드 기업이 이 영역에서 나름대로 위치를 차지하고 있는 이유 중 하나는 충분한 GPU를 확보하기 어려운 기업들이 많으며, 가격 측면에서 경쟁력을 갖추고 있고, 전문성을 통한 개발과 배포 과정에서 다양한 프레임워크나 도구를 지원함으로써 단기적 접근이나 비용에 민감한 기업과 연구 조직에서 환영받고 있다. 

이 가운데 진짜 경쟁력을 보이는 곳은 점차 글로벌 범용 클라우드 기업에 인수되는 사례들이 나올 것이지만 특정 부문에서 또는 매우 혁신적인 방법으로 접근하는 기업은 AI 시대에 성장할 수 있는 기회를 찾아낼 것이다. 

참고문헌

1) 클루닉스, “GPU as a Service, GPUaaS의 이점과 도입 고려 사항,” 2024년 9월 11일

2) AI 타임스, “SKT, 람다 통해 1분기 중 국내 첫 ‘H200’ 도입,” 2025년 1월 13일

3) VentureBeat, “Together AI’s $305M bet: Reasoning models like DeepSeek-R1 are increasing, not decreasing, GPU demand,” Feb 20, 2025

4) Lambda, “Lambda Raises $480M to Expand AI Cloud Platform,” Feb 19, 2025

5) The Next Platform, “Counting the Cost of Under-Utilized GPU - and Doing Something about It,” Nov 17, 2020

6) IEEE Spectrum, “The AI Boom Is Giving Rise to “GPU-as-a-Service,” Jan 20, 2025