Google Cloud Managed Lustre
고성능 병렬 파일 시스템
Google의 최고 성능을 갖춘 POSIX 규격 병렬 파일 시스템을 사용해 HPC 및 AI 학습과 서빙을 가속화하세요.
기능
AI/ML 워크로드의 성능 및 규모
대규모 딥 러닝 모델을 학습시키려면 방대한 데이터 세트가 필요합니다. DDN EXAScaler를 기반으로 하는 Managed Lustre는 데이터 액세스를 분산하여 학습 시간을 단축하고 유용한 정보를 더 빠르게 제공하며 정확도를 높이고 복잡한 AI 프로젝트를 처리할 수 있도록 지원합니다. 확장이 가능하므로 증가하는 데이터에 맞춰 성능이 계속 개선되어 스토리지 병목 현상을 방지할 수 있습니다. 여기에서 Managed Lustre에 대한 Omdia 개요를 시청하세요.
KV 캐시로 AI 추론 가속화
에이전트 AI가 계속해서 대규모 컨텍스트 윈도우를 활용함에 따라 대규모 언어 모델과 상호작용하는 과정에서 사용자에게 반응형 환경을 제공하는 데 스토리지 문제가 야기될 수 있습니다. 대규모 컨텍스트 윈도우는 가속기의 로컬 메모리가 소진되는 경우가 많아 모델이 외부 스토리지에 액세스해야 하므로 지연 시간 민감도가 높아집니다.
GPU 포화도 및 컴퓨팅 ROI 극대화
AI의 실제 비용은 스토리지뿐만 아니라 유휴 컴퓨팅에도 있습니다. Managed Lustre는 가장 비용이 많이 드는 애셋을 완전히 포화 상태로 유지하는 데 필요한 높은 처리량과 짧은 지연 시간의 데이터 전송을 제공합니다. 데이터 배포를 최적화하고 빠른 체크포인트를 가속화하여 가속기 사용을 크게 개선하므로 오버헤드가 줄어들고 비용 대비 성능이 향상됩니다.
업계 전반의 혁신 지원
| 업종 |
|---|
AI 및 ML 데이터 부족을 해소하고 대규모로 파운데이션 모델을 학습시킵니다. Managed Lustre는 컴퓨팅과 스토리지를 분리하여 밀리초 미만의 외부 키-값 캐싱을 통해 LLM 추론 처리량을 높여 가장 비용이 많이 드는 가속기를 완전히 포화 상태로 유지합니다. Google Cloud의 AI를 살펴보세요. |
의료 및 생명과학 획기적인 혁신을 통해 새로운 치료법을 개발하세요. 신약 개발을 가속화하고, 복잡한 유전체 염기서열 분석을 수행하며, AI 기반 의료 영상 제품군을 지원하는 데 필요한 극도의 IOPS를 제공하여 연구자와 임상의의 인사이트 도출 시간을 획기적으로 단축합니다. Google Cloud의 의료 및 생명과학 솔루션을 살펴보세요. |
머신 비전, 로봇 공학, 자율 주행 차량 소프트웨어 정의 차량 파이프라인을 가속화합니다. 혁신가들이 페타바이트 규모의 센서 원격 분석 데이터를 손쉽게 수집할 수 있도록 지원하고, 공기역학, 안전, 열 최적화 시뮬레이션을 위한 지연 시간 없는 스토리지를 통해 연구 개발 엔지니어링을 강화하세요. Google Cloud에서 자동차 산업을 위한 솔루션을 살펴보세요. |
미디어 및 엔터테인먼트 스토리지 성능 저하 없이 제작 기한을 지키세요. 원활한 고해상도 동영상 편집, 실시간 VFX 렌더링, 가속화된 후반 작업 워크플로에 필요한 초고속 처리량을 스튜디오에 제공하세요. Google Cloud에서 미디어 및 엔터테인먼트 솔루션을 살펴보세요. |
AI 및 ML
데이터 부족을 해소하고 대규모로 파운데이션 모델을 학습시킵니다. Managed Lustre는 컴퓨팅과 스토리지를 분리하여 밀리초 미만의 외부 키-값 캐싱을 통해 LLM 추론 처리량을 높여 가장 비용이 많이 드는 가속기를 완전히 포화 상태로 유지합니다.
Google Cloud의 AI를 살펴보세요.
의료 및 생명과학
획기적인 혁신을 통해 새로운 치료법을 개발하세요. 신약 개발을 가속화하고, 복잡한 유전체 염기서열 분석을 수행하며, AI 기반 의료 영상 제품군을 지원하는 데 필요한 극도의 IOPS를 제공하여 연구자와 임상의의 인사이트 도출 시간을 획기적으로 단축합니다.
Google Cloud의 의료 및 생명과학 솔루션을 살펴보세요.
머신 비전, 로봇 공학, 자율 주행 차량
소프트웨어 정의 차량 파이프라인을 가속화합니다. 혁신가들이 페타바이트 규모의 센서 원격 분석 데이터를 손쉽게 수집할 수 있도록 지원하고, 공기역학, 안전, 열 최적화 시뮬레이션을 위한 지연 시간 없는 스토리지를 통해 연구 개발 엔지니어링을 강화하세요.
Google Cloud에서 자동차 산업을 위한 솔루션을 살펴보세요.
미디어 및 엔터테인먼트
스토리지 성능 저하 없이 제작 기한을 지키세요. 원활한 고해상도 동영상 편집, 실시간 VFX 렌더링, 가속화된 후반 작업 워크플로에 필요한 초고속 처리량을 스튜디오에 제공하세요.
Google Cloud에서 미디어 및 엔터테인먼트 솔루션을 살펴보세요.
일반적인 용도
시작하기
- Managed Lustre 인스턴스 만들기: 클릭 몇 번으로 Managed Lustre 인스턴스를 배포합니다.
- 수집 및 연결: Google Cloud Storage에서 직접 데이터를 가져와 Managed Lustre 파일 시스템을 손쉽게 하이드레이션할 수 있습니다.
- 대규모 처리: 대규모 데이터 세트를 지연 시간이 매우 짧은 Vertex Training Clusters(VTC) 또는 GKE에 공급합니다.
- 가속화: 차세대 하드웨어에 고처리량 데이터를 직접 제공하여 GPU가 최대 사용량으로 실행되도록 보장합니다.
튜토리얼, 빠른 시작, 실습
- Managed Lustre 인스턴스 만들기: 클릭 몇 번으로 Managed Lustre 인스턴스를 배포합니다.
- 수집 및 연결: Google Cloud Storage에서 직접 데이터를 가져와 Managed Lustre 파일 시스템을 손쉽게 하이드레이션할 수 있습니다.
- 대규모 처리: 대규모 데이터 세트를 지연 시간이 매우 짧은 Vertex Training Clusters(VTC) 또는 GKE에 공급합니다.
- 가속화: 차세대 하드웨어에 고처리량 데이터를 직접 제공하여 GPU가 최대 사용량으로 실행되도록 보장합니다.
가격 책정
| Managed Lustre 가격 책정 | Managed Lustre의 가격은 주로 위치와 서비스 수준을 기준으로 책정됩니다. |
|---|---|
| 서비스 수준 | 가격 책정 |
1,000MB/TB 처리량이 중요한 AI/ML 학습과 같은 고성능 워크로드에 적합합니다. | 1GB당 월별 $0.60부터 |
500MB/TB 성능과 효율의 최적 균형: 까다로운 AI/ML 워크로드, 복잡한 HPC 애플리케이션, 데이터 집약적인 분석에 탁월하며, 상당한 처리량이 필요하지만 가격 대비 성능 비율의 균형을 중시하는 환경에 적합합니다. | 1GB당 월별 $0.34부터 |
250MB/TB 범용 HPC 및 처리량 집약적 AI에 최적: 광범위한 HPC 워크로드, AI/ML 추론, 데이터 전처리, 기존 NFS보다 훨씬 더 나은 성능이 필요한 애플리케이션에 적합하며 비용 효율적인 가격대로 제공됩니다. | 1GB당 월별 $0.21부터 |
125 MB/TB 병렬 액세스 요구사항이 있는 용량 중심 워크로드에 최적: 대용량과 병렬 파일 시스템 액세스가 중요한 시나리오를 위해 설계되었습니다. I/O 바운드가 적은 병렬 작업에 적합합니다. | 1GB당 월별 $0.145부터 |
Google Cloud 가격 책정을 살펴보세요. 모든 가격 책정 세부정보 보기
Managed Lustre 가격 책정
Managed Lustre의 가격은 주로 위치와 서비스 수준을 기준으로 책정됩니다.
1,000MB/TB
처리량이 중요한 AI/ML 학습과 같은 고성능 워크로드에 적합합니다.
1GB당 월별 $0.60부터
500MB/TB
성능과 효율의 최적 균형: 까다로운 AI/ML 워크로드, 복잡한 HPC 애플리케이션, 데이터 집약적인 분석에 탁월하며, 상당한 처리량이 필요하지만 가격 대비 성능 비율의 균형을 중시하는 환경에 적합합니다.
1GB당 월별 $0.34부터
250MB/TB
범용 HPC 및 처리량 집약적 AI에 최적: 광범위한 HPC 워크로드, AI/ML 추론, 데이터 전처리, 기존 NFS보다 훨씬 더 나은 성능이 필요한 애플리케이션에 적합하며 비용 효율적인 가격대로 제공됩니다.
1GB당 월별 $0.21부터
125 MB/TB
병렬 액세스 요구사항이 있는 용량 중심 워크로드에 최적: 대용량과 병렬 파일 시스템 액세스가 중요한 시나리오를 위해 설계되었습니다. I/O 바운드가 적은 병렬 작업에 적합합니다.
1GB당 월별 $0.145부터
Google Cloud 가격 책정을 살펴보세요. 모든 가격 책정 세부정보 보기
비즈니스 사례
Managed Lustre 고객 사례
최신 출시 제품을 확인하세요.
"기업이 딥페이크 오디오, 동영상, 이미지를 식별하고 차단하도록 지원하는 당사의 역량은 모델의 성능에 달려 있습니다. Managed Lustre는 동적 데이터 세트를 사용한 성공적인 모델 학습에 매우 중요합니다. GPU를 완전히 포화시키며, 당사에서 평가한 다른 스토리지 솔루션보다 6배 더 빠릅니다."
-조하이브 아흐메드, Resemble AI CEO
"Managed Lustre를 사용하면 AFEELA Intelligent Drive의 AI 모델 학습을 다른 Google Cloud 솔루션 대비 3배 더 확장할 수 있습니다."
-카타오카 모토이, Sony Honda Mobility Inc. AI 및 데이터 분석 플랫폼 수석 관리자
"Salesforce AI Research는 Managed Lustre를 VTC(Vertex Training Clusters)와 통합하여 일반적인 온보딩 병목 현상을 제거하고 추론 워크로드를 즉시 실행할 수 있었습니다. 처리량이 높고 지연 시간이 짧은 이러한 스토리지 덕분에 B200 GPU가 완전히 포화 상태를 유지하여 H200에 비해 대규모 언어 모델 추론에서 상당한 성능 향상을 이끌어낼 수 있습니다. 고객은 이전보다 훨씬 짧은 지연 시간으로 복잡한 추론을 처리할 수 있는 더 빠르고 반응성이 뛰어난 AI 에이전트를 직접적으로 활용할 수 있습니다."
-라바냐 카라남, Salesforce 수석 소프트웨어 엔지니어
Managed Lustre로 GKE 워크로드 확장
Google Kubernetes Engine(GKE)에서 Managed Lustre CSI 드라이버를 사용하여 컨테이너화된 AI, ML, HPC 워크로드에 고성능 스토리지를 원활하게 프로비저닝하는 방법을 안내합니다. 블로그 읽기
Managed Lustre로 AI 및 HPC 가속화
Managed Lustre가 고성능 컴퓨팅 워크로드의 병렬 파일 시스템 배포를 어떻게 간소화하는지 개요를 살펴봅니다. 블로그 읽기
Managed Lustre를 사용한 외부 키-값 캐시
Lustre를 사용하여 대규모 언어 모델(LLM) 추론을 위한 키-값 캐시를 오프로드하고 TPU/GPU의 메모리 오버헤드를 줄이는 방법을 자세히 살펴봅니다. 블로그 읽기
