2025년 5월 발표: Dataproc Serverless가 이제 Apache Spark용 Google Cloud 서버리스로 변경됨
Apache Spark용 Google Cloud 서버리스
인프라가 아닌 코드에 집중
맞춤설정 가능한 제로옵스(zero-ops) 플랫폼에서 더 쉽게, Gemini 지원으로 더 스마트하게, Lightning Engine의 성능을 활용해 더 빠르게 Apache Spark 작업을 실행하세요.
Apache Spark는 Apache Software Foundation의 상표입니다.
기능
업계를 선도하는 성능
차세대 벡터화된 엔진인 Lightning Engine으로 작업을 강화하세요. 서버리스 Spark 워크로드의 성능을 4.3배 이상 높이고 TCO를 절감하세요. 이 모든 것이 자동으로 이루어집니다.
지능형 자동 확장을 통한 제로옵스(zero-ops)
지능형 자동 확장을 통해 클러스터 관리를 없앱니다. 리소스가 자동으로 확장 및 축소되어 작업의 요구사항에 완벽하게 부합하므로 유휴 시간에 대한 비용을 지불하지 않고도 최대 성능과 비용 효율성을 보장할 수 있습니다.
AI 기반 개발
전체 워크플로를 가속화하세요. BigQuery Studio의 Gemini Code Assist로 PySpark, Scala, Java 코드를 작성하고 디버그하며, 사전 구성된 ML 런타임으로 GPU 가속 환경을 실행할 수 있습니다.
통합된 Spark 및 SQL 환경
컨텍스트 전환을 없애세요. BigQuery Studio와 같은 단일 환경에서 워크로드를 개발하고 실행하여 강력한 SQL과 PySpark의 유연성을 동일한 노트북에서 원활하게 결합할 수 있습니다.
두 가지 성능 등급
| 두 가지 성능 등급 | 표준 일괄 처리부터 가장 까다로운 성능 중심 작업까지 특정 요구사항에 맞는 등급을 제공합니다. |
|---|---|
| 등급 | 적합한 환경 |
표준 | 비용 효율적인 일괄 처리, 데이터 변환, 범용 Spark 작업에 적합합니다.
|
프리미엄 | 가장 까다로운 워크로드에 Lightning Engine, AI/ML 가속, 대화형 기능을 통해 최대 성능을 제공합니다.
|
두 가지 성능 등급
표준 일괄 처리부터 가장 까다로운 성능 중심 작업까지 특정 요구사항에 맞는 등급을 제공합니다.
표준
비용 효율적인 일괄 처리, 데이터 변환, 범용 Spark 작업에 적합합니다.
- 범용 Spark ETL
- 예약된 데이터 파이프라인
- 비용에 민감한 일괄 작업
프리미엄
가장 까다로운 워크로드에 Lightning Engine, AI/ML 가속, 대화형 기능을 통해 최대 성능을 제공합니다.
- Lightning Engine으로 성능이 중요한 작업 4.3배 향상
- 대화형 데이터 과학 및 분석
- GPU 가속 AI 및 ML
- 복잡한 대규모 데이터 처리
일반적인 용도
대화형 데이터 과학
대화형 데이터 과학
데이터 과학자가 데이터를 탐색하고 Spark ML 모델을 빠르게 반복할 수 있도록 지원합니다. 단일 BigQuery Studio 노트북에서 SQL과 Spark를 통합하여 인프라를 관리할 필요 없이 SQL을 사용한 데이터 탐색에서 PySpark를 사용한 모델 빌드로 원활하게 전환할 수 있습니다.
튜토리얼, 빠른 시작, 실습
대화형 데이터 과학
대화형 데이터 과학
데이터 과학자가 데이터를 탐색하고 Spark ML 모델을 빠르게 반복할 수 있도록 지원합니다. 단일 BigQuery Studio 노트북에서 SQL과 Spark를 통합하여 인프라를 관리할 필요 없이 SQL을 사용한 데이터 탐색에서 PySpark를 사용한 모델 빌드로 원활하게 전환할 수 있습니다.
가격 책정
| 투명하고 가치 기반의 가격 책정 | Apache Spark용 서버리스 가격은 컴퓨팅(DCU), GPU, 셔플 스토리지의 초당 사용량을 기준으로 책정됩니다. | |
|---|---|---|
| 서비스 및 사용량 | 구독 유형 | 가격(USD) |
데이터 컴퓨팅 단위(DCU) | 표준 | 시작 가격 $0.06 /시간 |
프리미엄 | 시작 가격 $0.089 /시간 | |
셔플 스토리지 | 표준 | 시작 가격 $0.04 GB/월당 |
프리미엄 | 시작 가격 $0.1 GB/월당 | |
가속기 가격 책정 | a100 40GB | 시작 가격 $3.52069 /시간 |
a100 80GB | 시작 가격 $4.713696 /시간 | |
L4 | 시작 가격 $0.672048 /시간 | |
Apache Spark용 Google Cloud 서버리스의 가격 책정 세부정보 보기
투명하고 가치 기반의 가격 책정
Apache Spark용 서버리스 가격은 컴퓨팅(DCU), GPU, 셔플 스토리지의 초당 사용량을 기준으로 책정됩니다.
데이터 컴퓨팅 단위(DCU)
표준
Starting at
$0.06
/시간
프리미엄
Starting at
$0.089
/시간
셔플 스토리지
표준
Starting at
$0.04
GB/월당
프리미엄
Starting at
$0.1
GB/월당
가속기 가격 책정
a100 40GB
Starting at
$3.52069
/시간
a100 80GB
Starting at
$4.713696
/시간
L4
Starting at
$0.672048
/시간
Apache Spark용 Google Cloud 서버리스의 가격 책정 세부정보 보기
비즈니스 사례
Apache Spark용 Google Cloud 서버리스의 비즈니스 사례 구축
Google Cloud Dataproc 및 서버리스 Spark와 대체 솔루션의 경제적 이점 비교
Apache Spark용 서버리스가 온프레미스 및 다른 클라우드 솔루션에 비해 상당한 TCO 절감 효과와 비즈니스 가치를 제공하는 방법을 알아보세요.
보고서에는 다음과 같은 내용이 포함됩니다.
Dataproc과 Apache Spark용 서버리스가 다른 클라우드 기반 Spark 대안과 비교하여 18~60%의 비용 절감 효과를 제공하는 방법을 알아보세요.
Apache Spark용 Google Cloud 서버리스가 다른 서버리스 Spark 제품보다 21~55% 더 나은 가격 대비 성능을 제공하는 방법을 알아보세요.
Dataproc과 Apache Spark용 Google Cloud 서버리스가 Spark 배포를 간소화하고 운영 복잡성을 줄이는 데 어떻게 도움이 되는지 알아보세요.
FAQ
Apache Spark용 서버리스와 Dataproc 중 어떤 것을 선택해야 하나요?
코드에 집중하고 모든 인프라 관리를 없애고 싶다면 Apache Spark용 서버리스를 선택하세요. 새로운 Spark 파이프라인, 대화형 분석, 속도와 단순성이 우선시되는 예측 불가능한 수요의 작업에 적합합니다.
PyTorch 또는 XGBoost와 같은 자체 라이브러리를 설치해야 하나요?
프리미엄 등급은 AI/ML용으로 설계되었으며 PyTorch, XGBoost, scikit-learn과 같은 일반적인 라이브러리가 기본 제공되는 사전 구성된 ML 런타임이 함께 제공됩니다. 복잡한 설정이 필요 없으므로 몇 분 만에 데이터 과학 워크로드를 시작할 수 있습니다.
최고의 성능을 얻으려면 어떻게 해야 하나요? 가격은 어떻게 책정되나요?
최고의 성능을 위해 Lightning Engine으로 구동되는 프리미엄 등급을 선택할 수 있습니다. 가격은 '사용한 만큼만 비용 지불' 모델을 기반으로 하며, 작업 실행 시간 동안에만 초당 요금이 청구됩니다. 유휴 클러스터 비용을 없애므로 비용 효율성이 매우 높습니다.
