서버리스 Dataproc에는 프로젝트 및 리전 수준에서 적용되는 API 할당량 한도가 있습니다. 할당량은 60초(1분)마다 재설정됩니다.
다음 표는 프로젝트별 기본 서버리스 Dataproc API 할당량 유형, 할당량 한도, 적용되는 메서드를 구체적으로 나열한 것입니다.
| 할당량 유형 | 한도 | 해당 API 메서드 |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation(배치 작업 할당량 취소는 클러스터 작업 할당량 취소와 공유됨) |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
기타 Google Cloud 할당량
서버리스 Dataproc 배치는 다른 Google Cloud 제품을 활용합니다. 이러한 제품에는 서버리스 Dataproc 사용에 적용되는 프로젝트 수준 할당량이 있습니다. Compute Engine, Cloud Storage와 같은 일부 서비스는 서버리스 Dataproc 사용이 필수입니다. 원하는 경우 BigQuery 및 Bigtable과 같은 다른 서비스를 Dataproc Serverless와 함께 사용할 수 있습니다.
필수 서비스
Dataproc Serverless 배치를 만들려면 할당량 제한을 적용하는 다음 서비스가 필요합니다.
Compute Engine
Dataproc Serverless 배치는 다음 Compute Engine 리소스 할당량을 사용합니다.
| 컴퓨팅 등급 | 할당량 |
|---|---|
| Standard | CPUS |
| 프리미엄 | N2_CPUS |
| 디스크 등급 | 할당량 |
| Standard | DISKS_TOTAL_GB |
| 프리미엄 | N2 VM 제품군이 있는 LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY |
| GPU 가속기 | 할당량 |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Compute Engine 할당량은 리전 및 전역 한도로 나뉩니다. 이러한 한도는 생성한 배치에 적용됩니다. 예를 들어 4개의 드라이버 코어(spark.driver.cores=4)와 4개의 코어가 있는 실행자 2개(spark.executor.cores=4)가 있는 Spark 배치를 실행하려면 12개의 가상 CPU(4 * 3)를 사용합니다. 이 배치 사용량은 리전 할당량 한도인 24개의 가상 CPU에 반영됩니다.
기본 배치 리소스
기본 설정으로 배치를 만들면 다음과 같은 Compute Engine 리소스가 사용됩니다.
| 항목 | 사용된 리소스 |
|---|---|
| 가상 CPU | 12 |
| 가상 머신(VM) 인스턴스 | 3 |
| Persistent Disk | 3,000GB |
Cloud Logging
Dataproc 서버리스는 배치 출력 및 로그를 Cloud Logging에 저장합니다. Cloud Logging 할당량이 서버리스 Dataproc 배치에 적용됩니다.
비필수 서비스
다음 서비스는 원하는 경우 서버리스 Dataproc 배치와 함께 사용할 수 있으며 할당량 한도가 있습니다.
BigQuery
BigQuery로 데이터를 읽거나 쓰면 BigQuery 할당량이 적용됩니다.
Bigtable
Bigtable로 데이터를 읽거나 쓰면 Bigtable 할당량이 적용됩니다.