이 페이지에서는 프로젝트 및 리전 수준에 적용되는 Dataproc API 할당량 한도를 보여줍니다. 할당량은 60초(1분)마다 재설정됩니다.
다음 표는 프로젝트별 기본 Dataproc API 할당량 유형, 할당량 한도, 적용되는 메서드를 구체적으로 나열한 것입니다.
할당량 유형 | 한도 | 해당 API 메서드 |
---|---|---|
AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster, CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup |
GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
DefaultRequestsPerMinutePerProjectPerRegion | 7500 | 기타 모든 작업(주로 Get 작업) |
다음 표에는 프로젝트 및 리전 수준의 총 활성 작업 및 작업에 대한 추가 한도가 나와 있습니다.
할당량 유형 | 한도 | 설명 |
---|---|---|
ActiveOperationsPerProjectPerRegion | 5000 | 단일 리전 데이터베이스의 단일 프로젝트에 있는 모든 유형의 동시 활성 작업 총개수에 대한 한도 |
ActiveJobsPerProjectPerRegion | 5000 | 단일 리전 데이터베이스의 단일 프로젝트에서 NON_TERMINAL 상태의 활성 작업 총개수에 대한 한도 |
기타 Google Cloud 할당량
Dataproc 클러스터는 다른 Google Cloud 제품을 활용합니다. 이러한 제품에는 Dataproc 사용에 적용되는 프로젝트 수준 할당량이 있습니다. Compute Engine, Cloud Storage와 같은 일부 서비스는 Dataproc 사용 시 필수입니다. 원하는 경우 BigQuery 및 Bigtable과 같은 다른 서비스를 Dataproc과 함께 사용할 수 있습니다.
필수 서비스
다음 서비스는 Dataproc 클러스터를 만드는 데 자동으로(필수적으로) 사용되며 할당량 한도가 적용됩니다.
Compute Engine
Dataproc 클러스터는 Compute Engine 가상 머신을 활용합니다.
Compute Engine 할당량은 리전 및 전역 한도로 나뉩니다. 이러한 한도는 생성한 클러스터에 적용됩니다. 예를 들어 n1-standard-4
마스터 노드 1개와 n1-standard-4
워커 노드 2개가 있는 클러스터를 만들려면 12개(4 * 3
)의 가상 CPU를 사용하게 됩니다. 이 클러스터 사용량은 리전 할당량 한도인 24개의 가상 CPU에 반영됩니다.
기본 클러스터
기본 설정으로 Dataproc 클러스터를 생성하면 다음과 같은 Compute Engine 리소스가 사용됩니다.
항목 | 사용된 리소스 |
---|---|
가상 CPU | 12 |
가상 머신(VM) 인스턴스 | 3 |
영구 디스크 | 1,500GB |
Cloud Logging
Dataproc은 드라이버 출력 및 클러스터 로그를 Cloud Logging에 저장합니다. 따라서 Cloud Logging 할당량이 Dataproc 클러스터에 적용됩니다.
비필수 서비스
다음 서비스는 원하는 경우 Dataproc 클러스터와 함께 사용할 수 있으며 할당량 한도가 적용됩니다.
BigQuery
BigQuery로 데이터를 읽거나 쓰면 BigQuery 할당량이 적용됩니다.
Bigtable
Bigtable로 데이터를 읽거나 쓰면 Bigtable 할당량이 적용됩니다.