Dataproc 할당량

이 페이지에서는 프로젝트 및 리전 수준에 적용되는 Dataproc API 할당량 한도를 보여줍니다. 할당량은 60초(1분)마다 재설정됩니다.

Dataproc 서버리스 워크로드를 실행하는 경우 Dataproc 서버리스 할당량을 참조하세요.

Dataproc 할당량 오류 처리: Dataproc 할당량 한도를 초과하면 RESOURCE_EXHAUSTED(HTTP 코드 429)가 생성되고 해당하는 Dataproc API 요청이 실패합니다. 하지만 프로젝트의 Dataproc 할당량은 60초마다 재설정되므로 실패 후 1분이 지나면 요청을 다시 시도할 수 있습니다.

다음 표는 프로젝트별 기본 Dataproc API 할당량 유형, 할당량 한도, 적용되는 메서드를 구체적으로 나열한 것입니다.

할당량 유형	한도	해당 API 메서드
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster, CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob, DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	기타 모든 작업(주로 Get 작업)

리소스 할당량 한도 상향 조정: Google Cloud IAM 및 관리자→할당량 페이지를 열고 수정할 리소스를 선택합니다. 그런 다음 페이지 상단의 할당량 수정을 클릭해 할당량 상향 프로세스를 시작합니다. 할당량을 상향할 리소스가 페이지에 표시되지 않고 현재 필터링이 '사용량이 있는 할당량'인 경우 '할당량 유형' 드롭다운을 전환해 필터링을 '전체 할당량'으로 변경합니다.

다음 표에는 프로젝트 및 리전 수준의 총 활성 작업 및 작업에 대한 추가 한도가 나와 있습니다.

할당량 유형	한도	설명
ActiveOperationsPerProjectPerRegion	5000	단일 리전 데이터베이스의 단일 프로젝트에 있는 모든 유형의 동시 활성 작업 총개수에 대한 한도
ActiveJobsPerProjectPerRegion	5000	단일 리전 데이터베이스의 단일 프로젝트에서 NON_TERMINAL 상태의 활성 작업 총개수에 대한 한도

총 활성 작업 및 작업 한도 늘리기: Google 지원 티켓을 엽니다.

기타 Google Cloud 할당량

Dataproc 클러스터는 다른 Google Cloud 제품을 활용합니다. 이러한 제품에는 Dataproc 사용에 적용되는 프로젝트 수준 할당량이 있습니다. Compute Engine, Cloud Storage와 같은 일부 서비스는 Dataproc 사용 시 필수입니다. 원하는 경우 BigQuery 및 Bigtable과 같은 다른 서비스를 Dataproc과 함께 사용할 수 있습니다.

필수 서비스

다음 서비스는 Dataproc 클러스터를 만드는 데 자동으로(필수적으로) 사용되며 할당량 한도가 적용됩니다.

Compute Engine

Dataproc 클러스터는 Compute Engine 가상 머신을 활용합니다. Compute Engine 할당량은 리전 및 전역 한도로 나뉩니다. 이러한 한도는 생성한 클러스터에 적용됩니다. 예를 들어 n1-standard-4 마스터 노드 1개와 n1-standard-4 워커 노드 2개가 있는 클러스터를 만들려면 12개(4 * 3)의 가상 CPU를 사용하게 됩니다. 이 클러스터 사용량은 리전 할당량 한도인 24개의 가상 CPU에 반영됩니다.

무료 체험판 할당량: Compute Engine 무료 체험판을 사용하는 경우 프로젝트의 CPU 한도는 8개입니다. 한도를 늘리려면 프로젝트에서 결제 기능을 사용 설정해야 합니다.

기본 클러스터

기본 설정으로 Dataproc 클러스터를 생성하면 다음과 같은 Compute Engine 리소스가 사용됩니다.

항목	사용된 리소스
가상 CPU	12
가상 머신(VM) 인스턴스	3
영구 디스크	1,500GB

Cloud Logging

Dataproc은 드라이버 출력 및 클러스터 로그를 Cloud Logging에 저장합니다. 따라서 Cloud Logging 할당량이 Dataproc 클러스터에 적용됩니다.

비필수 서비스

다음 서비스는 원하는 경우 Dataproc 클러스터와 함께 사용할 수 있으며 할당량 한도가 적용됩니다.

BigQuery

BigQuery로 데이터를 읽거나 쓰면 BigQuery 할당량이 적용됩니다.

Bigtable

Bigtable로 데이터를 읽거나 쓰면 Bigtable 할당량이 적용됩니다.