Cotas do Cloud Dataproc

O Cloud Dataproc tem limites de cota de API aplicados no nível do projeto. As cotas são redefinidas a cada 60 segundos (um minuto).

A tabela a seguir indica os tipos específicos e padrão de cota da API Cloud Dataproc por projeto, além dos limites de cota e métodos aos quais se aplicam:

Tipo de cota Limite Métodos de API aplicáveis
AutoscalingOperationRequestsPerMinutePerProject 400 CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProject 200 CreateCluster, DeleteCluster, UpdateCluster, DiagnoseCluster
GetJobRequestsPerMinutePerProject 7.500 GetJob
JobOperationRequestsPerMinutePerProject 400 SubmitJob, UpdateJob, CancelJob, DeleteJob
WorkflowOperationRequestsPerMinutePerProject 400 CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProject 7.500 Todas as outras operações (principalmente operações Get)

Outras cotas do Google Cloud Platform

Os clusters do Cloud Dataproc usam outros produtos do GCP. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Cloud Dataproc. Alguns serviços são obrigatórios para o uso do Cloud Dataproc, como Compute Engine e Cloud Storage. Outros, como BigQuery e Bigtable, podem ser usados opcionalmente com o Cloud Dataproc.

Serviços obrigatórios

Os serviços a seguir, que impõem limites de cota, são de uso obrigatório para criar clusters do Cloud Dataproc.

Compute Engine

Os clusters do Cloud Dataproc usam máquinas virtuais do Compute Engine. As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites referem-se aos clusters que você cria. Por exemplo, para criar um cluster com um nó mestre n1-standard-4 e dois nós de trabalho n1-standard-4, você usará 12 CPUs virtuais (4 * 3). Esse uso de cluster impactará o limite de cota regional de 24 CPUs virtuais.

Clusters padrão

Quando você cria um cluster do Cloud Dataproc com configurações padrão, são usados os recursos do Compute Engine a seguir.

Item Recursos usados
CPUs virtuais 12
Instâncias de máquina virtual (VM) 3
Disco permanente 1.500 GB

Stackdriver Logging

O Cloud Dataproc salva a saída do driver e os registros dos clusters no Logging. A cota do Logging refere-se aos clusters do Cloud Dataproc.

Serviços opcionais

Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com clusters do Cloud Dataproc.

BigQuery

Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.

Bigtable

Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Cloud Dataproc
Precisa de ajuda? Acesse nossa página de suporte.