Esta página foi traduzida pela API Cloud Translation.
Switch to English

Cotas do Dataproc

O Dataproc tem limites de cotas de API aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).

A tabela a seguir indica os tipos específicos e padrão de cota da API Dataproc por projeto, além dos limites de cota e métodos em que se aplicam.

Tipo de cota Limite Métodos de API aplicáveis
AutoscalingOperationRequestsPerMinutePerProjectPerRegion 400 CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy e DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster
GetJobRequestsPerMinutePerProjectPerRegion 7.500 GetJob
JobOperationRequestsPerMinutePerProjectPerRegion 400 SubmitJob, UpdateJob, CancelJob e DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion 400 CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion 7.500 Todas as outras operações (principalmente operações Get)

Outras cotas do Google Cloud

Os clusters do Dataproc usam outros produtos do Google Cloud. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataproc. Alguns serviços são obrigatórios para o uso do Dataproc, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Cloud Bigtable, podem ser usados opcionalmente com o Dataproc.

Serviços obrigatórios

Os serviços a seguir, que impõem limites de cota, são de uso obrigatório e, por isso, usados automaticamente para criar clusters do Dataproc.

Compute Engine

Os clusters do Dataproc usam máquinas virtuais do Compute Engine. As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites referem-se aos clusters que você cria. Por exemplo, para criar um cluster com um nó mestre n1-standard-4 e dois nós de trabalho n1-standard-4, você precisa usar 12 CPUs virtuais (4 * 3). Esse uso do cluster será contabilizado no limite de cota local de 24 CPUs virtuais.

Clusters padrão

Quando você cria um cluster do Dataproc com configurações padrão, são usados os recursos do Compute Engine a seguir.

Item Recursos usados
CPUs virtuais 12
Instâncias de máquina virtual (VM) 3
Disco permanente 1.500 GB

Cloud Logging

O Dataproc salva a saída do driver e os registros dos clusters no Cloud Logging. A cota do Cloud Logging se aplica aos clusters do Dataproc.

Serviços opcionais

Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com clusters do Dataproc.

BigQuery

Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.

Bigtable

Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.