Quotas do Dataproc

Esta página lista os limites de quota da API Dataproc, que são aplicados ao nível do projeto e da região. As quotas são repostas a cada sessenta segundos (um minuto).

Para que as estratégias de otimização de clusters ajudem a evitar problemas de disponibilidade de recursos e de quotas, consulte o artigo Disponibilidade de recursos e estratégias de zonas.

Se executar cargas de trabalho sem servidor para o Apache Spark, consulte as cotas sem servidor para o Apache Spark. Importante: o esgotamento da quota do Serverless para Apache Spark pode resultar em falhas na criação de lotes e sessões. Para mais informações, consulte o artigo Resolva problemas de falhas de criação de sessões e lotes do Apache Spark sem servidor.

Processamento de erros de quota do Dataproc: se exceder um limite de quota do Dataproc, é gerado um erro RESOURCE_EXHAUSTED (código HTTP 429) e o pedido da API Dataproc correspondente falha. No entanto, uma vez que a quota do Dataproc do seu projeto é atualizada a cada sessenta segundos, pode tentar novamente o seu pedido após um minuto desde a falha.

A tabela seguinte apresenta os tipos de quotas da API Dataproc específicos e predefinidos por projeto, os limites de quotas e os métodos aos quais se aplicam.

Tipo de quota	Limite	Métodos da API aplicáveis
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob, DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	Todas as outras operações (principalmente operações Get)

Aumentar os limites de quota de recursos: abra a página Google Cloud IAM e administração→Quotas e selecione os recursos que quer modificar. Em seguida, clique em Editar quotas na parte superior da página para iniciar o processo de aumento de quotas. Se os recursos que está a tentar aumentar não forem apresentados na página e a filtragem atual for "Quotas com utilização", altere a filtragem para "Todas as quotas" ativando/desativando o menu pendente "Tipo de quota".

A tabela seguinte apresenta limites adicionais para o total de operações e tarefas ativas ao nível do projeto e da região.

Tipo de quota	Limite	Descrição
ActiveOperationsPerProjectPerRegion	5000	Limite do número total de operações ativas simultâneas de todos os tipos num único projeto numa única base de dados regional
ActiveJobsPerProjectPerRegion	5000	Limite do número total de tarefas no estado NON_TERMINAL num único projeto numa única base de dados regional

Aumentar os limites do total de operações e tarefas ativas: Abra um pedido de apoio técnico da Google.

Outras Google Cloud cotas

Os clusters do Dataproc usam outros Google Cloud produtos. Estes produtos têm quotas ao nível do projeto, que incluem quotas aplicáveis à utilização do Dataproc. Alguns serviços são necessários para usar o Dataproc, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem usar o Dataproc opcionalmente.

Serviços de cluster obrigatórios

Os seguintes serviços, que aplicam limites de quota, são necessários para criar clusters do Dataproc.

Compute Engine

Os clusters do Dataproc usam máquinas virtuais do Compute Engine. As quotas do Compute Engine estão divididas em limites regionais e globais. Estes limites aplicam-se aos clusters que criar. Por exemplo, a criação de um cluster com um nó n1-standard-4 -m e dois nós n1-standard-4 -w usa 12 CPUs virtuais (4 * 3). Esta utilização do cluster conta para o limite de quota regional de 24 CPUs virtuais.

Quotas da avaliação gratuita: se usar a avaliação gratuita do Compute Engine, o seu projeto tem um limite de 8 CPUs. Para aumentar este limite, tem de ativar a faturação no projeto.

Recursos de clusters predefinidos

Quando cria um cluster do Dataproc com as predefinições, são usados os seguintes recursos do Compute Engine.

Recurso	Utilização
CPUs virtuais	12
Instâncias de máquinas virtuais (VMs)	3
Disco persistente	1500 GB

Cloud Logging

O Dataproc guarda a saída do controlador e os registos do cluster no Cloud Logging. A quota de registo aplica-se aos clusters do Dataproc.

Serviços de cluster opcionais

Opcionalmente, pode usar os seguintes serviços, que têm limites de quota, com clusters do Dataproc.

BigQuery

Quando lê ou escreve dados no BigQuery, aplica-se a quota do BigQuery.

Bigtable

Quando lê ou escreve dados no Bigtable, aplica-se a quota do Bigtable.

Disponibilidade de recursos e estratégias de zonas

Para otimizar os clusters em função da disponibilidade de recursos e mitigar potenciais erros de rutura de stock, considere as seguintes estratégias:

• Posicionamento automático de zonas: quando criar clusters, use o posicionamento automático de zonas. Isto permite que o Dataproc selecione uma zona ideal na região especificada, o que melhora as probabilidades de criação bem-sucedida do cluster.

• Quotas regionais: verifique se as quotas regionais do Compute Engine são suficientes, uma vez que as quotas podem esgotar-se mesmo com o posicionamento automático de zonas se a capacidade regional total for insuficiente para os seus pedidos.

• Flexibilidade do tipo de máquina: se tiver problemas persistentes de indisponibilidade com um tipo de máquina específico, use um tipo de máquina diferente e mais disponível para o seu cluster.