Cotas do Dataproc

Esta página lista os limites de cota da API Dataproc, que são aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos.

Se você executar cargas de trabalho sem servidor do Dataproc, consulte Cotas do Dataproc sem servidor.

Como lidar com erros de cota do Dataproc: se você exceder um limite de cota do Dataproc, será gerado um erro RESOURCE_EXHAUSTED (código HTTP 429), e a respectiva solicitação da API Dataproc apresentará falha. No entanto, como as cotas do Dataproc no seu projeto são atualizadas a cada 60 segundos, será possível fazer a solicitação novamente um minuto depois da falha.

A tabela a seguir indica os tipos específicos e padrão de cota da API Dataproc por projeto, além dos limites de cota e métodos em que se aplicam.

Tipo de cota	Limite	Métodos de API aplicáveis
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy e DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7.500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob e DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7.500	Todas as outras operações (principalmente operações Get)

Como aumentar os limites de cota dos recursos: abra a página IAM e administrador → Cotas e selecione os recursos que você quer modificar. Em seguida, clique em Editar cotas na parte superior da página para iniciar o processo de aumento. Se os recursos que você quer aumentar não estiverem na página, e o filtro atual for "Cotas com uso", mude-o para "Todas as cotas" na lista suspensa "Tipo de cota".

A tabela a seguir lista outros limites para o total de operações e jobs ativos no nível do projeto e da região.

Tipo da cota	Limite	Descrição
ActiveOperationsPerProjectPerRegion	5000	Limite no número total de operações ativas simultâneas de todos os tipos em um único projeto em um único banco de dados regional
ActiveJobsPerProjectPerRegion	5000	Limite no número total de jobs ativos no estado NON_TERMINAL em um único projeto em um único banco de dados regional

Aumento dos limites de operações e trabalhos ativos: abra um tíquete de suporte do Google.

Outras cotas do Google Cloud

Os clusters do Dataproc usam outros produtos do Google Cloud. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataproc. Alguns serviços são obrigatórios para o uso do dataproc, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem ser usados opcionalmente com o dataproc.

Serviços obrigatórios

Os serviços a seguir, que impõem limites de cota, são de uso obrigatório e, por isso, usados automaticamente para criar clusters do Dataproc.

Compute Engine

Os clusters do Dataproc usam máquinas virtuais do Compute Engine. As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites referem-se aos clusters que você cria. Por exemplo, para criar um cluster com um nó mestre n1-standard-4 e dois nós de trabalho n1-standard-4, você precisa usar 12 CPUs virtuais (4 * 3). Esse uso do cluster será contabilizado no limite de cota local de 24 CPUs virtuais.

Cotas de avaliação gratuita: na avaliação gratuita do Compute Engine, o projeto tem um limite de 8 CPUs. Para aumentar esse limite, é preciso ativar o faturamento no projeto.

Clusters padrão

Quando você cria um cluster do Dataproc com configurações padrão, são usados os recursos do Compute Engine a seguir.

Item	Recursos usados
CPUs virtuais	12
Instâncias de máquina virtual (VM)	3
Disco permanente	1.500 GB

Cloud Logging

O Dataproc salva a saída do driver e os registros dos clusters no Cloud Logging. A cota do Cloud Logging se aplica aos clusters do Dataproc.

Serviços opcionais

Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com clusters do Dataproc.

BigQuery

Durante a leitura ou gravação de dados no BigQuery, é usada a cota do BigQuery.

Bigtable

Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.