Cotas do Dataproc sem servidor

O Dataproc Serverless tem limites de cotas de API aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).

Como lidar com erros de cota do Dataproc sem servidor: se você exceder um limite de cota do Dataproc sem servidor, será gerado um erro RESOURCE_EXHAUSTED (código HTTP 429) e a respectiva solicitação da API Dataproc sem servidor apresentará falha. No entanto, como as cotas do Dataproc Serverless no seu projeto são atualizadas a cada 60 segundos, será possível fazer a solicitação novamente um minuto depois da falha.

A tabela a seguir lista os tipos de cota específicos e padrão por projeto da API Dataproc Serverless, os limites de cota e os métodos em que eles se aplicam.

Tipo de cota	Limite	Métodos ou descrição da API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (a cota de cancelamento da operação em lote é compartilhada com a cota de cancelamento da operação do cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7.500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5000	Limite no número total de operações ativas simultâneas de todos os tipos em um projeto em uma região.

Como aumentar os limites de cota dos recursos: abra a página IAM e cotas do administrador do Google Cloud e selecione os recursos que você quer modificar. Em seguida, clique em Editar cotas na parte superior da página para iniciar o processo de aumento. Se os recursos que você quer aumentar não estiverem na página, e o filtro atual for "Cotas com uso", mude-o para "Todas as cotas" na lista suspensa "Tipo de cota".

Outras cotas do Google Cloud

Os lotes do Dataproc sem servidor usam outros produtos do Google Cloud. Eles têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataproc sem servidor. Alguns serviços são obrigatórios para o uso do Dataproc Serverless, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem ser usados opcionalmente com o Dataproc sem servidor.

Serviços obrigatórios

Os serviços a seguir, que impõem limites de cota, são necessários para criar lotes do Dataproc sem servidor.

Compute Engine

Os lotes do Dataproc Serverless consomem as seguintes cotas de recursos do Compute Engine:

Nível de computação	Cota
Padrão	CPUS
Premium	N2_CPUS
Nível do disco	Cota
Padrão	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY com a família de VMs N2
Acelerador de GPU	Cota
L4	NVIDIA_L4_GPUS
A100 40 GB	NVIDIA_A100_GPUS
A100 80 GB	NVIDIA_A100_80GB_GPUS

As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites se aplicam aos lotes que você cria. Por exemplo, para executar um lote do Spark com quatro núcleos de driver (spark.driver.cores=4) e dois executores com quatro núcleos cada (spark.executor.cores=4), você vai usar 12 CPUs virtuais (4 * 3). Esse uso do lote vai contar no limite de cota regional de 24 CPUs virtuais.

Cotas de avaliação gratuita: na avaliação gratuita do Compute Engine, o projeto tem um limite de 8 CPUs. Para aumentar esse limite, é preciso ativar o faturamento no projeto.

Recursos de lote padrão

Quando você cria um lote com configurações padrão, os seguintes recursos do Compute Engine são usados:

Item	Recursos usados
CPUs virtuais	12
Instâncias de máquina virtual (VM)	3
Disco permanente	1200 GiB

Cloud Logging

O Dataproc Serverless salva a saída de lote e os registros no Cloud Logging. A cota do Cloud Logging se aplica aos seus lotes do Dataproc sem servidor.

Serviços opcionais

Os serviços a seguir, que têm limites de cota, podem ser usados opcionalmente com lotes do Dataproc sem servidor.

BigQuery

Durante a leitura ou gravação de dados no BigQuery, a cota do BigQuery é aplicada.

Bigtable

Durante a leitura ou gravação de dados no Bigtable, a cota do Bigtable é aplicada.