Cotas sem servidor do Dataproc

O Dataproc sem servidor tem limites de cota de API aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).

A tabela a seguir lista os tipos específicos e padrão de cota da API Dataproc sem servidor do Dataproc, os limites de cota e os métodos a que se aplicam.

Tipo de cota Limite Métodos de API aplicáveis
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation. O cancelamento da cota de operações em lote é compartilhado com o cancelamento da cota da operação do cluster.
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch e DeleteBatch
DefaultRequestsPerMinutePerProjectPerRegion 7.500 GetBatch, ListBatches

Outras cotas do Google Cloud

Os lotes sem servidor do Dataproc usam outros produtos do Google Cloud. Esses produtos têm cotas no nível do projeto, que incluem cotas aplicáveis ao uso sem servidor do Dataproc. Alguns serviços são obrigatórios para o uso do Dataproc sem servidor, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Cloud Bigtable, podem ser usados opcionalmente com o Dataproc sem servidor.

Serviços obrigatórios

Os serviços a seguir, que impõem limites de cota, são de uso automático e obrigatório para a criação de lotes sem servidor do Dataproc.

Compute Engine

Os lotes sem servidor do Dataproc usam a cota do Compute Engine CPUS e DISKS_TOTAL_GB. As cotas do Compute Engine são divididas em limites regionais e globais. Esses limites se aplicam aos lotes que você cria. Por exemplo, para executar um lote do Spark com quatro núcleos de driver (spark.driver.cores=4) e dois executores com quatro núcleos cada (spark.executor.cores=4), você usará 12 CPUs virtuais (4 * 3). Esse lote será contabilizado no limite de cota regional de 24 CPUs virtuais.

Recursos em lote padrão

Quando você cria um lote com configurações padrão, são usados os seguintes recursos do Compute Engine:

Item Recursos usados
CPUs virtuais 12
Instâncias de máquina virtual (VM) 3
Disco permanente 3.000 GB

Cloud Logging

O Dataproc sem servidor salva a saída em lote e os registros no Cloud Logging. A cota do Cloud Logging se aplica aos lotes sem servidor do Dataproc.

Serviços opcionais

Os serviços a seguir, que têm limites de cota, podem ser usados com lotes sem servidor do Dataproc.

BigQuery

Durante a leitura ou gravação de dados no BigQuery, a cota do BigQuery é aplicada.

Bigtable

Durante a leitura ou gravação de dados no Bigtable, é usada a cota do Bigtable.