Cuotas de Dataproc

Las cuotas de la API de Dataproc cuentan con unos límites que se aplican a nivel de proyecto. Estas cuotas se renuevan cada 60 segundos (es decir, cada minuto).

En la siguiente tabla se describen los tipos predeterminados de cuota de API de Dataproc por proyecto, los límites que existen en cada caso y los métodos a los que se aplican.

Tipo de cuota Límite Métodos de API a los que se aplica
Solicitudes de operación de autoescalado por minuto y proyecto 400 CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
Solicitudes de operación de clúster por minuto y proyecto 200 CreateCluster, DeleteCluster, UpdateCluster, DiagnoseCluster
Solicitudes de tarea Get por minuto y proyecto 7500 GetJob
Solicitudes de operación de tarea por minuto y proyecto 400 SubmitJob, UpdateJob, CancelJob, DeleteJob
Solicitudes de operación de flujo de trabajo por minuto y proyecto 400 CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
Solicitudes predeterminadas por minuto y proyecto 7500 Todas las demás operaciones (principalmente las operaciones Get)

Otras cuotas de Google Cloud

Los clústeres de Dataproc utilizan otros productos de Google Cloud, que tienen cuotas a nivel de proyecto en las que se incluyen otras cuotas que se aplican al uso de Dataproc. Algunos servicios se deben usar obligatoriamente para poder utilizar Dataproc, como Compute Engine y Cloud Storage, mientras que otros servicios como BigQuery y Bigtable se pueden usar con Dataproc de manera opcional.

Servicios obligatorios

Los siguientes servicios tienen unos límites de cuota concretos y se utilizan de forma automática y obligatoria para crear clústeres de Cloud Dataproc.

Compute Engine

Los clústeres de Cloud Dataproc utilizan máquinas virtuales de Compute Engine. Las cuotas de Compute Engine se dividen entre límites globales y regionales. Estos límites se aplican a los clústeres que crees. Por ejemplo, para crear un clúster con 1 nodo maestro n1-standard-4 y 2 nodos de trabajador n1-standard-4, tendrás que utilizar 12 CPU virtuales (4 * 3). El uso que se haga del clúster se contabilizará a efectos del límite de cuota regional de 24 CPU virtuales.

Clústeres predeterminados

Al crear un clúster de Cloud Dataproc con la configuración predeterminada, se utilizan los recursos de Compute Engine que aparecen a continuación.

Elemento Recursos utilizados
CPU virtuales 12
Instancias de máquina virtual (VM) 3
Disco persistente 1500 GB

Stackdriver Logging

Cloud Dataproc guarda en Logging los registros de clúster y de salida de los controladores. Se aplican las cuotas de Logging a los clústeres de Dataproc.

Servicios opcionales

Los siguientes servicios tienen límites de cuota y se pueden usar con clústeres de Cloud Dataproc de forma opcional.

BigQuery

Al leer o escribir datos en BigQuery, se aplican las cuotas de dicho servicio.

Bigtable

Al leer o escribir datos en Bigtable, se aplican las cuotas de dicho servicio.