En esta página, se enumeran los límites de cuota de la API de Dataproc, que se aplican a nivel de proyecto y región. Las cuotas se restablecen cada sesenta segundos (un minuto).
En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para las API de Dataproc, los límites de cuotas y los métodos a los que se aplican.
| Tipo de cuota | Límite | Métodos de la API a los que se aplica |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy y DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster, CreateNodeGroup, DeleteNodeGroup y ResizeNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7,500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob y DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate y DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7,500 | Todas las demás operaciones (principalmente operaciones Get) |
En la siguiente tabla, se enumeran los límites adicionales para el total de trabajos y operaciones activos a nivel de proyecto y región.
| Tipo de cuota | Límite | Descripción |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Límite en la cantidad total de operaciones activas simultáneas de todos los tipos en un solo proyecto en una única base de datos regional |
| ActiveJobsPerProjectPerRegion | 5000 | Límite en la cantidad total de trabajos activos en el estado NON_TERMINAL de un solo proyecto en una única base de datos regional |
Otras cuotas de Google Cloud
Los clústeres de Dataproc usan otros productos de Google Cloud. Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Dataproc. Algunos servicios son obligatorios para usar Dataproc, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, se pueden usar de forma opcional con Dataproc.
Servicios obligatorios
Los siguientes servicios, que tienen límites de cuota, se usan automáticamente y son necesarios para crear los clústeres de Dataproc.
Compute Engine
Los clústeres de Dataproc usan máquinas virtuales de Compute Engine.
Las cuotas de Compute Engine están divididas en límites regionales y globales. Estos límites se aplican a los clústeres que creas. Por ejemplo, para crear un clúster con un nodo principal n1-standard-4 y dos nodos trabajadores n1-standard-4, usarás 12 CPU virtuales (4 * 3). El uso de este clúster se descuenta del límite de cuota regional de 24 CPU virtuales.
Clústeres predeterminados
Cuando creas un clúster de Dataproc con la configuración predeterminada, se usan los siguientes recursos de Compute Engine.
| Elemento | Recursos utilizados |
|---|---|
| CPU virtuales | 12 |
| Instancias de máquinas virtuales (VM) | 3 |
| Disco persistente | 1,500 GB |
Cloud Logging
Dataproc guarda el resultado del controlador y los registros del clúster en Cloud Logging. La cuota de Cloud Logging se aplica a tus clústeres de Dataproc.
Servicios opcionales
Los siguientes servicios, que tienen límites de cuota, se pueden usar de forma opcional con los clústeres de Dataproc.
BigQuery
Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.
Bigtable
Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.