Cuotas de Dataproc

Dataproc tiene límites de cuota de las API que se aplican a nivel de proyecto. Esas cuotas se restablecen cada sesenta segundos (un minuto).

En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para las API de Dataproc, los límites de cuotas y los métodos a los que se aplican.

Tipo de cuota Límite Métodos de la API a los que se aplica
AutoscalingOperationRequestsPerMinutePerProject 400 CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy y DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProject 200 CreateCluster, DeleteCluster, UpdateCluster y DiagnoseCluster
GetJobRequestsPerMinutePerProject 7,500 GetJob
JobOperationRequestsPerMinutePerProject 400 SubmitJob, UpdateJob, CancelJob y DeleteJob
WorkflowOperationRequestsPerMinutePerProject 400 CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate y DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProject 7,500 Todas las demás operaciones (principalmente operaciones Get)

Otras cuotas de Google Cloud

Los clústeres de Cloud Dataproc usan otros productos de Google Cloud. Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Dataproc. Algunos servicios son obligatorios para usar Dataproc, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, se pueden usar de forma opcional con Dataproc.

Servicios obligatorios

Los siguientes servicios, que tienen límites de cuota, se usan automáticamente y son necesarios para crear clústeres de Cloud Dataproc.

Compute Engine

Los clústeres de Cloud Dataproc usan máquinas virtuales de Compute Engine. Las cuotas de Compute Engine están divididas en límites regionales y globales. Estos límites se aplican a los clústeres que creas. Por ejemplo, para crear un clúster con un nodo principal n1-standard-4 y dos nodos trabajadores n1-standard-4, usarás 12 CPU virtuales (4 * 3). El uso de este clúster se descuenta del límite de cuota regional de 24  CPU virtuales.

Clústeres predeterminados

Cuando creas un clúster de Cloud Dataproc con la configuración predeterminada, se usan los siguientes recursos de Compute Engine.

Elemento Recursos utilizados
CPU virtuales 12
Instancias de máquina virtual (VM) 3
Disco persistente 1,500 GB

Stackdriver Logging

Cloud Dataproc guarda el resultado del controlador y los registros del clúster en Logging. La cuota de Logging se aplica a los clústeres de Cloud Dataproc.

Servicios opcionales

Los siguientes servicios, que tienen límites de cuota, se pueden usar de forma opcional con los clústeres de Cloud Dataproc.

BigQuery

Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.

Bigtable

Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.

¿Te sirvió esta página? Envíanos tu opinión:

Enviar comentarios sobre…

Documentación de Cloud Dataproc
¿Necesitas ayuda? Visita nuestra página de asistencia.