Cuotas de Dataproc

En esta página, se enumeran los límites de cuota de la API de Dataproc, que se aplican a nivel de proyecto y región. Las cuotas se restablecen cada sesenta segundos (un minuto).

Para conocer las estrategias de optimización de clústeres que ayudan a evitar problemas de cuota y disponibilidad de recursos, consulta Estrategias de disponibilidad de recursos y zonas.

Si ejecutas cargas de trabajo de Serverless para Apache Spark, consulta Cuotas de Serverless para Apache Spark. Importante: El agotamiento de la cuota de Serverless para Apache Spark puede provocar errores en la creación de lotes y sesiones. Para obtener más información, consulta Soluciona problemas de fallas en la creación de sesiones y lotes de Serverless para Apache Spark.

Soluciona los errores de cuota de Dataproc: Si excedes el límite de una cuota de Dataproc, se genera un error RESOURCE_EXHAUSTED (código HTTP 429) y fallan las solicitudes correspondientes a la API de Dataproc. Sin embargo, puedes volver a enviar la solicitud un minuto después de la falla, ya que la cuota de Dataproc del proyecto se actualiza cada sesenta segundos.

En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para las API de Dataproc, los límites de cuotas y los métodos a los que se aplican.

Tipo de cuota	Límite	Métodos de la API a los que se aplica
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy y DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster y RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7,500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob y DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate y DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7,500	Todas las demás operaciones (principalmente operaciones Get)

Aumenta los límites de las cuotas de recursos: Abre la páginaGoogle Cloud IAM y administración→Cuotas y selecciona los recursos que deseas modificar. Luego, para iniciar el proceso de aumento de la cuota, haz clic en Editar cuotas, en la parte superior de la página. Si el recurso que deseas aumentar no aparece en la página y el filtro actual es “Cuotas con uso”, activa o desactiva el filtro “Tipo de cuota” en el menú desplegable para ver “Todas las cuotas”.

En la siguiente tabla, se enumeran los límites adicionales para las operaciones y los trabajos activos totales a nivel del proyecto y la región.

Tipo de cuota	Límite	Descripción
ActiveOperationsPerProjectPerRegion	5000	Límite de la cantidad total de operaciones activas simultáneas de todos los tipos en un solo proyecto en una sola base de datos regional
ActiveJobsPerProjectPerRegion	5000	Límite de la cantidad total de trabajos activos en estado NON_TERMINAL en un solo proyecto en una sola base de datos regional

Aumenta los límites de las operaciones y los trabajos activos totales: Abre un ticket de asistencia de Google.

Otras Google Cloud cuotas

Los clústeres de Dataproc usan otros productos de Google Cloud . Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Dataproc. Algunos servicios son obligatorios para usar Dataproc, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, pueden usar Dataproc de forma opcional.

Servicios de clúster obligatorios

Los siguientes servicios, que tienen límites de cuota, son necesarios para crear clústeres de Dataproc.

Compute Engine

Los clústeres de Dataproc usan máquinas virtuales de Compute Engine. Las cuotas de Compute Engine se dividen en límites regionales y globales. Estos límites se aplican a los clústeres que creas. Por ejemplo, la creación de un clúster con un nodo n1-standard-4 -m y dos nodos n1-standard-4 -w usa 12 CPU virtuales (4 * 3). El uso de este clúster se descuenta del límite de cuota regional de 24 CPU virtuales.

Cuotas de la prueba gratuita: si usas la prueba gratuita de Compute Engine, el proyecto tendrá un límite de 8 CPU. Para aumentar este límite, debes habilitar la facturación en el proyecto.

Recursos de clústeres predeterminados

Cuando creas un clúster de Dataproc con la configuración predeterminada, se usan los siguientes recursos de Compute Engine.

Recurso	Uso
CPU virtuales	12
Instancias de máquinas virtuales (VM)	3
Disco persistente	1,500 GB

Cloud Logging

Dataproc guarda el resultado del controlador y los registros del clúster en Cloud Logging. La cuota de Logging se aplica a los clústeres de Dataproc.

Servicios de clúster opcionales

De manera opcional, puedes usar los siguientes servicios, que tienen límites de cuota, con los clústeres de Dataproc.

BigQuery

Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.

Bigtable

Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.

Disponibilidad de recursos y estrategias de zonas

Para optimizar los clústeres en función de la disponibilidad de recursos y mitigar posibles errores de falta de stock, considera las siguientes estrategias:

• Posición de zona automática: Cuando crees clústeres, usa la posición de zona automática. Esto permite que Dataproc seleccione una zona óptima dentro de la región especificada, lo que mejora las probabilidades de que se cree el clúster correctamente.

• Cuotas regionales: Verifica que tus cuotas regionales de Compute Engine sean suficientes, ya que las cuotas se pueden agotar incluso con la colocación automática de zonas si la capacidad regional total es insuficiente para tus solicitudes.

• Flexibilidad del tipo de máquina: Si experimentas faltantes persistentes con un tipo de máquina específico, usa un tipo de máquina diferente que esté más disponible para tu clúster.