Cuotas de Dataproc Serverless

Dataproc Serverless tiene límites de cuota de API que se aplican a nivel de proyecto y región. Esas cuotas se restablecen cada sesenta segundos (un minuto).

Manejo de errores de cuota sin servidores de Dataproc: Si superas un límite de cuota de Dataproc Serverless, un RESOURCE_EXHAUSTED (código HTTP 429) es generado, y la solicitud correspondiente a la API de Dataproc Serverless fallará. Sin embargo, como la cuota de Dataproc Serverless de tu proyecto se actualiza cada sesenta segundos Puedes volver a intentar la solicitud una vez transcurrido un minuto tras la falla.

En la siguiente tabla, se enumeran las métricas específicas y predeterminadas por proyecto Los tipos de cuotas de la API de Dataproc Serverless, los límites de cuota y la los métodos a los que se aplican.

Tipo de cuota	Límite	Métodos o descripción de la API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (la cancelación de la cuota de operaciones por lotes se comparte junto con la cancelación de la cuota de operaciones del clúster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch y DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession y TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7,500	GetBatch, ListBatches, GetSession y ListSessions
ActiveOperationsPerProjectPerRegion	5000	Límite en la cantidad total de operaciones activas simultáneas de todos los tipos en un proyecto en una región.

Aumenta los límites de cuota de recursos: Abre el Google Cloud IAM y Cuotas del administrador y selecciona los recursos que quieres modificar. Luego, para iniciar el proceso de aumento de la cuota, haz clic en Editar cuotas, en la parte superior de la página. Si el recurso que deseas aumentar no aparece en la página y el filtro actual es “Cuotas con uso”, activa o desactiva el filtro “Tipo de cuota” en el menú desplegable para ver “Todas las cuotas”.

Otras cuotas de Google Cloud

Los lotes de Dataproc Serverless usan otros productos de Google Cloud. Estos productos tienen cuotas a nivel de proyecto, que incluyen las que se aplican a Dataproc Serverless usar. Algunos servicios son obligatorios para usar Dataproc Serverless. como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, se puede usar de forma opcional con Dataproc Serverless.

Servicios obligatorios

Los siguientes servicios, que tienen límites de cuota, deben crearse lotes de Dataproc Serverless.

Compute Engine

Los lotes de Dataproc Serverless consumen lo siguiente Cuotas de recursos de Compute Engine:

Nivel de procesamiento	Cuota
Estándar	CPUS
Premium	N2_CPUS
Nivel del disco	Cuota
Estándar	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con la familia de VMs N2
Acelerador de GPU	Cuota
L4	NVIDIA_L4_GPUS
A100 40 GB	NVIDIA_A100_GPUS
A100 80 GB	NVIDIA_A100_80GB_GPUS

Las cuotas de Compute Engine están divididas en límites regionales y globales. Estos límites se aplican a los lotes que crear. Por ejemplo, para ejecutar un lote de Spark con 4 núcleos de controlador (spark.driver.cores=4) y dos ejecutores con 4 núcleos cada uno (spark.executor.cores=4), usarás 12 CPU virtuales (4 * 3). Este uso por lotes se descontará del límite de la cuota regional de 24 CPU virtuales.

Cuotas de la prueba gratuita: si usas la prueba gratuita de Compute Engine, el proyecto tendrá un límite de 8 CPU. Para aumentar este límite, debes habilitar la facturación en el proyecto.

Recursos por lotes predeterminados

Cuando creas un lote con configuración predeterminada, los siguientes Compute Engine se usan los siguientes recursos:

Elemento	Recursos utilizados
CPU virtuales	12
Instancias de máquinas virtuales (VM)	3
Disco persistente	3,000 GB

Cloud Logging

Dataproc Serverless guarda los resultados por lotes y los registros en Cloud Logging. El Cuota de Cloud Logging se aplica a tus lotes de Dataproc Serverless.

Servicios opcionales

Los siguientes servicios, que tienen límites de cuota, se pueden usar de forma opcional con lotes de Dataproc Serverless.

BigQuery

Cuando se leen o escriben datos en BigQuery, el Se aplica la cuota de BigQuery.

Bigtable

Cuando se leen o escriben datos en Bigtable, el Se aplica la cuota de Bigtable.