Cuotas de Dataproc Serverless

Dataproc Serverless tiene límites de cuota de API que se aplican a nivel de proyecto y región. Esas cuotas se restablecen cada sesenta segundos (un minuto).

Manejo de errores de cuota sin servidores de Dataproc: Si superas el límite de cuota de Dataproc Serverless, un RESOURCE_EXHAUSTED (código HTTP 429) es generado, y la solicitud correspondiente a la API de Dataproc Serverless fallará. Sin embargo, como la cuota de Dataproc Serverless de tu proyecto se actualiza cada sesenta segundos Puedes volver a intentar la solicitud una vez transcurrido un minuto tras la falla.

En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para las APIs de Dataproc sin servidores, los límites de cuotas y los métodos a los que se aplican.

Tipo de cuota	Límite	Métodos o descripción de la API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (la cancelación de la cuota de operaciones por lotes se comparte junto con la cancelación de la cuota de operaciones del clúster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch y DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession y TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7,500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5000	Es el límite de la cantidad total de operaciones activas simultáneas de todos los tipos en un proyecto de una región.

Aumenta los límites de cuota de recursos: Abre el Google Cloud IAM y Cuotas del administrador y selecciona los recursos que quieres modificar. Luego, para iniciar el proceso de aumento de la cuota, haz clic en Editar cuotas, en la parte superior de la página. Si el recurso que deseas aumentar no aparece en la página y el filtro actual es “Cuotas con uso”, activa o desactiva el filtro “Tipo de cuota” en el menú desplegable para ver “Todas las cuotas”.

Otras cuotas de Google Cloud

Los lotes de Dataproc Serverless usan otros productos de Google Cloud. Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Dataproc sin servidores. Algunos servicios son obligatorios para usar Dataproc Serverless. como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, se puede usar de forma opcional con Dataproc Serverless.

Servicios obligatorios

Los siguientes servicios, que tienen límites de cuota, son necesarios para crear lotes de Dataproc Serverless.

Compute Engine

Los lotes de Dataproc Serverless consumen lo siguiente Cuotas de recursos de Compute Engine:

Nivel de procesamiento	Cuota
Estándar	CPUS
Premium	N2_CPUS
Nivel del disco	Cuota
Estándar	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con la familia de VMs N2
Acelerador de GPU	Cuota
L4	NVIDIA_L4_GPUS
A100 40 GB	NVIDIA_A100_GPUS
A100 80 GB	NVIDIA_A100_80GB_GPUS

Las cuotas de Compute Engine están divididas en límites regionales y globales. Estos límites se aplican a los lotes que crear. Por ejemplo, para ejecutar un lote de Spark con 4 núcleos de controlador (spark.driver.cores=4) y dos ejecutores con 4 núcleos cada uno (spark.executor.cores=4), usarás 12 CPUs virtuales (4 * 3). Este uso de lotes se descuenta del límite de cuota regional de 24 CPUs virtuales.

Cuotas de la prueba gratuita: si usas la prueba gratuita de Compute Engine, el proyecto tendrá un límite de 8 CPU. Para aumentar este límite, debes habilitar la facturación en el proyecto.

Recursos por lotes predeterminados

Cuando creas un lote con la configuración predeterminada, se usan los siguientes recursos de Compute Engine:

Elemento	Recursos utilizados
CPU virtuales	12
Instancias de máquinas virtuales (VM)	3
Disco persistente	1,200 GiB

Cloud Logging

Dataproc Serverless guarda los resultados por lotes y los registros en Cloud Logging. La cuota de Cloud Logging se aplica a tus lotes sin servidores de Dataproc.

Servicios opcionales

Los siguientes servicios, que tienen límites de cuota, se pueden usar de forma opcional con los lotes de Dataproc Serverless.

BigQuery

Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.

Bigtable

Cuando se leen o escriben datos en Bigtable, el Se aplica la cuota de Bigtable.