Cuotas de Dataproc Serverless

Dataproc Serverless tiene límites de cuota de las APIs que se aplican a nivel de proyecto y región. Esas cuotas se restablecen cada sesenta segundos (un minuto).

Soluciona los errores de cuota sin servidores de Dataproc: Si superas el límite de cuota de Dataproc Serverless, se genera un RESOURCE_EXHAUSTED (código HTTP 429), y falla la solicitud correspondiente a la API de Dataproc Serverless. Sin embargo, puedes volver a enviar la solicitud un minuto después de la falla, ya que la cuota de Dataproc Serverless de tu proyecto se actualiza cada sesenta segundos.

En la siguiente tabla, se enumeran los tipos de cuotas específicos y predeterminados por proyecto de la API de Dataproc Serverless, los límites de cuota y los métodos a los que se aplican.

Tipo de cuota	Límite	Métodos de la API a los que se aplica
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (la cuota de cancelación de operaciones por lotes se comparte con la cuota de cancelación de operaciones del clúster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch y DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession y TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7,500	GetBatch, ListBatches, GetSession y ListSessions

Aumenta los límites de las cuotas de recursos: Abre la página Cuotas de IAM y administración de Google Cloud y selecciona los recursos que deseas modificar. Luego, para iniciar el proceso de aumento de la cuota, haz clic en Editar cuotas, en la parte superior de la página. Si el recurso que deseas aumentar no aparece en la página y el filtro actual es “Cuotas con uso”, activa o desactiva el filtro “Tipo de cuota” en el menú desplegable para ver “Todas las cuotas”.

Otras cuotas de Google Cloud

Los lotes sin servidores de Dataproc usan otros productos de Google Cloud. Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Dataproc Serverless. Algunos servicios son obligatorios para usar Dataproc Serverless, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, se pueden usar de forma opcional con Dataproc Serverless.

Servicios obligatorios

Los siguientes servicios, que aplican límites de cuota, son necesarios para crear lotes de Dataproc Serverless.

Compute Engine

Los lotes sin servidores de Dataproc consumen las siguientes cuotas de recursos de Compute Engine:

Nivel de procesamiento	Cuota
Estándar	CPUS
Premium	N2_CPUS
Nivel de disco	Cuota
Estándar	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con la familia de VMs N2
Acelerador de GPU	Cuota
L4	NVIDIA_L4_GPUS
A100 40 GB	NVIDIA_A100_GPUS
A100 80 GB	NVIDIA_A100_80GB_GPUS

Las cuotas de Compute Engine están divididas en límites regionales y globales. Estos límites se aplican a los lotes que creas. Por ejemplo, para ejecutar un lote de Spark con 4 núcleos de controlador (spark.driver.cores=4) y dos ejecutores con 4 núcleos cada uno (spark.executor.cores=4), usarás 12 CPU virtuales (4 * 3). Este uso por lotes se descontará del límite de cuota regional de 24 CPU virtuales.

Cuotas de la prueba gratuita: si usas la prueba gratuita de Compute Engine, el proyecto tendrá un límite de 8 CPU. Para aumentar este límite, debes habilitar la facturación en el proyecto.

Recursos por lotes predeterminados

Cuando creas un lote con una configuración predeterminada, se usan los siguientes recursos de Compute Engine:

Elemento	Recursos utilizados
CPU virtuales	12
Instancias de máquinas virtuales (VM)	3
Disco persistente	3,000 GB

Cloud Logging

Dataproc Serverless guarda los resultados del lote y los registros en Cloud Logging. La cuota de Cloud Logging se aplica a tus lotes de Dataproc Serverless.

Servicios opcionales

Los siguientes servicios, que tienen límites de cuota, se pueden usar de forma opcional con lotes de Dataproc Serverless.

BigQuery

Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.

Bigtable

Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.