Resourcequota voor Cloud Composer

Voor Cloud Composer gelden de volgende API-quotumlimieten.

Quotumnaam Limiet
Schrijfverzoeken per project 1500/minuut, 25.000/dag
Leesverzoeken per project 1000/minuut

De meeste API-aanroepen kosten 1 eenheid, maar sommige zijn duurder. De volgende API's kosten 100 eenheden: environments.create, environments.update en environments.delete.

De volgende tools zijn op basis van de Cloud Composer API gebouwd en maken gebruik van uw quotum voor de Cloud Composer API:

Cloud Composer maakt gebruik van andere Google Cloud-producten. Deze producten hebben quota op projectniveau, waaronder quota die gelden voor het gebruik van Cloud Composer. Sommige services, zoals Google Compute Engine en Google Cloud Storage, zijn vereist voor het gebruik van Cloud Composer. Andere services kunnen optioneel worden gebruikt met Cloud Composer als er in Airflow connectoren worden ingesteld.

Vereiste services

De volgende services met quotumlimieten worden automatisch (verplicht) gebruikt om Cloud Composer-omgevingen te maken.

  • Deployment Manager
  • Kubernetes Engine (maakt gebruik van Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Stackdriver Logging
  • Cloud Build (bij gebruik van PyPi-afhankelijkheden)

Deployment Manager

Deployment Manager beheert andere Google Cloud-resources die nodig zijn voor Cloud Composer. Elke aanroep van het type gcloud composer create, update of delete komt overeen met één Deployment Manager-schrijfquery en meerdere leesquery's. Hierop is het Deployment Manager-quotum van toepassing.

Kubernetes Engine

De Airflow-planner en -werkrollen worden in een Kubernetes Engine-cluster uitgevoerd. Elke Cloud Composer-omgeving maakt één cluster. Standaard heeft een omgeving drie Compute Engine-VM's, hoewel dit aantal kan worden geconfigureerd tijdens of na het maken van het cluster. Het cluster is van invloed op het Kubernetes Engine-quotum en het aantal nodes op het Compute Engine-quotum.

Cloud Pub/Sub

Cloud Pub/Sub wordt gebruikt voor communicatie tussen de Composer-service en de Airflow-implementatie die we maken. Elke aanroep van het type gcloud composer environments create of update genereert twee Cloud Pub/Sub-onderwerpen en twee Cloud Pub/Sub-abonnementen. Het Cloud Pub/Sub-quotum is van toepassing.

Stackdriver

Cloud Logging wordt gebruikt voor Cloud Composer-logboeken en om Airflow-logboeken te streamen. Het Logging-quotum is van toepassing.

Met Cloud Monitoring kunt u uw Airflow-statistieken in een aangepast dashboard verzamelen en visualiseren. Het Monitoring-quotum is van toepassing.

Cloud Build

Met Cloud Build kunt u aangepaste Docker-images ontwerpen als u PyPi-pakketten installeert. De Cloud Build-quota zijn van toepassing.

Optionele services

U kunt Airflow-operators gebruiken in combinatie met Google Cloud-services. Op elke service die u in een Cloud Composer-omgeving gebruikt, is het quotum van die service van toepassing.