Ressourcenkontingente von Cloud Composer

Für Cloud Composer gelten die folgenden API-Kontingentlimits.

Kontingentname Limit
Schreibanfragen pro Projekt 1.500/Minute, 25.000/Tag
Leseanfragen pro Projekt 1.000/Minute

Die meisten API-Aufrufe kosten 1 Einheit, einige sind jedoch teurer. Die folgenden APIs kosten 100 Einheiten: environments.create, environments.update und environments.delete.

Diese Tools beruhen auf der Cloud Composer API und nutzen das zugehörige Kontingent:

Cloud Composer nutzt weitere Google Cloud-Produkte. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Cloud Composer betreffen. Einige Dienste sind für die Verwendung von Cloud Composer erforderlich, z. B. Google Compute Engine und Google Cloud Storage. Andere Dienste können beim Einstellen von Connectors in Airflow optional mit Cloud Composer genutzt werden.

Erforderliche Dienste

Die folgenden Dienste, für die Kontingentlimits gelten, sind zum Erstellen von Cloud Composer-Umgebungen erforderlich und werden automatisch verwendet.

  • Deployment Manager
  • Kubernetes Engine (verwendet Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Stackdriver Logging
  • Cloud Build (bei Verwendung von PyPi-Abhängigkeiten)

Deployment Manager

Deployment Manager verwaltet weitere Google Cloud-Ressourcen, die Cloud Composer benötigt. Jeder Aufruf vom Typ gcloud composer create, update oder delete resultiert in einer Deployment Manager-Schreibabfrage und mehreren Leseabfragen, für die das Deployment Manager-Kontingent gilt.

Kubernetes Engine

Airflow-Scheduler und -Worker werden in einem Kubernetes Engine-Cluster ausgeführt. Jede Cloud Composer-Umgebung erstellt einen Cluster. Eine Umgebung hat standardmäßig drei Compute Engine-VMs, wobei sich die Anzahl während oder nach der Erstellung konfigurieren lässt. Der Cluster wirkt sich auf das Kubernetes Engine-Kontingent aus. Die Anzahl der Knoten hat dagegen Auswirkungen auf das Compute Engine-Kontingent.

Cloud Pub/Sub

Cloud Pub/Sub dient der Kommunikation zwischen dem Composer-Dienst und der Airflow-Bereitstellung, die erstellt wird. Bei jedem Aufruf vom Typ gcloud composer environments create oder update werden zwei Pub/Sub-Themen und zwei Cloud Pub/Sub-Abonnements erstellt. Dabei gilt das Cloud Pub/Sub-Kontingent.

Stackdriver

Cloud Logging wird für Cloud Composer-Logs und das Streamen von Airflow-Logs verwendet. Dabei gilt das Logging-Kontingent.

Mit Cloud Monitoring können Sie Ihre Airflow-Messwerte in einem benutzerdefinierten Dashboard erfassen und visualisieren. Es gilt das Monitoring-Kontingent.

Cloud Build

Mit Cloud Build können Sie bei der Installation von PyPi-Paketen benutzerdefinierte Docker-Images erstellen. Dabei gilt das Cloud Build-Kontingent.

Optionale Dienste

Sie können für Google Cloud-Dienste Airflow-Operatoren verwenden. Für alle Dienste, die in einer Cloud Composer-Umgebung verwendet werden, gilt das Kontingent des jeweiligen Diensts.