Ressourcenkontingente für die Cloud Composer-Steuerungsebene

Für Cloud Composer gelten die folgenden API-Kontingentlimits.

Kontingentname Limit
Schreibanfragen pro Projekt 1.500/Minute, 25.000/Tag
Leseanfragen pro Projekt 1.000/Minute

Die meisten API-Aufrufe kosten 1 Einheit, einige sind jedoch teurer. Die folgenden APIs kosten 100 Einheiten: environments.create, environments.update und environments.delete.

Diese Tools beruhen auf der Cloud Composer API und nutzen das zugehörige Kontingent:

Cloud Composer nutzt weitere Google Cloud-Produkte. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Cloud Composer betreffen. Einige Dienste sind für die Verwendung von Cloud Composer erforderlich, z. B. Google Compute Engine und Google Cloud Storage. Andere Dienste können bei der Einstellung von Connectors in Airflow optional mit Cloud Composer genutzt werden.

Erforderliche Dienste

Die folgenden Dienste, für die Kontingentlimits gelten, sind zum Erstellen von Cloud Composer-Umgebungen erforderlich und werden automatisch verwendet.

  • Deployment Manager
  • Kubernetes Engine (verwendet Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Cloud Logging
  • Cloud Monitoring
  • Cloud Build (bei Verwendung von PyPi-Abhängigkeiten)
  • Google Container Registry
  • Google Artifact Registry
  • Identity and Access Management
  • Virtual Private Cloud

Deployment Manager

Deployment Manager verwaltet weitere Google Cloud-Ressourcen, die Cloud Composer benötigt. Jeder Aufruf vom Typ gcloud composer create, update oder delete resultiert in einer Deployment Manager-Schreibabfrage und mehreren Leseabfragen, für die das Deployment Manager-Kontingent gilt.

Kubernetes Engine

Jede Cloud Composer-Umgebung erstellt einen GKE-Cluster, der zum Ausführen von Airflow-Arbeitslasten (z.B. Scheduler) und Composer-Systemarbeitslasten (z.B. Composer-Agent) verwendet wird.

Kubernetes-Dienste verwenden für Compute Engine-VMs für GKE-Knoten. Der Cluster wirkt sich auf das Kubernetes Engine-Kontingent aus. Die Anzahl der Knoten hat dagegen Auswirkungen auf das Compute Engine-Kontingent.

Cloud Pub/Sub

Cloud Pub/Sub dient der Kommunikation zwischen dem Composer-Dienst und der Airflow-Bereitstellung, die erstellt wird. Bei jedem Aufruf vom Typ gcloud composer environments create oder update werden zwei Pub/Sub-Themen und zwei Cloud Pub/Sub-Abonnements erstellt. Dabei gilt das Cloud Pub/Sub-Kontingent.

Cloud Logging und Monitoring

Cloud Logging wird für Cloud Composer-Logs und das Streamen von Airflow-Logs verwendet. Dabei gilt das Logging-Kontingent.

Mit Cloud Monitoring können Sie Ihre Airflow-Messwerte in einem benutzerdefinierten Dashboard erfassen und visualisieren. Es gilt das Monitoring-Kontingent.

Cloud Build

Mit Cloud Build können Sie bei der Installation von PyPi-Paketen benutzerdefinierte Docker-Images erstellen. Dabei gelten die Cloud Build-Kontingente.

Identity and Access Management

Mithilfe der Identitäts- und Zugriffsverwaltung werden Berechtigungen von Cloud Composer-Nutzern und -Dienstkonten geprüft. Beispielsweise können nur Nutzer, die in IAM Ihres Projekts registriert sind und die entsprechenden Berechtigungen haben, auf die Airflow-UI zugreifen. Es gelten die IAM-Kontingente.

Weitere Informationen zu Zugriffs- und Berechtigungssteuerungen finden Sie unter Zugriffssteuerung.

Virtual Private Cloud

Cloud Composer basiert auf dem Google VPC-Netzwerkdienst. Aus diesem Grund gelten die VPC-Kontingente (z. B. Kontingente für VPC-Peerings mit VPC-Netzwerk).

Optionale Dienste

Sie können für Google Cloud-Dienste Airflow-Operatoren verwenden. Für alle Dienste, die in einer Cloud Composer-Umgebung verwendet werden, gilt das Kontingent des jeweiligen Dienstes.