In diesem Dokument sind die quotas und quotas aufgeführt, die für Cloud Composer gelten. Weitere Informationen zu Kontingenten finden Sie unter Kontingente für Virtual Private Cloud.
Ein Kontingent schränkt ein, wie viel von einer bestimmten gemeinsam genutzten Google Cloud-Ressource Ihr Google Cloud-Projekt nutzen kann, einschließlich Hardware, Software und Netzwerkkomponenten. Daher sind Kontingente Teil eines Systems, das Folgendes tut:
- Ihre Nutzung oder Ihren Verbrauch von Google Cloud-Produkten und -Diensten überwachen.
- Ihren Verbrauch dieser Ressourcen einschränken, um u. a. für Fairness zu sorgen und Nutzungsspitzen zu reduzieren.
- Konfigurationen verwalten, die automatisch vorgeschriebene Einschränkungen erzwingen.
- Möglichkeit, das Kontingent anzufordern oder zu ändern.
Wenn ein Kontingentlimit überschritten wird, blockiert das System in den meisten Fällen den Zugriff auf die entsprechende Google-Ressource und die Aufgabe, die Sie ausführen möchten, schlägt fehl. In den meisten Fällen gelten Kontingente für jedes Google Cloud-Projekt und werden von allen Anwendungen und IP-Adressen geteilt, die dieses Google Cloud-Projekt verwenden.
Verwenden Sie zur Erhöhung/Verringerung der meisten Kontingenten die Google Cloud Console. Weitere Informationen finden Sie unter Höheres Kontingentlimit anfordern.
Für Cloud Composer-Ressourcen gelten außerdem Limits. Diese Limits stehen nicht im Zusammenhang mit dem Kontingentsystem. Limits können nur geändert werden, wenn dies angegeben ist.
Cloud Composer-Kontingente
Die Kontingente in diesem Abschnitt gelten nur für die Cloud Composer API und Tools, die die Cloud Composer API verwenden:
- Cloud Composer-Oberfläche in der Google Cloud Console
gcloud composer
- undgcloud beta composer
-Befehle- Cloud Composer REST API
- Cloud Composer RPC API
- Terraform für Vorgänge mit Cloud Composer-Umgebungen
Die Kontingente in diesem Abschnitt gelten nicht für Dienste, die Sie in Ihren Airflow-DAGs verwenden. Solche Dienste verwenden eigene Kontingente.
Für Cloud Composer gelten die folgenden API-Kontingente:
Kontingentname | Limit |
---|---|
Leseanfragen pro Projekt | 1.000 Kontingenteinheiten pro Minute |
Schreibanfragen pro Projekt | 25.000 Kontingenteinheiten pro Tag |
Schreibanfragen pro Projekt | 1.500 Kontingenteinheiten pro Minute |
Snapshot-Anfragen pro Projekt speichern | 5.000 Kontingenteinheiten pro Tag |
Snapshot-Anfragen pro Projekt speichern | 250 Kontingenteinheiten pro Minute |
Snapshot-Anfragen pro Projekt und Umgebung speichern | 2.600 Kontingenteinheiten pro Tag |
Snapshot-Anfragen pro Projekt laden | 2.500 Kontingenteinheiten pro Tag |
Snapshot-Anfragen pro Projekt laden | Kontingent von 150 pro Minute |
Snapshot-Anfragen pro Projekt und Umgebung laden | 700 Kontingenteinheiten pro Tag |
Für Cloud Composer API-Aufrufe fallen die folgenden Kosten in Kontingenteinheiten an:
Vorgang | Kosten in Kontingenteinheiten | Art der Anfrage |
---|---|---|
Alle Vorgänge | 1 | Lesen |
environments.create | 100 | Schreiben |
environments.patch | 100 | Schreiben |
environments.delete | 100 | Schreiben |
environments.databaseFailover | 100 | Schreiben |
environments.restartWebServer | 100 | Schreiben |
environments.checkUpgrade | 100 | Schreiben |
environments.executeAirflowCommand | 25 | Schreiben |
environments.stopAirflowCommand | 25 | Schreiben |
environments.saveSnapshot | 50 | Snapshot speichern |
environments.loadSnapshot | 50 | Snapshot laden |
Beispiele für die Kontingentberechnung
Eine
environments.create
-Anfrage verbraucht 100 Kontingenteinheiten der Schreibkontingente.Für Schreibanfragen gibt es zwei solche Kontingente:
- Schreibanfragen pro Projekt und Tag
- Schreibanfragen pro Projekt und Minute
Durch diesen Vorgang werden 100 Kontingenteinheiten pro Kontingent verbraucht.
Wenn Sie anschließend eine
environments.restartWebServer
-Anfrage ausführen, werden weitere 100 Kontingenteinheiten aus den gleichen Kontingenten verbraucht, daenvironments.restartWebServer
Kontingente mit derenvironments.create
-Anfrage teilt.Eine
environments.saveSnapshot
-Anfrage verbraucht 50 Kontingenteinheiten aus drei Kontingenten:- Snapshot-Anfragen pro Projekt und Tag speichern
- Snapshot-Anfragen pro Projekt und Minute speichern
- Snapshot-Anfragen pro Projekt, Umgebung und Tag speichern
Diese drei Kontingente begrenzen die maximale Anzahl von
environments.saveSnapshot
-Anfragen. Jedes davon ist anders.Das Kontingentlimit für Snapshot-Anfragen pro Projekt und Tag speichern beträgt 2.500 Kontingenteinheiten. Sie können pro Tag bis zu 50
environments.saveSnapshot
-Anfragen in Ihrem Projekt ausführen.Das Kontingentlimit für Snapshot-Anfragen pro Projekt und Minute speichern beträgt 150 Kontingenteinheiten. In einer Minute können Sie nur bis zu drei
environments.saveSnapshot
-Anfragen in Ihrem Projekt ausführen.Das Kontingentlimit für Snapshot-Anfragen pro Projekt, Umgebung und Tag speichern beträgt 750 Kontingenteinheiten. Sie können pro Tag bis zu 15
environments.saveSnapshot
-Anfragen für eine einzelne Umgebung ausführen. Wenn alle Kontingenteinheiten für eine bestimmte Umgebung verbraucht sind, können Sie trotzdemenvironments.saveSnapshot
-Anfragen für andere Umgebungen in Ihrem Projekt ausführen.
Kontingente für andere Dienste
Cloud Composer verwendet andere Google Cloud-Dienste. Für diese Dienste gelten Kontingente auf Projektebene, die bei der Verwendung von Cloud Composer gelten.
Zum Beispiel gelten Kontingente für Cloud Storage für alle Buckets, die mit Umgebungen in Ihrem Projekt verknüpft sind. Ein weiteres Beispiel: Die Cluster der Umgebung verwenden Google Kubernetes Engine. Daher gelten die Kontingente für GKE für alle Cluster, die mit Umgebungen in Ihrem Projekt verknüpft sind.
Kontingente für Dienste, die von Cloud Composer verwendet werden
Die folgenden Dienste werden von Cloud Composer verwendet. Diese Dienste haben eigene Kontingentlimits:
- Kontingente für Cloud Deployment Manager
- Google Kubernetes Engine-Kontingente
- Compute Engine-Kontingente
- Cloud Storage-Kontingente
- Pub/Sub-Kontingente
- Cloud Logging-Kontingente
- Cloud Monitoring-Kontingente
- Cloud Build-Kontingente (gelten für Umgebungen, die benutzerdefinierte PyPI-Pakete verwenden)
- Artifact Registry-Kontingente
- Kontingente für Identity and Access Management
- Virtual Private Cloud-Kontingente (gilt nicht für Umgebungen, die Private Service Connect verwenden)
- Resource Manager-Kontingente
- Service Directory-Kontingente
Kontingente für optionale Dienste
Sie können Airflow-Operatoren mit Google Cloud-Diensten verwenden. Für jeden Dienst, den Sie in einem DAG verwenden, gelten die Kontingente dieses Dienstes.