In diesem Dokument sind die Kontingente und Limits für Cloud Composer aufgeführt.
Google Cloud nutzt Kontingente, um Fairness zu gewährleisten und Spitzen bei Ressourcennutzung und -verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einer Google Cloud-Ressource Ihr Google Cloud-Projekt nutzen darf. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt gleichzeitig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Die Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community der Google Cloud-Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud-Ressourcen.
Das Cloud-Kontingentsystem ermöglicht Folgendes:
- Ihren Verbrauch von Google Cloud-Produkten und -Diensten überwachen
- Ihren Verbrauch dieser Ressourcen einschränken
- Eine Möglichkeit bieten, Änderungen am Kontingentwert anzufordern
Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie ausführen möchten, schlägt fehl.
Kontingente gelten in der Regel auf Google Cloud-Projektebene. Ihre Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf Ihr verfügbares Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud-Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.
Verwenden Sie zur Erhöhung/Verringerung der meisten Kontingenten die Google Cloud Console. Weitere Informationen finden Sie unter Höheres Kontingentlimit anfordern.
Für Cloud Composer-Ressourcen gelten außerdem Limits. Diese Limits stehen nicht im Zusammenhang mit dem Kontingentsystem. Limits können nur geändert werden, wenn dies angegeben ist.
Cloud Composer-Kontingente
Die Kontingente in diesem Abschnitt gelten nur für die Cloud Composer API und Tools, die die Cloud Composer API nutzen:
- Cloud Composer-Benutzeroberfläche in der Google Cloud Console
gcloud composer
- undgcloud beta composer
-Befehle- Cloud Composer REST API
- Cloud Composer-RPC API
- Terraform für Vorgänge mit Cloud Composer-Umgebungen
Die Kontingente in diesem Abschnitt gelten nicht für Dienste, die Sie in Ihren Airflow-DAGs verwenden. Für solche Dienste gelten eigene Kontingente.
Für Cloud Composer gelten die folgenden API-Kontingente:
Kontingentname | Limit |
---|---|
Leseanfragen pro Projekt | 1.000 Kontingenteinheiten pro Minute |
Schreibanfragen pro Projekt | 25.000 Kontingenteinheiten pro Tag |
Schreibanfragen pro Projekt | 1.500 Kontingenteinheiten pro Minute |
Snapshot-Anfragen pro Projekt speichern | 5.000 Kontingenteinheiten pro Tag |
Snapshot-Anfragen pro Projekt speichern | 250 Kontingenteinheiten pro Minute |
Snapshot-Anfragen pro Projekt und Umgebung speichern | 2.600 Kontingenteinheiten pro Tag |
Snapshot-Anfragen pro Projekt laden | 2.500 Kontingenteinheiten pro Tag |
Snapshot-Anfragen pro Projekt laden | Kontingent von 150 pro Minute |
Snapshot-Anfragen pro Projekt und Umgebung laden | 700 Kontingenteinheiten pro Tag |
Cloud Composer API-Aufrufe verursachen die folgenden Kosten in Kontingenteinheiten:
Aktion | Kosten in Kontingenteinheiten | Art der Anfrage |
---|---|---|
Alle Vorgänge | 1 | Lesen |
environments.create | 100 | Schreiben |
environments.patch | 100 | Schreiben |
environments.delete | 100 | Schreiben |
environments.databaseFailover | 100 | Schreiben |
environments.restartWebServer | 100 | Schreiben |
environments.checkUpgrade | 100 | Schreiben |
environments.executeAirflowCommand | 25 | Schreiben |
environments.stopAirflowCommand | 25 | Schreiben |
environments.saveSnapshot | 50 | Snapshot speichern |
environments.loadSnapshot | 50 | Snapshot laden |
Beispiele für die Kontingentberechnung
Eine
environments.create
-Anfrage verbraucht 100 Kontingenteinheiten aus dem SchreibkontingenteFür Schreibanfragen gibt es zwei solche Kontingente:
- Schreibanfragen pro Projekt und Tag
- Schreibanfragen pro Projekt und Minute
Bei diesem Vorgang werden 100 Kontingenteinheiten aus jedem Kontingent verbraucht.
Wenn Sie einen
environments.restartWebServer
ausführen werden weitere 100 Kontingenteinheiten Kontingente, daenvironments.restartWebServer
Kontingente mit demenvironments.create
-Anfrage.Eine
environments.saveSnapshot
-Anfrage verbraucht 50 Kontingenteinheiten von drei Kontingente:- Snapshot-Anfragen pro Projekt und Tag speichern
- Snapshot-Anfragen pro Projekt und Minute speichern
- Snapshot-Anfragen pro Projekt und Umgebung pro Tag speichern
Diese drei Kontingente begrenzen die maximale Anzahl von
environments.saveSnapshot
-Anfragen. Jedes davon ist anders.Das Kontingentlimit für Snapshot-Anfragen pro Projekt und Tag beträgt 2.500 Kontingenteinheiten. Sie können in Ihrem Projekt täglich bis zu 50
environments.saveSnapshot
-Anfragen ausführen.Das Kontingentlimit für Speichern von Snapshot-Anfragen pro Projekt und Minute liegt bei 150 Kontingenteinheiten. In einer Minute können Sie maximal drei
environments.saveSnapshot
-Anfragen in Ihrem Projekt.Das Kontingentlimit für Speicheranfrage pro Projekt und Umgebung pro Tag beträgt 750 Kontingenteinheiten. Sie können täglich bis zu 15
environments.saveSnapshot
-Anfragen für eine einzelne Umgebung ausführen. Wenn alle Kontingenteinheiten für eine bestimmte Umgebung verbraucht sind, können Sieenvironments.saveSnapshot
-Anfragen für andere Umgebungen in Ihrem Projekt arbeiten.
Kontingente für andere Dienste
Cloud Composer nutzt weitere Google Cloud-Dienste. Diese Dienste haben Kontingente auf Projektebene, die bei der Verwendung von Cloud Composer gelten.
So gelten beispielsweise die Kontingente für Cloud Storage für alle Buckets, die mit Umgebungen in Ihrem Projekt verknüpft sind. Angenommen, die Cluster der Umgebung verwenden die Google Kubernetes Engine. In diesem Fall gelten die Kontingente für GKE für alle Cluster, die mit Umgebungen in Ihrem Projekt verknüpft sind.
Kontingente für Dienste, die von Cloud Composer verwendet werden
Die folgenden Dienste werden von Cloud Composer verwendet. Diese Dienste haben eigene Kontingentlimits:
- Cloud Deployment Manager-Kontingente
- Google Kubernetes Engine-Kontingente
- Compute Engine-Kontingente
- Cloud Storage-Kontingente
- Pub/Sub-Kontingente
- Kontingente für Cloud Logging
- Cloud Monitoring-Kontingente
- Cloud Build-Kontingente (gelten für Umgebungen, in denen benutzerdefinierte PyPI-Pakete)
- Artifact Registry-Kontingente
- Identity and Access Management-Kontingente
- Kontingente für Virtual Private Cloud (gilt nicht für Umgebungen, in denen Private Service Connect verwendet wird)
- Resource Manager-Kontingente
- Service Directory-Kontingente
Kontingente für optionale Dienste
Sie können für Google Cloud-Dienste Airflow-Operatoren verwenden. Alle Dienste, die Sie in einem DAG verwenden, die Kontingente dieses Dienstes.