Kontingente und Limits

In diesem Dokument sind die für Cloud Composer geltenden Kontingente und Limits aufgeführt. Kontingente geben die Menge einer zählbaren, gemeinsam genutzten Ressource an, die Sie verwenden können und die durch Google Cloud-Dienste definiert werden, z. B. Cloud Composer Systemlimits sind feste Werte, die nicht geändert werden können.

Google Cloud nutzt Kontingente, um Fairness zu gewährleisten und Spitzen bei Ressourcennutzung und -verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einer Google Cloud-Ressource Ihr Google Cloud-Projekt nutzen darf. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt gleichzeitig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Die Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community der Google Cloud-Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud-Ressourcen.

Das Cloud-Kontingentsystem ermöglicht Folgendes:

  • Ihren Verbrauch von Google Cloud-Produkten und -Diensten überwachen
  • Ihren Verbrauch dieser Ressourcen einschränken
  • Eine Möglichkeit bieten, Änderungen am Kontingentwert anzufordern

Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie ausführen möchten, schlägt fehl.

Kontingente gelten in der Regel auf Google Cloud-Projektebene. Ihre Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf Ihr verfügbares Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud-Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.

Für die Anpassung der meisten Kontingente verwenden Sie die Google Cloud Console. Weitere Informationen finden Sie unter Kontingentanpassung beantragen.

Für Cloud Composer-Ressourcen gelten außerdem Systemlimits. Systemlimits können nicht geändert werden.

Cloud Composer-Kontingente

Die Kontingente in diesem Abschnitt gelten nur für die Cloud Composer API und Tools, die die Cloud Composer API nutzen:

  • Cloud Composer-Oberfläche in der Google Cloud Console
  • Befehle gcloud composer und gcloud beta composer
  • Cloud Composer REST API
  • Cloud Composer RPC API
  • Terraform für Vorgänge mit Cloud Composer-Umgebungen

Die Kontingente in diesem Abschnitt gelten nicht für Dienste, die Sie in Ihren Airflow-DAGs verwenden. Solche Dienste verwenden eigene Kontingente.

Für Cloud Composer gelten die folgenden API-Kontingente:

Kontingentname Limit
Leseanfragen pro Projekt 1.000 Kontingenteinheiten pro Minute
Schreibanfragen pro Projekt 25.000 Kontingenteinheiten pro Tag
Schreibanfragen pro Projekt 1.500 Kontingenteinheiten pro Minute
Snapshot-Anfragen pro Projekt speichern 5.000 Kontingenteinheiten pro Tag
Snapshot-Anfragen pro Projekt speichern 250 Kontingenteinheiten pro Minute
Snapshot-Anfragen pro Projekt und Umgebung speichern 2.600 Kontingenteinheiten pro Tag
Snapshot-Anfragen pro Projekt laden 2.500 Kontingenteinheiten pro Tag
Snapshot-Anfragen pro Projekt laden Kontingent von 150 pro Minute
Snapshot-Anfragen pro Projekt und Umgebung laden 700 Kontingenteinheiten pro Tag

Cloud Composer API-Aufrufe verursachen die folgenden Kosten in Kontingenteinheiten:

Aktion Kosten in Kontingenteinheiten Art der Anfrage
Alle Vorgänge 1 Lesen
environments.create 100 Schreiben
environments.patch 100 Schreiben
environments.delete 100 Schreiben
environments.databaseFailover 100 Schreiben
environments.restartWebServer 100 Schreiben
environments.checkUpgrade 100 Schreiben
environments.executeAirflowCommand 25 Schreiben
environments.stopAirflowCommand 25 Schreiben
environments.saveSnapshot 50 Snapshot speichern
environments.loadSnapshot 50 Snapshot laden

Beispiele für die Kontingentberechnung

  • Eine environments.create-Anfrage verbraucht 100 Kontingenteinheiten aus dem Schreibkontingent.

    Es gibt zwei solche Kontingente für Schreibanfragen:

    • Schreibanfragen pro Projekt und Tag
    • Schreibanfragen pro Projekt und Minute

    Durch diesen Vorgang werden 100 Kontingenteinheiten pro Kontingent verbraucht.

    Wenn Sie einen environments.restartWebServer ausführen werden weitere 100 Kontingenteinheiten Kontingente, da environments.restartWebServer Kontingente mit dem environments.create-Anfrage.

  • Eine environments.saveSnapshot-Anfrage verbraucht 50 Kontingenteinheiten aus drei Kontingenten:

    • Snapshot-Anfragen pro Projekt und Tag speichern
    • Snapshot-Anfragen pro Projekt und Minute speichern
    • Snapshot-Anfragen pro Projekt, Umgebung und Tag speichern

    Diese drei Kontingente begrenzen die maximale Anzahl von environments.saveSnapshot -Anfragen. Jedes davon ist anders.

    Das Kontingentlimit für Snapshot-Anfragen pro Projekt und Tag speichern beträgt 2.500. Quoteneinheiten. Sie können in Ihrem Projekt täglich bis zu 50 environments.saveSnapshot-Anfragen ausführen.

    Das Kontingentlimit für Snapshot-Anfragen pro Projekt und Minute speichern beträgt 150. Quoteneinheiten. In einer Minute können Sie in Ihrem Projekt nur bis zu drei environments.saveSnapshot-Anfragen ausführen.

    Der Befehl Snapshot-Anfragen pro Projekt, Umgebung und Tag speichern Das Kontingentlimit beträgt 750 Kontingenteinheiten. Sie können täglich bis zu 15 environments.saveSnapshot-Anfragen für eine einzelne Umgebung ausführen. Wenn für eine bestimmte Umgebung alle Kontingenteinheiten aufgebraucht sind, können Sie weiterhin environments.saveSnapshot-Anfragen für andere Umgebungen in Ihrem Projekt ausführen.

Kontingente für andere Dienste

Cloud Composer nutzt weitere Google Cloud-Dienste. Für diese Dienste gelten Kontingente auf Projektebene, die bei der Nutzung von Cloud Composer gelten.

Zum Beispiel gelten Kontingente für Cloud Storage für alle Buckets, die mit in Ihrem Projekt erstellen. Ein weiteres Beispiel: Die Cluster der Umgebung nutzen Google Kubernetes Engine. gelten für alle Cluster, die mit Umgebungen in für Ihr Projekt.

Kontingente für Dienste, die von Cloud Composer verwendet werden

Die folgenden Dienste werden von Cloud Composer verwendet. Diese Dienste haben eigene Kontingentlimits:

Kontingente für optionale Dienste

Sie können Airflow-Operatoren mit Google Cloud-Diensten. Für alle Dienste, die Sie in einer DAG verwenden, gilt das Kontingent des jeweiligen Dienstes.