Kontingente und Limits

In diesem Dokument werden die quotas und quotas für Cloud Composer aufgeführt. Weitere Informationen zu Kontingenten finden Sie unter Virtual Private Cloud-Kontingente.

Ein Kontingent schränkt ein, wie viel von einer bestimmten gemeinsam genutzten Google Cloud-Ressource Ihr Google Cloud-Projekt nutzen kann, einschließlich Hardware, Software und Netzwerkkomponenten. Daher sind Kontingente Teil eines Systems, das Folgendes tut:

  • Ihre Nutzung oder Ihren Verbrauch von Google Cloud-Produkten und -Diensten überwachen.
  • Ihren Verbrauch dieser Ressourcen einschränken, um u. a. für Fairness zu sorgen und Nutzungsspitzen zu reduzieren.
  • Konfigurationen verwalten, die automatisch vorgeschriebene Einschränkungen erzwingen.
  • Möglichkeit, das Kontingent anzufordern oder zu ändern.

Wenn ein Kontingentlimit überschritten wird, blockiert das System in den meisten Fällen den Zugriff auf die entsprechende Google-Ressource und die Aufgabe, die Sie ausführen möchten, schlägt fehl. In den meisten Fällen gelten Kontingente für jedes Google Cloud-Projekt und werden von allen Anwendungen und IP-Adressen geteilt, die dieses Google Cloud-Projekt verwenden.

Verwenden Sie zur Erhöhung/Verringerung der meisten Kontingenten die Google Cloud Console. Weitere Informationen finden Sie unter Höheres Kontingentlimit anfordern.

Auch für Cloud Composer-Ressourcen gelten Limits. Diese Limits stehen nicht im Zusammenhang mit dem Kontingentsystem. Limits können nur geändert werden, wenn dies angegeben ist.

Cloud Composer-Kontingente

Die Kontingente in diesem Abschnitt gelten nur für die Cloud Composer API und Tools, die die Cloud Composer API verwenden:

  • Cloud Composer-Schnittstelle in der Google Cloud Console
  • gcloud composer- und gcloud beta composer-Befehle
  • Cloud Composer REST API
  • Cloud Composer-RPC-API
  • Terraform für Vorgänge mit Cloud Composer-Umgebungen

Die Kontingente in diesem Abschnitt gelten nicht für Dienste, die Sie in Ihren Airflow-DAGs verwenden. Diese Dienste verwenden eigene Kontingente.

Für Cloud Composer gelten die folgenden API-Kontingente:

Kontingentname Limit
Leseanfragen pro Projekt 1.000 Kontingenteinheiten pro Minute
Schreibanfragen pro Projekt 25.000 Kontingenteinheiten pro Tag
Schreibanfragen pro Projekt 1.500 Kontingenteinheiten pro Minute
Snapshot-Anfragen pro Projekt speichern 5.000 Kontingenteinheiten pro Tag
Snapshot-Anfragen pro Projekt speichern 250 Kontingenteinheiten pro Minute
Snapshot-Anfragen pro Projekt und Umgebung speichern 2.600 Quoteneinheiten pro Tag
Snapshot-Anfragen pro Projekt laden 2.500 Quoteneinheiten pro Tag
Snapshot-Anfragen pro Projekt laden Kontingent pro Minute von 150
Snapshot-Ladeanfragen pro Projekt und Umgebung 700 Kontingenteinheiten pro Tag

Für Cloud Composer API-Aufrufe fallen in Kontingenteinheiten folgende Kosten an:

Vorgang Kosten in Kontingenteinheiten Art der Anfrage
Alle Vorgänge 1 Lesen
environments.create 100 Schreiben
environments.patch 100 Schreiben
environments.delete 100 Schreiben
environments.databaseFailover 100 Schreiben
environments.restartWebServer 100 Schreiben
environments.checkUpgrade 100 Schreiben
environments.executeAirflowCommand 25 Schreiben
environments.stopAirflowCommand 25 Schreiben
environments.saveSnapshot 50 Snapshot speichern
environments.loadSnapshot 50 Snapshot laden

Beispiele für die Kontingentberechnung

  • Eine environments.create-Anfrage verbraucht 100 Kontingenteinheiten der Write-Kontingente.

    Es gibt zwei solcher Kontingente für Schreibanfragen:

    • Schreibanfragen pro Projekt und Tag
    • Schreibanfragen pro Projekt und Minute

    Dieser Vorgang verbraucht 100 Kontingenteinheiten aus jedem Kontingent.

    Wenn Sie danach eine environments.restartWebServer-Anfrage ausführen, werden in den gleichen Kontingenten weitere 100 Kontingenteinheiten verbraucht, da environments.restartWebServer Kontingente mit der environments.create-Anfrage teilt.

  • Eine environments.saveSnapshot-Anfrage verbraucht 50 Kontingenteinheiten aus drei Kontingenten:

    • Snapshot-Anfragen pro Projekt und Tag speichern
    • Snapshot-Anfragen pro Projekt und Minute speichern
    • Snapshot-Anfragen pro Projekt, Umgebung und Tag speichern

    Diese drei Kontingente begrenzen die maximale Anzahl von environments.saveSnapshot-Anfragen. Beides tut dies auf andere Weise.

    Das Kontingentlimit für Snapshot-Anfragen pro Projekt und Tag speichern beträgt 2.500 Kontingenteinheiten. Sie können in Ihrem Projekt bis zu 50 environments.saveSnapshot-Anfragen pro Tag ausführen.

    Das Kontingentlimit für Snapshot-Anfragen pro Projekt und Minute speichern beträgt 150 Kontingenteinheiten. In einer Minute können Sie in Ihrem Projekt maximal drei environments.saveSnapshot-Anfragen ausführen.

    Schließlich beträgt das Kontingentlimit Snapshot-Anfragen pro Projekt, Umgebung und Tag speichern 750 Kontingenteinheiten. Für eine einzelne Umgebung können pro Tag bis zu 15 environments.saveSnapshot-Anfragen ausgeführt werden. Wenn alle Kontingenteinheiten für eine bestimmte Umgebung verbraucht wurden, können Sie trotzdem environments.saveSnapshot-Anfragen für andere Umgebungen in Ihrem Projekt ausführen.

Kontingente für andere Dienste

Cloud Composer verwendet andere Google Cloud-Dienste. Für diese Dienste gelten Kontingente auf Projektebene, die bei Verwendung von Cloud Composer gelten.

Kontingente für Cloud Storage gelten beispielsweise für alle Buckets, die mit Umgebungen in Ihrem Projekt verknüpft sind. Ein weiteres Beispiel: Die Cluster der Umgebung verwenden Google Kubernetes Engine. Daher gelten Kontingente für GKE für alle Cluster, die mit Umgebungen in Ihrem Projekt verknüpft sind.

Kontingente für von Cloud Composer verwendete Dienste

Die folgenden Dienste werden von Cloud Composer verwendet. Diese Dienste haben eigene Kontingentlimits:

Kontingente für optionale Dienste

Sie können Airflow-Operatoren mit Google Cloud-Diensten verwenden. Jeder Dienst, den Sie in einem DAG verwenden, unterliegt den Kontingenten dieses Dienstes.