Cloud Composer-Versionsverwaltung

Auf dieser Seite werden die Cloud Composer-Versionsverwaltung und die Unterschiede zwischen den Haupt-Cloud Composer-Versionen beschrieben.

Hauptversionen von Cloud Composer

Cloud Composer hat die folgenden Hauptversionen:

  • Cloud Composer 1. Manuelle Umgebungsskalierung, die Infrastruktur in Ihren Projekten und Netzwerken bereitgestellt.
  • Cloud Composer 2. In dieser Version wird der Cluster der Umgebung automatisch skaliert, um die Ressourcenanforderungen zu erfüllen.
  • Cloud Composer 3. Bei dieser Version wurde die Netzwerkeinrichtung vereinfacht. Infrastrukturkomponenten, einschließlich der Umgebungscluster und Abhängigkeiten von anderen Diensten.

Vergleich der Cloud Composer-Versionen

In der folgenden Tabelle sind die wichtigsten Unterschiede zwischen Cloud Composer 1, Cloud Composer 2 und Cloud Composer 3.

Funktion Cloud Composer 1 Cloud Composer 2 Cloud Composer 3
Image-Version composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z composer-3-airflow-x.y.z-build.t
Airflow-Versionen Airflow 1.10.* und Airflow 2 Airflow 2 Airflow 2
Python-Versionen 3.8.12 3.11.5 und 3.8.12 in früheren Versionen 3.11.5
Cluster der Umgebung VPC-nativer oder routenbasierter Google Kubernetes Engine-Cluster im Standardmodus VPC-nativer Google Kubernetes Engine-Cluster im Autopilot-Modus Der Cluster der Umgebung wird nicht in Ihrem Projekt bereitgestellt.
Horizontale Skalierung Kann die Anzahl der Knoten im Cluster der Umgebung anpassen. Dadurch wird die Anzahl der Airflow-Worker geändert.
Kann die Anzahl der Airflow-Planer anpassen.		 Automatische Skalierung der Anzahl der Airflow-Worker nach Bedarf. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer und -Trigger anpassen		 Anzahl der Airflow-Worker je nach Bedarf automatisch skalieren. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Anzahl der Airflow-Planer, Trigger und DAG-Prozessoren anpassen
Vertikale Skalierung Kann beim Erstellen einer Umgebung Maschinentypen für Clusterknoten, den Airflow-Webserver und die Datenbank festlegen. Kann Maschinentypen für den Airflow-Webserver und die Airflow-Datenbank ändern. Kann die Arbeitslastenkonfiguration festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, -Planer, -Webserver und -Umgebungsgröße. Kann die Konfiguration der Arbeitslasten festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, Planer, Webserver, DAG-Prozessoren und Umgebungsgröße.
Preismodell Cloud Composer 1-Preismodell Cloud Composer 2-Preismodell Cloud Composer 3-Preismodell
Zugriffssteuerung Cloud Composer 1-Rollen Cloud Composer-Rollen. Verwendet die Workload Identity Federation for GKE und erfordert zusätzliche Berechtigungen für das Cloud Composer-Dienst-Agent-Konto. Cloud Composer-Rollen. Verwendet die Identitätsföderation von Arbeitslasten für GKE. Es sind keine zusätzlichen Berechtigungen erforderlich
Zugriff über die Mitarbeiteridentitätsföderation Nicht unterstützt Unterstützt Unterstützt
Äußerst robuste Umgebungen Nicht unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Privates IP-Netzwerk VPC-Peerings Private Service Connect Vereinfachte Netzwerkeinrichtung. Kann in einer vorhandenen Umgebung zwischen öffentlicher und privater IP-Adresse geändert werden.
VPC Service Controls Unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Airflow-Executors Celery Executor Celery Executor CeleryKubernetes-Executor
Airflow-Trigger (zurückstellbare Operatoren) Nicht unterstützt Unterstützt Unterstützt
CMEK Unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Webserverzugriffssteuerungen Unterstützt Unterstützt Unterstützt
Webserver neu starten Unterstützt Unterstützt Unterstützt
Webserver-Plug-ins Unterstützt in Airflow 1-Umgebungen mit deaktivierter DAG-Serialisierung. Unterstützt Unterstützte Plug-ins können auf Anfrage deaktiviert und aktiviert werden.
Benutzerdefinierte Plug-ins installieren Unterstützt Unterstützt Unterstützt
Wartungsvorgänge Alle Aufgaben können davon betroffen sein. Aufgaben, die weniger als 55 Minuten dauern, sind nicht betroffen. Aufgaben, die weniger als 55 Minuten dauern, sind nicht betroffen.
Snapshots speichern Unterstützt für Airflow 2.x und 1.10.15 Unterstützt Unterstützt
Snapshots laden Nicht unterstützt Unterstützt Unterstützt
Geplante Snapshots Nicht unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Bucket der benutzerdefinierten Umgebung Nicht unterstützt Unterstützt Unterstützt
Airflow-Aufgabenlogs nur in Cloud Logging speichern Nicht unterstützt Unterstützt Unterstützt
Einbindung der Datenabfolge Nicht unterstützt Unterstützt Unterstützt

Cloud Composer-Images

Zur Ausführung von Apache Airflow erstellt Cloud Composer Docker-Images, in denen Airflow-Versionen mit anderen gängigen Binärdateien und Python-Bibliotheken gebündelt werden.

Cloud Composer-Images enthalten Airflow-Änderungen, die spezifisch für Cloud Composer und für die vorgelagerte Airflow-Codebasis nicht geeignet sind. Jedes Cloud Composer-Image enthält vorinstallierte Pakete sowie Cloud Composer-spezifische Airflow-Änderungen.

Google veröffentlicht regelmäßig neue Cloud Composer-Images:

  • In Cloud Composer 3 enthalten Images neue Builds der unterstützten Airflow-Versionen. Sie können eine Airflow-Version und einen Build auswählen, die Sie verwenden möchten. Ihre Umgebung erhält automatisch Cloud Composer-Verbesserungen.

  • In Cloud Composer 2 und Cloud Composer 1 enthalten Images Cloud Composer-Verbesserungen und neue Builds der unterstützten Airflow-Versionen. Um Cloud Composer-Verbesserungen zu erhalten, müssen Sie ein Upgrade Ihrer Umgebung auf eine neuere Version von Cloud Composer durchführen.

Unterstützte und verworfene Versionen

Composer 3

Google unterstützt eine Airflow-Version nach der ersten Release:

  • Wenn die Nebenversion von Airflow die aktuell in Cloud Composer 3 verfügbar, alle Airflow-Builds mit diese Nebenversion vollständig unterstützt werden. Das genaue Enddatum des Supports ist wann eine neue Nebenversion von Airflow verfügbar ist, Cloud Composer 3.

  • Wenn eine neue Nebenversion von Airflow in Cloud Composer 3 verfügbar ist, werden alle Builds mit der vorherigen Airflow-Nebenversion ab diesem Datum 12 Monate lang unterstützt. Wenn es mehrere Builds gibt, enthalten dieselbe Airflow-Nebenversion, alle haben dasselbe Ende Datum des vollständigen Supports.

  • Wenn eine Nebenversion nicht mehr vollständig unterstützt wird, die diese Version ausführen, werden ebenfalls nicht unterstützt und werden vollständig vom Nutzer verwaltet. Ich eine solche Umgebung immer noch auf ein vollständiges Upgrade unterstützte Airflow-Version.

Sie können Umgebungen mit allen vollständig unterstützten Airflow-Builds erstellen.

Sie können eine Umgebung mit einem Airflow-Build verwenden, der nicht mehr unterstützt. Die Umgebung funktioniert weiterhin und Sie können sie weiter verwenden. Sie können sie auch auf eine vollständig unterstützte Version umstellen.

Composer 2

Google unterstützt Cloud Composer 2-Versionen für einen bestimmten Zeitraum nach der Veröffentlichung. Während dieses Zeitraums Umgebungen, in denen diese Versionen verwendet werden, werden vollständig unterstützt.

Die Unterstützung für Cloud Composer 2-Versionen ist so definiert:

  • 0 bis 12 Monate ab dem Releasedatum: Cloud Composer 2 Umgebungen, in denen diese Versionen ausgeführt werden, werden vollständig unterstützt.

  • Mehr als 12 Monate ab dem Releasedatum: Cloud Composer 2 Umgebungen, in denen diese Versionen ausgeführt werden, werden nicht unterstützt.

Sie können Cloud Composer-Versionen nach dem Datum verwenden, nach dem sie nicht mehr unterstützt werden. Wenn Ihre Umgebung beispielsweise auf einer Cloud Composer-Version basiert, deren Supportzeitraum abgelaufen ist, funktioniert die Umgebung weiterhin und Sie können sie weiterhin verwenden. In diesem Fall empfehlen wir ein Upgrade Ihrer Umgebung auf eine unterstützte Version.

Composer 1

Neue Cloud Composer 1-Versionen wurden bis Ende März 2023 veröffentlicht. Alle freigegebenen Cloud Composer 1-Versionen folgen dieselbe Richtlinie zur Einstellung von Versionen wie für Cloud Composer 2 und werden unterstützt. entsprechend.

Am 25. März 2024 wurde Cloud Composer 1 in den Modus nach der Wartung versetzt. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow, Fehlerkorrekturen und Sicherheitsupdates. Wir empfehlen die Migration zu Cloud Composer 2.

Unterstützung für Airflow-Versionen

Airflow folgt dem semantischen Schema zur Verwaltung von Softwareversionen. Jede Airflow-Version hat eine Hauptversion, eine Nebenversion und eine Patchversion.

Composer 3

In Cloud Composer 3 sind neue Airflow-Versionen und -Builds als die die Zeit vergeht.

Ihre Umgebung funktioniert mit allen vorherigen Airflow-Versionen und -Builds. und erhält automatisch Aktualisierungen der Infrastrukturkomponenten. Jedes Version und Build werden unterstützt, wie unter Unterstützung und Einstellung von Versionen können Ihre Airflow-Version auf eine neuere Version oder einen Build aktualisieren.

Composer 2

Eine Liste der Airflow-Versionen, die in jeder Cloud Composer-Version unterstützt werden, finden Sie in der Liste der Cloud Composer-Versionen.

  • In jedem Release unterstützt Cloud Composer 2 zwei Nebenversionen von Airflow 2.

    Cloud Composer 2.4.0 unterstützt beispielsweise Airflow 2.4.* und Airflow 2.5.*

  • Cloud Composer unterstützt für jede Nebenversion von Airflow 2 eine Patchversion.

    Für Airflow 2.4.* Cloud Composer unterstützt Airflow 2.4.3.

  • Wenn eine neue Patchversion von Airflow 2 in Cloud Composer verfügbar ist, sind für den entsprechenden Release zwei Patchversionen von Airflow 2 für dieselbe Nebenversion von Airflow verfügbar. Die vorherige Patchversion wird dann in einer der nächsten Releases entfernt.

    Cloud Composer 2.3.4 unterstützt beispielsweise sowohl Airflow 2.5.1 als auch Airflow 2.5.3.

  • Cloud Composer kann zwischen den Releases von Cloud Composer einige Airflow-Patchversionen überspringen. Wenn es bei einer bestimmten Patchversion von Airflow Funktions-, Qualitäts- oder Leistungsprobleme gibt, kann Cloud Composer diese Version auch überspringen.

    Airflow 2.1.3 wird beispielsweise übersprungen und Airflow 2.1.4 ist verfügbar.

  • Eine Cloud Composer-Version mit einer stabilen Airflow-Version kann Airflow-Updates enthalten, die von einer späteren Airflow-Version zurückportiert werden.

Composer 1

Die neueste Version von Airflow, die in Cloud Composer 1 unterstützt wird, ist Airflow 2.4.3.

Nur Cloud Composer 1 unterstützt Airflow 1.10.15, die neueste Version von Airflow 1.

Cloud Composer-Versionsschema

Composer 3

Das Cloud Composer 3-Versionsschema erfasst Airflow-Versionen und ‑Builds:

composer-3-airflow-x.y.z-build.t

Wobei:

  • composer-3 ist die Version von Cloud Composer.
  • airflow-x.y.z.build.t ist die Airflow-Version und der Build. Jeder nächste Release derselben Airflow-Version in Cloud Composer 3 hat eine höhere Build-Nummer. Die Build-Nummer wird durch Cloud Composer und nicht vom Airflow-Open-Source-Projekt.

Composer 2

Das Image-Versionsverwaltungsschema von Cloud Composer 2 erfasst Cloud Composer- und Airflow-Versionen:

composer-2.b.c-airflow-x.y.z

Wobei:

  • composer-2.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Composer 1

Cloud Composer 1-Image-Versionsverwaltungsschema erfasst Cloud Composer und Airflow-Versionen:

composer-1.b.c-airflow-x.y.z

Wobei:

  • composer-1.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Versionsaliasse

So funktionieren Versionsaliasse:

  • Cloud Composer löst den Versionsalias in das vollständige Format auf, wenn wird Ihre Umgebung erstellt:

    • In Cloud Composer 3 wird der Alias aller Versionen zu composer-3-airflow-x.y.z-build.t.
    • Alle Versionsaliasse werden in composer-a.b.c-airflow-x.y.z Cloud Composer 2 und Cloud Composer 1.

  • In Cloud Composer 3 wird durch die Verwendung eines Versionsalias wie composer-3-airflow-x.y die Airflow-Version und der Build der Umgebung nicht automatisch aktualisiert. Die Umgebung bleibt bei demselben Airflow-Build und derselben Airflow-Version, bis Sie ein Upgrade durchführen. Die Umgebung empfängt weiterhin automatisch wie gewohnt aktualisiert.

  • In Cloud Composer 2 und Cloud Composer 1 werden mit einem Versionsalias wie composer-a-airflow-x.y.z keine automatischen Upgrades für eine Umgebung bereitgestellt. Die Umgebung bleibt in derselben Cloud Composer-Umgebung. und Airflow-Version aktualisiert, bis Sie ein Upgrade durchführen.

Versionsaliasse von Cloud Composer 3

Cloud Composer 3 unterstützt die folgenden Versionsaliasse:

Alias Airflow-Version
composer-3-airflow-2 Aktuelle Version und Build von Airflow 2
composer-3-airflow-x.y Neueste Version und aktueller Build von Airflow in x.y Haupt- und Nebenversionen
composer-3-airflow-x.y.z Neuester Build der angegebenen Airflow-Version

Versionsaliasse von Cloud Composer 2

Cloud Composer 2 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-2-airflow-2 Neueste Version von Cloud Composer 2 Neueste Version von Airflow 2
composer-2-airflow-x.y Neueste Version von Cloud Composer 2 Neueste Airflow-Version innerhalb der Haupt- und Nebenversionen von x.y
composer-2-airflow-x.y.z Neueste Version von Cloud Composer 2 Angegebene Version von Airflow
composer-2.b.c-airflow-x.y Die angegebene Version von Cloud Composer 2 Neueste verfügbare Airflow-Version innerhalb der Haupt- und Nebenversionen von x.y

Aliasse für Cloud Composer 1-Versionen

Cloud Composer 1 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-1-airflow-2 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 2
composer-1-airflow-1 Aktuelle Version von Cloud Composer 1 Neueste Version von Airflow 1
composer-1-airflow-x.y Neueste Version von Cloud Composer 1 Neueste Airflow-Version innerhalb der Haupt- und Nebenversionen von x.y
composer-1-airflow-x.y.z Neueste Version von Cloud Composer 1 Angegebene Version von Airflow
composer-1.b.c-airflow-x.y Die angegebene Version von Cloud Composer 1 Die neueste Version von Airflow, die in den Haupt- und Nebenversionen von x.y verfügbar ist.

Die folgenden Versionsaliasse verweisen auf Cloud Composer 2. Sie können sie weiterhin verwenden, sollten aber auf Aliasse für Ihre Version von Cloud Composer umsteigen.

  • composer-latest-airflow-x.y ist gleich composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z ist gleich composer-2-airflow-x.y.z.

Versionsargumente in der Google Cloud CLI

Wenn Sie ein Erstellen oder ein Upgrade durchführen Cloud Composer-Umgebung mit der Google Cloud CLI erstellen, können Sie Cloud Composer- und Airflow-Versionen angeben:

Composer 3

  • Das Argument --image-version gibt die Airflow-Version und den Build in der composer-3-airflow-x.y.z-build.t-Format. Sie können Versionsaliasse verwenden, die von der Google Cloud CLI in das vollständige Format aufgelöst werden.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z bezieht sich auf den neuesten Build der angegebenen Airflow-Version. Dieses Format entspricht dem Alias der Version composer-3-airflow-x.y.z.

    • Das Format x.y gilt für den neuesten Airflow-Build, der in x.y Haupt- und Nebenversionen. Dieses Format entspricht dem composer-3-airflow-x.y Versionsalias.

    • x.y.z-build.t ist die angegebene Version und Build von Airflow. Dieses Format ist gleich composer-3-airflow-x.y.z-build.t.

Composer 2

  • Mit dem Argument --image-version werden die Cloud Composer 2- und Airflow-Versionen angegeben:

    • Das Format composer-a.b.c-airflow-x.y.z erstellt eine Umgebung mit dem Versionen von Cloud Composer und Airflow.
    • Versionsaliasse werden zuerst aufgelöst in composer-a.b.c-airflow-x.y.z-Format und erstellen Sie dann ein Umgebung mit den angegebenen Versionen von Cloud Composer 2 und Airflow.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das x.y.z-Format ist für die neueste Version von Cloud Composer 2 und die angegebene Airflow-Version vorgesehen. Dieses Format entspricht Versionsalias composer-2-airflow-x.y.z.

    • Das Format x.y gilt für die neueste Version von Cloud Composer 2 und die neueste Version von Airflow, die innerhalb der Haupt- und Minorversionen von x.y verfügbar ist. Dieses Format entspricht composer-2-airflow-x.y Versionsalias.

Composer 1

  • Mit dem Argument --image-version werden Cloud Composer 1- und Airflow-Versionen angegeben:

    • Mit dem Format composer-a.b.c-airflow-x.y.z wird eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow erstellt.
    • Versionsaliasse werden zuerst aufgelöst in composer-a.b.c-airflow-x.y.z-Format und erstellen Sie dann ein Umgebung mit den angegebenen Versionen von Cloud Composer 1 und Airflow.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z gilt für die neueste Version von Cloud Composer 1 und die angegebene Version von Airflow. Dieses Format entspricht dem Alias der Version composer-1-airflow-x.y.z.

    • Das Format x.y bezieht sich auf die neueste Version von Cloud Composer 1 und die neueste Version von Airflow, die in den Haupt- und Nebenversionen von x.y verfügbar ist. Dieses Format entspricht dem Alias der Version composer-1-airflow-x.y.

Nächste Schritte