Cloud Composer-Versionsverwaltung

Auf dieser Seite werden die Cloud Composer-Versionsverwaltung und die Unterschiede zwischen den Haupt-Cloud Composer-Versionen beschrieben.

Hauptversionen von Cloud Composer

Cloud Composer hat die folgenden Hauptversionen:

  • Cloud Composer 1. Dank manueller Umgebungsskalierung wird die Infrastruktur in Ihren Projekten und Netzwerken bereitgestellt.
  • Cloud Composer 2. In dieser Version wird der Cluster der Umgebung automatisch skaliert, um die Ressourcenanforderungen zu erfüllen.
  • Cloud Composer 3. Diese Version hat die Netzwerkeinrichtung vereinfacht und blendet Infrastrukturkomponenten aus, einschließlich der Cluster- und Umgebungsabhängigkeiten von anderen Diensten.

Vergleich der Cloud Composer-Versionen

In der folgenden Tabelle sind die Hauptunterschiede zwischen Cloud Composer 1, Cloud Composer 2 und Cloud Composer 3 aufgeführt.

Feature Cloud Composer 1 Cloud Composer 2 Cloud Composer 3
Image-Version composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z composer-3-airflow-x.y.z-build.t
Airflow-Versionen Airflow 1.10.* und Airflow 2 Airflow 2 Airflow 2
Python-Versionen 3.8.12 3.11.5 und 3.8.12 in früheren Versionen 3.11.5
Cluster der Umgebung VPC-nativer oder routenbasierter Google Kubernetes Engine-Cluster im Standardmodus VPC-nativer Google Kubernetes Engine-Cluster im Autopilot-Modus Der Cluster der Umgebung wurde nicht in Ihrem Projekt bereitgestellt.
Horizontale Skalierung Kann die Anzahl der Knoten im Cluster der Umgebung anpassen. Dadurch ändert sich die Anzahl der Airflow-Worker.
Kann die Anzahl der Airflow-Planer anpassen.		 Anzahl der Airflow-Worker je nach Bedarf automatisch skalieren. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer und -Trigger anpassen		 Anzahl der Airflow-Worker je nach Bedarf automatisch skalieren. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer, -Triggerer und DAG-Prozessoren anpassen
Vertikale Skalierung Kann beim Erstellen einer Umgebung Maschinentypen für Clusterknoten, den Airflow-Webserver und die Datenbank festlegen. Kann Maschinentypen für Airflow-Webserver und -Datenbank ändern. Kann die Konfiguration der Arbeitslasten festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, Planer, Webserver und Umgebungsgröße. Kann die Konfiguration der Arbeitslasten festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, Planer, Webserver, DAG-Prozessoren und Umgebungsgröße.
Preismodell Cloud Composer 1-Preismodell Cloud Composer 2-Preismodell Cloud Composer 3-Preismodell
Zugriffssteuerung Cloud Composer 1-Rollen Cloud Composer-Rollen. Verwendet Workload Identity und erfordert zusätzliche Berechtigungen für das Cloud Composer-Dienst-Agent-Konto. Cloud Composer-Rollen. Verwendet Workload Identity. Es sind keine zusätzlichen Berechtigungen erforderlich
Zugriff über die Mitarbeiteridentitätsföderation Nicht unterstützt Unterstützt Unterstützt
Äußerst robuste Umgebungen Nicht unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Privates IP-Netzwerk VPC-Peerings Private Service Connect Vereinfachte Netzwerkeinrichtung. Kann in einer vorhandenen Umgebung zwischen öffentlicher und privater IP-Adresse geändert werden.
VPC Service Controls Unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Airflow-Executors Celery Executor Celery Executor CeleryKubernetes-Executor
Airflow-Triggerer (zurückstellbare Operatoren) Nicht unterstützt Unterstützt Unterstützt
CMEK Unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Webserverzugriffssteuerungen Unterstützt Unterstützt Unterstützt
Webserver neu starten Unterstützt Unterstützt Unterstützt
Webserver-Plug-ins Unterstützt in Airflow 1-Umgebungen mit deaktivierter DAG-Serialisierung. Unterstützt Wird unterstützt. Plug-ins können bei Bedarf deaktiviert und aktiviert werden.
Benutzerdefinierte Plug-ins installieren Unterstützt Unterstützt Unterstützt
Wartungsvorgänge Alle Aufgaben können betroffen sein. Aufgaben, deren Ausführung weniger als 55 Minuten dauert, sind nicht betroffen. Aufgaben, deren Ausführung weniger als 55 Minuten dauert, sind nicht betroffen.
Snapshots speichern Unterstützt für Airflow-Versionen 2.x und 1.10.15 Unterstützt Unterstützt
Snapshots werden geladen Nicht unterstützt Unterstützt Unterstützt
Geplante Snapshots Nicht unterstützt Unterstützt Nicht in der öffentlichen Vorschau verfügbar
Bucket der benutzerdefinierten Umgebung Nicht unterstützt Unterstützt Unterstützt
Airflow-Aufgabenlogs nur in Cloud Logging speichern Nicht unterstützt Unterstützt Unterstützt
Data Lineage-Einbindung Nicht unterstützt Unterstützt Unterstützt

Cloud Composer-Images

Zur Ausführung von Apache Airflow erstellt Cloud Composer Docker-Images, in denen Airflow-Versionen mit anderen gängigen Binärdateien und Python-Bibliotheken gebündelt werden.

Cloud Composer-Images enthalten Airflow-Änderungen, die spezifisch für Cloud Composer und für die vorgelagerte Airflow-Codebasis nicht geeignet sind. Jedes Cloud Composer-Image enthält vorinstallierte Pakete mit Cloud Composer-spezifischen Airflow-Änderungen.

Google veröffentlicht regelmäßig neue Cloud Composer-Images:

  • In Cloud Composer 3 enthalten Images neue Builds unterstützter Airflow-Versionen. Sie können eine Airflow-Version und einen Build auswählen, den Sie verwenden möchten. Ihre Umgebung erhält automatisch Verbesserungen für Cloud Composer.

  • In Cloud Composer 2 und Cloud Composer 1 enthalten Images Cloud Composer-Verbesserungen und neue Builds unterstützter Airflow-Versionen. Für Cloud Composer-Verbesserungen führen Sie ein Upgrade Ihrer Umgebung auf eine neuere Version von Cloud Composer durch.

Unterstützte und verworfene Versionen

Composer 3

Google unterstützt eine Airflow-Version nach dem ersten Release:

  • Wenn die Nebenversion von Airflow die neueste in Cloud Composer 3 verfügbare ist, werden alle Airflow-Builds mit dieser Nebenversion vollständig unterstützt. Das genaue Datum des Supportzeitraums wird bestimmt, wenn eine neue Nebenversion von Airflow in Cloud Composer 3 verfügbar ist.

  • Wenn eine neue Nebenversion von Airflow in Cloud Composer 3 verfügbar ist, werden ab diesem Datum alle Builds mit der vorherigen Airflow-Nebenversion 12 Monate lang unterstützt. Wenn mehrere Builds dieselbe Airflow-Nebenversion enthalten, haben alle dasselbe Datum für das Ende der vollständigen Unterstützung.

  • Sobald eine Nebenversion nicht mehr vollständig unterstützt wird, werden Umgebungen, in denen diese Version ausgeführt wird, ebenfalls nicht mehr unterstützt und vollständig vom Nutzer verwaltet. Ein Upgrade einer solchen Umgebung auf eine vollständig unterstützte Airflow-Version ist jedoch weiterhin möglich.

Sie können Umgebungen mit allen Airflow-Builds erstellen, die vollständig unterstützt werden.

Sie können eine Umgebung mit einem nicht mehr unterstützten Airflow-Build weiterhin verwenden. Die Umgebung funktioniert weiterhin, Sie können sie weiterhin verwenden und ein Upgrade auf eine vollständig unterstützte Version durchführen.

Composer 2

Google unterstützt Cloud Composer 2-Versionen für eine Zeit nach dem Release. Während dieses Zeitraums werden Cloud Composer 2-Umgebungen, die diese Versionen verwenden, vollständig unterstützt.

Die Unterstützung für Cloud Composer 2-Versionen ist so definiert:

  • 0 bis 12 Monate ab dem Releasedatum: Cloud Composer 2-Umgebungen, in denen diese Versionen ausgeführt werden, werden vollständig unterstützt.

  • 12–18 Monate ab dem Releasedatum: Cloud Composer 2-Umgebungen, in denen diese Versionen ausgeführt werden, werden nur noch unterstützt, um Kunden über Sicherheitsprobleme zu informieren.

  • 18 Monate oder mehr ab dem Releasedatum: Cloud Composer 2-Umgebungen, in denen diese Versionen ausgeführt werden, werden nicht mehr unterstützt und sind vollständig vom Nutzer verwaltet.

Sie können Cloud Composer-Versionen nach dem Datum verwenden, an dem sie nicht mehr unterstützt werden. Wenn Ihre Umgebung beispielsweise auf einer Cloud Composer-Version basiert, deren Supportzeitraum abgelaufen ist, funktioniert die Umgebung weiterhin und Sie können sie weiterhin verwenden. In diesem Fall empfehlen wir ein Upgrade Ihrer Umgebung auf eine unterstützte Version.

Composer 1

Neue Cloud Composer 1-Versionen wurden bis Ende März 2023 veröffentlicht. Alle freigegebenen Cloud Composer 1-Versionen unterliegen derselben Richtlinie zur Einstellung von Versionen wie Cloud Composer 2 und werden entsprechend unterstützt.

Am 25. März 2024 ist Cloud Composer 1 in den Modus „Nach der Wartung“ gewechselt. Google veröffentlicht keine weiteren Updates für Cloud Composer 1, einschließlich neuer Versionen von Airflow, Fehlerkorrekturen und Sicherheitsupdates. Wir empfehlen die Migration zu Cloud Composer 2.

Unterstützung für Airflow-Versionen

Airflow folgt dem semantischen Schema zur Verwaltung von Softwareversionen. Jede Airflow-Version hat eine Hauptversion, eine Nebenversion und eine Patchversion.

Composer 3

In Cloud Composer 3 werden im Laufe der Zeit neue Airflow-Versionen und -Builds verfügbar.

Ihre Umgebung kann mit allen vorherigen Airflow-Versionen und -Builds funktionieren und erhält automatisch Updates der Infrastrukturkomponenten. Jede Version und jeder Build wird wie unter Versionseinstellung und -unterstützung beschrieben unterstützt. Sie können Ihre Airflow-Version auf eine neuere Version oder einen höheren Build aktualisieren.

Composer 2

Eine Liste der Airflow-Versionen, die in jeder Cloud Composer-Version unterstützt werden, finden Sie in der Liste der Cloud Composer-Versionen.

  • In jedem Release unterstützt Cloud Composer 2 zwei Nebenversionen von Airflow 2.

    Cloud Composer 2.4.0 unterstützt beispielsweise Airflow 2.4.* und Airflow 2.5.*.

  • Cloud Composer unterstützt für jede Nebenversion von Airflow 2 eine Patchversion.

    Für Airflow 2.4.* Cloud Composer unterstützt Airflow 2.4.3.

  • Wenn eine neue Patchversion von Airflow 2 in Cloud Composer verfügbar ist, sind für den entsprechenden Release zwei Patchversionen von Airflow 2 für dieselbe Nebenversion von Airflow verfügbar. Die vorherige Patchversion wird dann in einer der nächsten Releases entfernt.

    Cloud Composer 2.3.4 unterstützt beispielsweise sowohl Airflow 2.5.1 als auch Airflow 2.5.3.

  • Cloud Composer kann zwischen den Releases von Cloud Composer einige Airflow-Patchversionen überspringen. Wenn es bei einer bestimmten Patchversion von Airflow Funktions-, Qualitäts- oder Leistungsprobleme gibt, kann Cloud Composer diese Version auch überspringen.

    Airflow 2.1.3 wird beispielsweise übersprungen und Airflow 2.1.4 ist verfügbar.

  • Eine Cloud Composer-Version mit einer stabilen Airflow-Version kann Airflow-Updates enthalten, die von einer späteren Airflow-Version zurückportiert werden.

Composer 1

Die neueste in Cloud Composer 1 unterstützte Airflow-Version ist Airflow 2.4.3.

Nur Cloud Composer 1 unterstützt Airflow 1.10.15, die neueste veröffentlichte Version von Airflow 1.

Cloud Composer-Versionsschema

Composer 3

Das Versionsverwaltungsschema von Cloud Composer 3 erfasst Airflow-Versionen und -Builds:

composer-3-airflow-x.y.z-build.t

Wobei:

  • composer-3 ist die Version von Cloud Composer.
  • airflow-x.y.z.build.t ist die Airflow-Version und der Build. Jeder nächste Release derselben Airflow-Version in Cloud Composer 3 hat eine höhere Build-Nummer. Die Build-Nummer wird von Cloud Composer und nicht vom Airflow-Open-Source-Projekt definiert.

Composer 2

Das Image-Versionsverwaltungsschema von Cloud Composer 2 erfasst die Cloud Composer- und Airflow-Versionen:

composer-2.b.c-airflow-x.y.z

Wobei:

  • composer-2.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Composer 1

Das Image-Versionsverwaltungsschema von Cloud Composer 1 erfasst die Cloud Composer- und Airflow-Versionen:

composer-1.b.c-airflow-x.y.z

Wobei:

  • composer-1.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Versionsaliasse

So funktionieren Versionsaliasse:

  • Cloud Composer löst den Versionsalias in das vollständige Format auf, wenn es Ihre Umgebung erstellt:

    • Alle Versionsaliasse werden in Cloud Composer 3 zu composer-3-airflow-x.y.z-build.t.
    • Alle Versionsaliasse werden in Cloud Composer 2 und Cloud Composer 1 zu composer-a.b.c-airflow-x.y.z.

  • In Cloud Composer 3 werden durch die Verwendung eines Versionsalias wie composer-3-airflow-x.y die Airflow-Version und der Build Ihrer Umgebung nicht automatisch aktualisiert. Die Umgebung bleibt auf demselben Airflow-Build und derselben Version, bis Sie ein Upgrade durchführen. Die Umgebung erhält wie gewohnt automatische Infrastrukturupgrades.

  • In Cloud Composer 2 und Cloud Composer 1 werden durch die Verwendung eines Versionsalias wie composer-a-airflow-x.y.z keine automatischen Upgrades für eine Umgebung bereitgestellt. Die Umgebung bleibt in derselben Cloud Composer- und Airflow-Version, bis Sie ein Upgrade durchführen.

Versionsaliasse von Cloud Composer 3

Cloud Composer 3 unterstützt die folgenden Versionsaliasse:

Alias Airflow-Version
composer-3-airflow-2 Neueste Version und aktueller Build von Airflow 2
composer-3-airflow-x.y Neueste Version und aktueller Build von Airflow in x.y Haupt- und Nebenversionen
composer-3-airflow-x.y.z Letzter Build der angegebenen Version von Airflow

Versionsaliasse von Cloud Composer 2

Cloud Composer 2 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-2-airflow-2 Neueste Version von Cloud Composer 2 Neueste Version von Airflow 2
composer-2-airflow-x.y Neueste Version von Cloud Composer 2 Neueste Version von Airflow mit x.y Haupt- und Nebenversionen
composer-2-airflow-x.y.z Neueste Version von Cloud Composer 2 Angegebene Version von Airflow
composer-2.b.c-airflow-x.y Angegebene Version von Cloud Composer 2 Neueste Version von Airflow ist in x.y Haupt- und Nebenversionen verfügbar

Versionsaliasse von Cloud Composer 1

Cloud Composer 1 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-1-airflow-2 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 2
composer-1-airflow-1 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 1
composer-1-airflow-x.y Neueste Version von Cloud Composer 1 Neueste Version von Airflow mit x.y Haupt- und Nebenversionen
composer-1-airflow-x.y.z Neueste Version von Cloud Composer 1 Angegebene Version von Airflow
composer-1.b.c-airflow-x.y Angegebene Version von Cloud Composer 1 Die neueste Version von Airflow ist in x.y Haupt- und Nebenversionen verfügbar.

Die folgenden Versionsaliasse verweisen auf Cloud Composer 2. Sie können sie weiterhin verwenden. Wir empfehlen jedoch, für Ihre Version von Cloud Composer zu Aliassen zu wechseln.

  • composer-latest-airflow-x.y ist gleich composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z ist gleich composer-2-airflow-x.y.z.

Versionsargumente in der Google Cloud CLI

Wenn Sie eine Cloud Composer-Umgebung über die Google Cloud CLI erstellen oder aktualisieren, können Sie die Cloud Composer- und Airflow-Versionen angeben:

Composer 3

  • Das Argument --image-version gibt die Airflow-Version und den Build im Format composer-3-airflow-x.y.z-build.t an. Sie können Versionsaliasse verwenden, die von der Google Cloud CLI in das vollständige Format aufgelöst werden.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z gilt für den neuesten Build der angegebenen Version von Airflow. Dieses Format entspricht dem Versionsalias composer-3-airflow-x.y.z.

    • Das Format x.y gilt für den neuesten Airflow-Build, der in den Haupt- und Nebenversionen von x.y verfügbar ist. Dieses Format entspricht dem Versionsalias composer-3-airflow-x.y.

    • x.y.z-build.t ist die angegebene Version und der angegebene Build von Airflow. Dieses Format entspricht composer-3-airflow-x.y.z-build.t.

Composer 2

  • Das Argument --image-version gibt die Cloud Composer 2- und Airflow-Versionen an:

    • composer-a.b.c-airflow-x.y.z erstellt eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow.
    • Versionsaliasse werden zuerst in das Format composer-a.b.c-airflow-x.y.z aufgelöst und dann eine Umgebung mit den angegebenen Versionen von Cloud Composer 2 und Airflow erstellt.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z gilt für die neueste Version von Cloud Composer 2 und die angegebene Version von Airflow. Dieses Format entspricht dem Versionsalias composer-2-airflow-x.y.z.

    • Das Format x.y gilt für die neueste Version von Cloud Composer 2 und die neueste Version von Airflow, die in den Haupt- und Nebenversionen x.y verfügbar ist. Dieses Format entspricht dem Versionsalias composer-2-airflow-x.y.

Composer 1

  • Das Argument --image-version gibt die Cloud Composer 1- und Airflow-Versionen an:

    • composer-a.b.c-airflow-x.y.z erstellt eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow.
    • Versionsaliasse werden zuerst in das Format composer-a.b.c-airflow-x.y.z aufgelöst und dann eine Umgebung mit den angegebenen Versionen von Cloud Composer 1 und Airflow erstellt.

  • --airflow-version gibt die Airflow-Version in den folgenden Formaten an:

    • Das Format x.y.z gilt für die neueste Version von Cloud Composer 1 und die angegebene Version von Airflow. Dieses Format entspricht dem Versionsalias composer-1-airflow-x.y.z.

    • Das Format x.y gilt für die neueste Version von Cloud Composer 1 und die neueste Version von Airflow, die in den Haupt- und Nebenversionen von x.y verfügbar ist. Dieses Format entspricht dem Versionsalias composer-1-airflow-x.y.

Nächste Schritte