Cloud Composer-Versionsverwaltung

Cloud Composer 1 Cloud Composer 2

Auf dieser Seite werden die Cloud Composer-Versionsverwaltung und die Unterschiede zwischen den Haupt-Cloud Composer-Versionen beschrieben.

Hauptversionen von Cloud Composer

Cloud Composer hat zwei Hauptversionen:

  • Cloud Composer 2. Diese Version hat Autoscaling-Umgebungen.

  • Cloud Composer 1. Diese Version hat eine manuelle Skalierung.

In der folgenden Tabelle sind die wichtigsten Unterschiede zwischen Cloud Composer 1 und Cloud Composer 2 aufgeführt.

Cloud Composer 1 Cloud Composer 2
Cloud Composer-Image-Versionen composer-1.x.x composer-2.x.x
Airflow-Versionen Airflow 1.10.* und Airflow 2 Airflow 2
Python-Versionen 3.8.12 3.8.12
Cluster der Umgebung VPC-nativer oder routenbasierter Google Kubernetes Engine-Cluster im Standardmodus VPC-nativer Google Kubernetes Engine-Cluster im Autopilot-Modus
Horizontale Skalierung Kann die Anzahl der Knoten im Cluster der Umgebung anpassen. Dadurch wird die Anzahl der Airflow-Worker geändert.
Kann die Anzahl der Airflow-Planer anpassen. 		Automatische Skalierung der Anzahl der Airflow-Worker nach Bedarf. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer anpassen.
Vertikale Skalierung Kann Maschinentypen für Clusterknoten, den Airflow-Webserver und die Airflow-Datenbank beim Erstellen einer Umgebung festlegen. Kann Maschinentypen für den Airflow-Webserver und die Airflow-Datenbank ändern. Kann Arbeitslastenkonfiguration festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, -Planer, -Webserver und -Datenbank.
Preismodell Cloud Composer 1-Preismodell Cloud Composer 2-Preismodell
Zugriffssteuerung Cloud Composer-Rollen Cloud Composer-Rollen. Verwendet Workload Identity und benötigt zusätzliche Berechtigungen für das Cloud Composer-Dienst-Agent-Konto.
Zugriff über Mitarbeiteridentitätsföderation Nicht unterstützt Unterstützt
Umgebungsarchitektur Architektur der Cloud Composer 1-Umgebung Architektur der Cloud Composer 2-Umgebung
Privates IP-Netzwerk VPC-Peerings VPC-Peerings oder Private Service Connect
Terraform-Unterstützung Kann Cloud Composer 1-Umgebungen erstellen und aktualisieren. Kann Cloud Composer 2-Umgebungen erstellen und aktualisieren.
CMEK Unterstützt Unterstützt
Webserverzugriffssteuerungen Unterstützt Unterstützt
Webserver neu starten Unterstützt Unterstützt
Webserver-Plug-ins Unterstützt in Airflow 1-Umgebungen mit deaktivierter DAG-Serialisierung. Unterstützt
Benutzerdefinierte Plug-ins installieren Unterstützt Unterstützt
Wartungsvorgänge Das betrifft alle Aufgaben. Aufgaben, die weniger als 55 Minuten dauern, sind nicht betroffen.
Asynchrones Laden von DAGs In Airflow 1 unterstützt Nicht unterstützt
DAG-Serialisierung In Airflow 2 immer aktiviert. Kann in Airflow 1 deaktiviert werden. In Airflow 2 immer aktiviert.
Unterstützung von Netzwerk-Tags Ja Ja
Clusterknoten mit GPUs Ja Nein
Snapshots speichern Unterstützt für Airflow 2.x- und 1.10.15-Versionen Unterstützt
Snapshots werden geladen Nicht unterstützt Unterstützt
Geplante Snapshots Nicht unterstützt Unterstützt

Cloud Composer-Images

Zur Ausführung von Apache Airflow erstellt Cloud Composer Docker-Images, in denen Airflow-Versionen mit anderen gängigen Binärdateien und Python-Bibliotheken gebündelt werden.

Cloud Composer-Images enthalten Airflow-Änderungen, die spezifisch für Cloud Composer und für die vorgelagerte Airflow-Codebasis nicht geeignet sind. Die vorinstallierten Pakete werden zusammen mit Cloud Composer-spezifischen Airflow-Änderungen als Cloud Composer-Versionen bezeichnet.

Google veröffentlicht regelmäßig neue Cloud Composer-Images, die neue Airflow-Releases und Cloud Composer-Verbesserungen beinhalten.

Unterstützung von Cloud Composer 1-Versionen

Neue Cloud Composer 1-Versionen werden bis Ende März 2023 veröffentlicht. Alle freigegebenen Cloud Composer-1-Versionen entsprechen der Richtlinie zur Einstellung von Versionen und werden entsprechend unterstützt.

Einige neue Cloud Composer-Features werden möglicherweise nur in Cloud Composer 2 unterstützt. In der Tabelle mit den wichtigsten Unterschieden zwischen den Versionen können Sie nachsehen, welche Features in Cloud Composer 2 nur unterstützt werden.

Einstellung und Support für Cloud Composer-Versionen

Google unterstützt Cloud Composer-Versionen für einen bestimmten Zeitraum nach der Veröffentlichung. In diesem Zeitraum werden Cloud Composer-Umgebungen, die diese Versionen verwenden, vollständig unterstützt.

Die Unterstützung der Cloud Composer-Version ist so definiert:

  • 0 bis 12 Monate ab dem Releasedatum: Cloud Composer-Umgebungen, in denen diese Versionen ausgeführt werden, werden komplett unterstützt.

  • 12 bis 18 Monate ab dem Releasedatum: Cloud Composer-Umgebungen, in denen die Versionen ausgeführt wird, werden nur noch unterstützt, um Kunden über Sicherheitsprobleme zu informieren.

  • 18 Monate oder mehr ab dem Releasedatum: Cloud Composer-Umgebungen, in denen diese Versionen ausgeführt werden, werden nicht mehr unterstützt und werden vollständig vom Nutzer verwaltet.

Unterstützung für Airflow-Versionen

Airflow folgt dem semantischen Schema zur Verwaltung von Softwareversionen. Jede Airflow-Version hat eine Hauptversion, eine Nebenversion und eine Patchversion.

Eine Liste der Airflow-Versionen, die in jeder Cloud Composer-Version unterstützt werden, finden Sie in der Liste der Cloud Composer-Versionen.

Unterstützung für Airflow 2-Versionen

  • In jedem Release unterstützt Cloud Composer zwei Nebenversionen von Airflow 2.

    Cloud Composer 1.17.0 unterstützt beispielsweise Airflow 2.0.* und Airflow 2.1.*.

  • Cloud Composer unterstützt für jede Nebenversion von Airflow 2 eine Patchversion.

    Beispiel: Für Airflow 2.1.* unterstützt Cloud Composer Airflow 2.1.2.

  • Wenn eine neue Patchversion von Airflow 2 in Cloud Composer verfügbar ist, sind für den entsprechenden Release zwei Patchversionen von Airflow 2 für dieselbe Nebenversion von Airflow verfügbar. Die vorherige Patchversion wird dann in einer der nächsten Releases entfernt.

    Cloud Composer 1.17.4 unterstützt beispielsweise sowohl Airflow 2.1.2 als auch Airflow 2.1.4.

  • Cloud Composer kann zwischen den Releases von Cloud Composer einige Airflow-Patchversionen überspringen. Wenn es bei einer bestimmten Patchversion von Airflow Funktions-, Qualitäts- oder Leistungsprobleme gibt, kann Cloud Composer diese Version auch überspringen.

    Airflow 2.1.3 wird beispielsweise übersprungen und Airflow 2.1.4 ist verfügbar.

  • Eine Cloud Composer-Version mit einer stabilen Airflow-Version kann Airflow-Updates enthalten, die von einer späteren Airflow-Version zurückportiert werden.

Cloud Composer-Versionsschema

Das Image-Versionsverwaltung-Schema von Cloud Composer erfasst Cloud Composer- und Airflow-Versionen:

composer-a.b.c-airflow-x.y.z

Wo

  • composer-a.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Versionsaliasse

Cloud Composer 2 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-2-airflow-2 Neueste Version von Cloud Composer 2 Neueste Version von Airflow 2
composer-2-airflow-x.y Neueste Version von Cloud Composer 2 Die aktuelle Version von Airflow in x.y Haupt- und Nebenversionen
composer-2-airflow-x.y.z Neueste Version von Cloud Composer 2 Angegebene Airflow-Version
composer-2.b.c-airflow-x.y Angegebene Version von Cloud Composer 2 Die aktuelle Version von Airflow ist in x.y Haupt- und Nebenversion verfügbar

Cloud Composer 1 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-1-airflow-2 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 2
composer-1-airflow-1 Neueste Version von Cloud Composer 1 Die aktuelle Version von Airflow 1
composer-1-airflow-x.y Neueste Version von Cloud Composer 1 Die aktuelle Version von Airflow in x.y Haupt- und Nebenversionen
composer-1-airflow-x.y.z Neueste Version von Cloud Composer 1 Angegebene Airflow-Version
composer-1.b.c-airflow-x.y Angegebene Version von Cloud Composer 1 Die aktuelle Version von Airflow ist in x.y Haupt- und Nebenversion verfügbar.

Die folgenden Versionsaliasse verweisen auf Cloud Composer 2. Sie können sie weiterhin verwenden. Wir empfehlen aber, zu Ihrer Version von Cloud Composer zu wechseln.

  • composer-latest-airflow-x.y ist gleich composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z ist gleich composer-2-airflow-x.y.z.

Versionsargumente in der Google Cloud CLI

Wenn Sie eine Cloud Composer-Umgebung mit der Google Cloud CLI erstellen oder ein Upgrade ausführen, können Sie Cloud Composer- und Airflow-Versionen angeben:

  • Das Argument --image-version gibt Cloud Composer- und Airflow-Versionen an:

    • Das Format composer-a.b.c-airflow-x.y.z erstellt eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow.
    • Versionsaliasse werden zuerst in das composer-a.b.c-airflow-x.y.z-Format aufgelöst und dann eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow erstellt.

  • --airflow-version gibt die Airflow-Version in zwei Formaten an:

    • Das Format x.y.z gilt für die aktuelle Version von Cloud Composer 2 und die angegebene Version von Airflow. Dieses Format entspricht dem Versionsalias der Version composer-2-airflow-x.y.z.

    • Das Format x.y gilt für die aktuelle Version von Cloud Composer 2 und die neueste Version von Airflow in der Haupt- und Nebenversion x.y. Dieses Format entspricht dem Versions-Alias composer-2-airflow-x.y.

Nächste Schritte