Cloud Composer-Versionsverwaltung

Auf dieser Seite werden die Cloud Composer-Versionsverwaltung und die Unterschiede zwischen den Haupt-Cloud Composer-Versionen beschrieben.

Hauptversionen von Cloud Composer

Cloud Composer hat zwei Hauptversionen:

  • Cloud Composer 2. Diese Version hat Autoscaling-Umgebungen.

  • Cloud Composer 1. Diese Version hat eine manuelle Skalierung.

In der folgenden Tabelle sind die wichtigsten Unterschiede zwischen Cloud Composer 1 und Cloud Composer 2 aufgeführt.

Cloud Composer 1 Cloud Composer 2
Cloud Composer-Image-Versionen composer-1.x.x composer-2.x.x
Airflow-Versionen Airflow 1.10.* und Airflow 2 Airflow 2
Python-Versionen 3.8.12 3.8.12
Cluster der Umgebung VPC-nativer oder routenbasierter Google Kubernetes Engine-Cluster im Standardmodus VPC-nativer Google Kubernetes Engine-Cluster im Autopilot-Modus
Horizontale Skalierung Kann die Anzahl der Knoten im Cluster der Umgebung anpassen. Dadurch wird die Anzahl der Airflow-Worker geändert.
Kann die Anzahl der Airflow-Planer anpassen. 		Automatische Skalierung der Anzahl der Airflow-Worker nach Bedarf. Kann Ober- und Untergrenzen für die Anzahl der Worker festlegen und ändern.
Kann die Anzahl der Airflow-Planer anpassen.
Vertikale Skalierung Kann Maschinentypen für Clusterknoten, den Airflow-Webserver und die Airflow-Datenbank beim Erstellen einer Umgebung festlegen. Kann Maschinentypen für den Airflow-Webserver und die Airflow-Datenbank ändern. Kann Arbeitslastenkonfiguration festlegen und ändern: CPU-, Arbeitsspeicher- und Speicherparameter für Airflow-Worker, -Planer, -Webserver und -Datenbank.
Preismodell Cloud Composer 1-Preismodell Cloud Composer 2-Preismodell
Zugriffssteuerung Cloud Composer-Rollen Cloud Composer-Rollen. Verwendet Workload Identity und benötigt zusätzliche Berechtigungen für das Cloud Composer-Dienst-Agent-Konto.
Zugriff über die Mitarbeiteridentitätsföderation Nicht unterstützt Unterstützt
Umgebungsarchitektur Architektur der Cloud Composer 1-Umgebung Architektur der Cloud Composer 2-Umgebung
Privates IP-Netzwerk VPC-Peerings VPC-Peerings oder Private Service Connect
Terraform-Unterstützung Kann Cloud Composer 1-Umgebungen erstellen und aktualisieren. Kann Cloud Composer 2-Umgebungen erstellen und aktualisieren.
CMEK Unterstützt Unterstützt
Webserverzugriffssteuerungen Unterstützt Unterstützt
Webserver neu starten Unterstützt Unterstützt
Webserver-Plug-ins Unterstützt in Airflow 1-Umgebungen mit deaktivierter DAG-Serialisierung. Unterstützt
Benutzerdefinierte Plug-ins installieren Unterstützt Unterstützt
Wartungsvorgänge Alle Aufgaben können betroffen sein. Aufgaben, deren Ausführung weniger als 55 Minuten dauert, sind nicht betroffen.
Asynchrones Laden von DAGs In Airflow 1 unterstützt Nicht unterstützt
DAG-Serialisierung In Airflow 2 immer aktiviert. Kann in Airflow 1 deaktiviert werden. In Airflow 2 immer aktiviert.
Unterstützung für Netzwerk-Tags Ja Ja
Clusterknoten mit GPUs Ja Nein
Snapshots speichern Für Airflow 2.x und 1.10.15 unterstützt Unterstützt
Snapshots werden geladen Nicht unterstützt Unterstützt
Geplante Snapshots Nicht unterstützt Unterstützt
Bucket der benutzerdefinierten Umgebung Nicht unterstützt Unterstützt

Cloud Composer-Images

Zur Ausführung von Apache Airflow erstellt Cloud Composer Docker-Images, in denen Airflow-Versionen mit anderen gängigen Binärdateien und Python-Bibliotheken gebündelt werden.

Cloud Composer-Images enthalten Airflow-Änderungen, die spezifisch für Cloud Composer und für die vorgelagerte Airflow-Codebasis nicht geeignet sind. Die vorinstallierten Pakete werden zusammen mit Cloud Composer-spezifischen Airflow-Änderungen als Cloud Composer-Versionen bezeichnet.

Google veröffentlicht regelmäßig neue Cloud Composer-Images, die neue Airflow-Releases und Cloud Composer-Verbesserungen beinhalten.

Unterstützung der Cloud Composer-Version 1

Neue Versionen von Cloud Composer 1 werden bis Ende März 2023 veröffentlicht. Alle freigegebenen Versionen von Cloud Composer 1 entsprechen der Richtlinie zur Einstellung von Versionen und werden entsprechend unterstützt.

Einige neue Cloud Composer-Features werden möglicherweise nur in Cloud Composer 2 unterstützt. In der Tabelle mit den wichtigsten Unterschieden zwischen den Versionen sehen Sie, welche Features nur in Cloud Composer 2 unterstützt werden.

Einstellung und Support für Cloud Composer-Versionen

Google unterstützt Cloud Composer-Versionen für einen bestimmten Zeitraum nach der Veröffentlichung. In diesem Zeitraum werden Cloud Composer-Umgebungen, die diese Versionen verwenden, vollständig unterstützt.

Die Unterstützung der Cloud Composer-Version ist so definiert:

  • 0 bis 12 Monate ab dem Releasedatum: Cloud Composer-Umgebungen, in denen diese Versionen ausgeführt werden, werden komplett unterstützt.

  • 12 bis 18 Monate ab dem Releasedatum: Cloud Composer-Umgebungen, in denen die Versionen ausgeführt wird, werden nur noch unterstützt, um Kunden über Sicherheitsprobleme zu informieren.

  • 18 Monate oder mehr ab dem Releasedatum: Cloud Composer-Umgebungen, in denen diese Versionen ausgeführt werden, werden nicht mehr unterstützt und werden vollständig vom Nutzer verwaltet.

Unterstützung für Airflow-Versionen

Airflow folgt dem semantischen Schema zur Verwaltung von Softwareversionen. Jede Airflow-Version hat eine Hauptversion, eine Nebenversion und eine Patchversion.

Eine Liste der Airflow-Versionen, die in jeder Cloud Composer-Version unterstützt werden, finden Sie in der Liste der Cloud Composer-Versionen.

Unterstützung für Airflow 2-Versionen

  • In jedem Release unterstützt Cloud Composer zwei Nebenversionen von Airflow 2.

    Cloud Composer 1.17.0 unterstützt beispielsweise Airflow 2.0.* und Airflow 2.1.*.

  • Cloud Composer unterstützt für jede Nebenversion von Airflow 2 eine Patchversion.

    Beispiel: Für Airflow 2.1.* unterstützt Cloud Composer Airflow 2.1.2.

  • Wenn eine neue Patchversion von Airflow 2 in Cloud Composer verfügbar ist, sind für den entsprechenden Release zwei Patchversionen von Airflow 2 für dieselbe Nebenversion von Airflow verfügbar. Die vorherige Patchversion wird dann in einer der nächsten Releases entfernt.

    Cloud Composer 1.17.4 unterstützt beispielsweise sowohl Airflow 2.1.2 als auch Airflow 2.1.4.

  • Cloud Composer kann zwischen den Releases von Cloud Composer einige Airflow-Patchversionen überspringen. Wenn es bei einer bestimmten Patchversion von Airflow Funktions-, Qualitäts- oder Leistungsprobleme gibt, kann Cloud Composer diese Version auch überspringen.

    Airflow 2.1.3 wird beispielsweise übersprungen und Airflow 2.1.4 ist verfügbar.

  • Eine Cloud Composer-Version mit einer stabilen Airflow-Version kann Airflow-Updates enthalten, die von einer späteren Airflow-Version zurückportiert werden.

Unterstützung für Airflow 1-Versionen

Nur Cloud Composer 1 unterstützt Airflow 1.10.15, die neueste veröffentlichte Version von Airflow 1.

Cloud Composer-Versionsschema

Das Image-Versionsverwaltung-Schema von Cloud Composer erfasst Cloud Composer- und Airflow-Versionen:

composer-a.b.c-airflow-x.y.z

Wo

  • composer-a.b.c ist die Version der von Cloud Composer verwalteten Anpassungen.
  • airflow-x.y.z ist die Airflow-Release.

Versionsaliasse

Cloud Composer 2 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-2-airflow-2 Neueste Version von Cloud Composer 2 Neueste Version von Airflow 2
composer-2-airflow-x.y Neueste Version von Cloud Composer 2 Aktuelle Version von Airflow mit x.y Haupt- und Nebenversionen
composer-2-airflow-x.y.z Neueste Version von Cloud Composer 2 Angegebene Airflow-Version
composer-2.b.c-airflow-x.y Angegebene Version von Cloud Composer 2 Aktuelle Version von Airflow in x.y Haupt- und Nebenversionen verfügbar

Cloud Composer 1 unterstützt die folgenden Versionsaliasse:

Alias Cloud Composer-Version Airflow-Version
composer-1-airflow-2 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 2
composer-1-airflow-1 Neueste Version von Cloud Composer 1 Neueste Version von Airflow 1
composer-1-airflow-x.y Neueste Version von Cloud Composer 1 Aktuelle Version von Airflow mit x.y Haupt- und Nebenversionen
composer-1-airflow-x.y.z Neueste Version von Cloud Composer 1 Angegebene Airflow-Version
composer-1.b.c-airflow-x.y Angegebene Version von Cloud Composer 1 Die neueste Version von Airflow ist in x.y Haupt- und Nebenversionen verfügbar.

Die folgenden Versionsaliasse verweisen auf Cloud Composer 2. Sie können sie weiterhin verwenden, sollten jedoch erwägen, zu Aliassen für Ihre Version von Cloud Composer zu wechseln.

  • composer-latest-airflow-x.y ist gleich composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z ist gleich composer-2-airflow-x.y.z.

Versionsargumente in der Google Cloud CLI

Wenn Sie eine Cloud Composer-Umgebung mit der Google Cloud CLI erstellen oder upgraden, können Sie die Cloud Composer- und Airflow-Versionen angeben:

  • Das Argument --image-version gibt die Cloud Composer- und Airflow-Versionen an:

    • Mit dem Format composer-a.b.c-airflow-x.y.z wird eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow erstellt.
    • Versionsaliasse werden zuerst in das Format composer-a.b.c-airflow-x.y.z aufgelöst und erstellen dann eine Umgebung mit den angegebenen Versionen von Cloud Composer und Airflow.

  • --airflow-version gibt die Airflow-Version in zwei Formaten an:

    • Das Format x.y.z ist für die neueste Version von Cloud Composer 2 und die angegebene Version von Airflow. Dieses Format entspricht dem Versionsalias composer-2-airflow-x.y.z.

    • Das Format x.y ist für die neueste Version von Cloud Composer 2 und die neueste Version von Airflow, die in den Haupt- und Nebenversionen von x.y verfügbar ist. Dieses Format entspricht dem Versionsalias composer-2-airflow-x.y.

Nächste Schritte