Cloud Composer のバージョニングの概要

Cloud Composer 1 | Cloud Composer 2

このページでは、Cloud Composer のバージョニングについて説明し、Cloud Composer のメジャー バージョン間の違いを表示しています。

Cloud Composer のメジャー バージョン

Cloud Composer には、メジャー バージョンが 2 つあります。

  • Cloud Composer 2。このバージョンには、自動スケーリング環境が備わっています。
  • Cloud Composer 1。このバージョンは、手動でスケーリングされます。

次の表では、Cloud Composer 1 と Cloud Composer 2 の主な違いを示します。

Cloud Composer 1 Cloud Composer 2
Cloud Composer イメージのバージョン composer-1.x.x composer-2.x.x
Airflow バージョン Airflow 1.10.* と Airflow 2 Airflow 2
Python のバージョン 3.8.6, 2.7.17 3.8.6
環境のクラスタ 標準モードの VPC ネイティブまたはルートベースの Google Kubernetes Engine クラスタ Autopilot モード VPC ネイティブ Google Kubernetes Engine クラスタ
水平方向のスケーリング 環境のクラスタ内のノード数を調整できます。これにより、Airflow ワーカーの数が変更されます。
Airflow スケジューラの数を調整できます。
需要に基づいて Airflow ワーカーの数を自動的にスケーリングします。ワーカー数の上限と下限を設定および変更できます。
Airflow スケジューラの数を調整できます。
垂直方向のスケーリング 環境の作成時に、クラスタノード、Airflow ウェブサーバー、データベースのマシンタイプを設定できます。Airflow ウェブサーバーとデータベースのマシンタイプを変更できます。 ワークロード構成(Airflow ワーカー、スケジューラ、ウェブサーバー、データベースの CPU、メモリ、ストレージのパラメータ)の設定と変更ができます。
料金モデル Cloud Composer 1 の料金モデル Cloud Composer 2 の料金モデル
アクセス制御 Cloud Composer の役割 Cloud Composer ロール。Workload Identity を使用します。Cloud Composer サービス エージェント アカウントに追加の権限が必要です。
環境のアーキテクチャ Cloud Composer 1 環境のアーキテクチャ Cloud Composer 2 環境のアーキテクチャ
Terraform のサポート Cloud Composer 1 環境の作成と更新ができます。 Cloud Composer 2 環境の作成と更新ができます。
CMEK サポート対象 サポート対象
ウェブサーバーのアクセス制御 サポート対象 サポート対象
ウェブサーバーの再起動 サポート対象 まだサポートされていません。
ウェブサーバーのプラグイン DAG シリアル化が無効になっている Airflow 1 環境でサポートされています サポート対象
カスタム プラグインのインストール サポート対象 サポート対象
メンテナンス オペレーション すべてのタスクが影響を受ける可能性があります。 実行時間が 55 分未満のタスクは影響を受けません。
非同期 DAG 読み込み Airflow 1 でサポートされています サポート対象外
DAG のシリアル化 Airflow 2 では常に有効になっています。Airflow 1 で無効にできます Airflow 2 では常に有効になっています。
ネットワーク タグのサポート はい いいえ
GPU を使用するクラスタノード はい いいえ

Cloud Composer イメージ

Apache Airflow を実行するために、Cloud Composer により、Airflow リリースを他の一般的なバイナリや Python ライブラリとバンドルした Docker イメージが構築されます。

Cloud Composer イメージには、Cloud Composer に固有で、アップストリームの Airflow コードベースには適さない Airflow の変更が含まれています。Cloud Composer 固有の Airflow の変更とプリインストールされたパッケージをまとめて Cloud Composer のバージョンと呼びます。

Google は、新しい Airflow リリースと Cloud Composer の改善を含む新しい Cloud Composer イメージを定期的にリリースしています。

Cloud Composer 1 バージョンのサポート

新しい Cloud Composer 1 バージョンは、2023 年 3 月末までリリースされます。リリースされたすべての Cloud Composer 1 のバージョンは、バージョンの非推奨ポリシーに従い、それに従ってサポートされます。

新しい Cloud Composer 機能は、Cloud Composer 2 でのみサポートされている場合があります。Cloud Composer 2 でのみサポートされている機能については、バージョン間の主な違いの一覧をご覧ください。

Cloud Composer バージョンの非推奨とサポート

Google は、バージョンのリリース後、一定期間は Cloud Composer のバージョンをサポートしています。この期間中は、そのバージョンを使用する Cloud Composer 環境は完全にサポートされます。

Cloud Composer のバージョンのサポートは次のように定義されています。

  • リリース日から 0~12 か月: これらのバージョンを実行する Cloud Composer 環境は完全にサポートされます。
  • リリース日から 12~18 か月: それらのバージョンを実行している Cloud Composer 環境は、セキュリティ問題に関するお客様への通知以外のサポートはされません。
  • リリース日から 18 か月以降: これらのバージョンを実行している Cloud Composer 環境はサポートされず、完全にユーザー管理となります。

Airflow バージョンのサポート

AirFlow は、ソフトウェアのセマンティカルなバージョニング スキーマに従います。Airflow の各バージョンには、メジャーマイナーパッチという 3 つのバージョンがあります。

Cloud Composer のバージョンでサポートされている Airflow のバージョンのリストについては、Cloud Composer のバージョン リストをご覧ください。

Airflow 1 バージョンのサポート

  • Cloud Composer は、Airflow 1 の最新リリース バージョンである Airflow 1.10.15 をサポートしています。

Airflow 2 バージョンのサポート

  • 各リリースで、Cloud Composer は Airflow 2 の 2 つのマイナー バージョンをサポートしています。

    たとえば、Cloud Composer 1.17.0 は Airflow 2.0.* と Airflow 2.1.* をサポートしています。

  • Cloud Composer では、Airflow 2 のマイナー バージョンごとに 1 つのパッチ バージョンがサポートされています。

    たとえば、Airflow 2.1.* の場合: Cloud Composer は Airflow 2.1.2 をサポートしています。

  • Airflow 2 の新しいパッチ バージョンが Cloud Composer で使用可能になると、対応するリリースには、Airflow の同じマイナー バージョンで使用できる Airflow 2 の 2 つのパッチ バージョンが提供されます。以前のパッチ バージョンは、次のリリースのいずれかで削除されます。

    たとえば、Cloud Composer 1.17.4 は Airflow 2.1.2 と Airflow 2.1.4 の両方をサポートしています。

  • Cloud Composer は、Cloud Composer のリリース間で Airflow パッチのバージョンの一部をスキップできます。また、Airflow の特定のパッチ バージョンで機能的、品質、パフォーマンスの問題がある場合、Cloud Composer ではこのバージョンをスキップすることもできます。

    たとえば、Airflow 2.1.3 はスキップされ、Airflow 2.1.4 を使用できます。

  • Airflow 安定版を実行している Cloud Composer リリースには、Airflow の後続のバージョンからバックポートされる Airflow アップデートを含めることができます。

Cloud Composer のバージョン スキーマ

Cloud Composer イメージのバージョニング スキーマでは、Cloud Composer と Airflow のバージョンが取り込まれます。

composer-a.b.c-airflow-x.y.z

ここで

  • composer-a.b.c は Cloud Composer マネージド カスタマイズのバージョンです。
  • airflow-x.y.z は Airflow のリリースです。

バージョンのエイリアス

Cloud Composer 2 は、次のバージョンのエイリアスをサポートしています。

エイリアス Cloud Composer のバージョン Airflow バージョン
composer-2-airflow-2 Cloud Composer 2 の最新バージョン Airflow 2 の最新バージョン
composer-2-airflow-x.y Cloud Composer 2 の最新バージョン x.y のメジャー バージョンとマイナー バージョンに含まれる Airflow の最新バージョン
composer-2-airflow-x.y.z Cloud Composer 2 の最新バージョン Airflow の指定バージョン
composer-2.b.c-airflow-x.y Cloud Composer 2 の指定バージョン x.y のメジャー バージョンとマイナー バージョン内で利用可能な Airflow の最新バージョン

Cloud Composer 1 は、次のバージョンのエイリアスをサポートしています。

エイリアス Cloud Composer のバージョン Airflow バージョン
composer-1-airflow-2 Cloud Composer 1 の最新バージョン Airflow 2 の最新バージョン
composer-1-airflow-1 Cloud Composer 1 の最新バージョン Airflow 1 の最新バージョン
composer-1-airflow-x.y Cloud Composer 1 の最新バージョン x.y のメジャー バージョンとマイナー バージョンに含まれる Airflow の最新バージョン
composer-1-airflow-x.y.z Cloud Composer 1 の最新バージョン Airflow の指定バージョン
composer-1.b.c-airflow-x.y Cloud Composer 1 の指定バージョン x.y のメジャー バージョンとマイナー バージョン内で利用可能な Airflow の最新バージョン。

次のバージョンのエイリアスは Cloud Composer 1 を指します。これらは引き続き使用できますが、Cloud Composer のバージョンのエイリアスに切り替えることを検討してください。

  • composer-latest-airflow-x.ycomposer-1-airflow-x.y と同等です。
  • composer-latest-airflow-x.y.zcomposer-1-airflow-x.y.z と同等です。

Google Cloud CLI のバージョン引数

Google Cloud CLI を使用して Cloud Composer 環境を作成またはアップグレードするときに、Cloud Composer と Airflow のバージョンを指定できます。

  • --image-version 引数で、Cloud Composer と Airflow のバージョンを指定します。

    • composer-a.b.c-airflow-x.y.z 形式は、指定されたバージョンの Cloud Composer と Airflow を使用して環境を作成します。
    • バージョン エイリアスは、まず composer-a.b.c-airflow-x.y.z 形式に解決され、指定されたバージョンの Cloud Composer と Airflow を使用して環境を作成します。
  • --airflow-version は、Airflow バージョンを 2 つの形式で指定します。

    • x.y.z 形式は、最新バージョンの Cloud Composer 1 と指定された Airflow のバージョンに対応しています。この形式は、composer-1-airflow-x.y.z バージョンのエイリアスと同等です。

    • x.y 形式は、Cloud Composer 1 の最新バージョン、x.y のメジャー バージョンとマイナー バージョン内で利用可能な Airflow の最新バージョンに対応しています。この形式は、composer-1-airflow-x.y バージョンのエイリアスと同等です。

次のステップ