Cloud Composer 1 | Cloud Composer 2
このページでは、Cloud Composer のバージョニングについて説明し、Cloud Composer のメジャー バージョン間の違いを表示しています。
- Cloud Composer には、2 つのメジャー バージョン（Cloud Composer 1 と Cloud Composer 2）があります。
- Cloud Composer 環境は、バージョニングされた Cloud Composer イメージに基づいています。
- Cloud Composer イメージのバージョンは、環境を作成またはアップグレードするときに選択できます。
Cloud Composer のメジャー バージョン
Cloud Composer には、メジャー バージョンが 2 つあります。
- Cloud Composer 2。このバージョンには、自動スケーリング環境が備わっています。
Cloud Composer 1。このバージョンは、手動でスケーリングされます。
次の表では、Cloud Composer 1 と Cloud Composer 2 の主な違いを示します。
| Cloud Composer 1 | Cloud Composer 2 | |
|---|---|---|
| Cloud Composer イメージのバージョン |
composer-1.x.x
|
composer-2.x.x
|
| Airflow バージョン | Airflow 1.10.* と Airflow 2 | Airflow 2 |
| Python のバージョン | 3.8.12 | 3.8.12 |
| 環境のクラスタ | 標準モードの VPC ネイティブまたはルートベースの Google Kubernetes Engine クラスタ | Autopilot モード VPC ネイティブ Google Kubernetes Engine クラスタ |
| 水平方向のスケーリング |
環境のクラスタ内のノード数を調整できます。これにより、Airflow ワーカーの数が変更されます。 Airflow スケジューラの数を調整できます。 |
需要に基づいて Airflow ワーカーの数を自動的にスケーリングします。ワーカー数の上限と下限を設定および変更できます。 Airflow スケジューラの数を調整できます。 |
| 垂直方向のスケーリング | 環境の作成時に、クラスタノード、Airflow ウェブサーバー、データベースのマシンタイプを設定できます。Airflow ウェブサーバーとデータベースのマシンタイプを変更できます。 | ワークロード構成（Airflow ワーカー、スケジューラ、ウェブサーバー、データベースの CPU、メモリ、ストレージのパラメータ）の設定と変更ができます。 |
| 料金モデル | Cloud Composer 1 の料金モデル | Cloud Composer 2 の料金モデル |
| アクセス制御 | Cloud Composer の役割 | Cloud Composer ロール。Workload Identity を使用します。Cloud Composer サービス エージェント アカウントに追加の権限が必要です。 |
| Workforce Identity 連携を介したアクセス | サポート対象外 | サポート対象 |
| 環境のアーキテクチャ | Cloud Composer 1 環境のアーキテクチャ | Cloud Composer 2 環境のアーキテクチャ |
| プライベート IP ネットワーキング | VPC ピアリング | VPC ピアリングまたは Private Service Connect |
| Terraform のサポート | Cloud Composer 1 環境の作成と更新ができます。 | Cloud Composer 2 環境の作成と更新ができます。 |
| CMEK | サポート対象 | サポート対象 |
| ウェブサーバーのアクセス制御 | サポート対象 | サポート対象 |
| ウェブサーバーの再起動 | サポート対象 | サポート対象 |
| ウェブサーバーのプラグイン | DAG シリアル化が無効になっている Airflow 1 環境でサポートされています | サポート対象 |
| カスタム プラグインのインストール | サポート対象 | サポート対象 |
| メンテナンス オペレーション | すべてのタスクが影響を受ける可能性があります。 | 実行時間が 55 分未満のタスクは影響を受けません。 |
| 非同期 DAG 読み込み | Airflow 1 でサポートされています | サポート対象外 |
| DAG のシリアル化 | Airflow 2 では常に有効になっています。Airflow 1 で無効にできます。 | Airflow 2 では常に有効になっています。 |
| ネットワーク タグのサポート | あり | あり |
| GPU を使用するクラスタノード | はい | いいえ |
| スナップショットの保存 | Airflow 2.x と 1.10.15 バージョンのサポート | サポート対象 |
| スナップショットの読み込み | サポート対象外 | サポート対象 |
| スケジュールされたスナップショット | サポート対象外 | サポート対象 |
Cloud Composer イメージ
Apache Airflow を実行するために、Cloud Composer により、Airflow リリースを他の一般的なバイナリや Python ライブラリとバンドルした Docker イメージが構築されます。
Cloud Composer イメージには、Cloud Composer に固有で、アップストリームの Airflow コードベースには適さない Airflow の変更が含まれています。Cloud Composer 固有の Airflow の変更とプリインストールされたパッケージをまとめて Cloud Composer のバージョンと呼びます。
Google は、新しい Airflow リリースと Cloud Composer の改善を含む新しい Cloud Composer イメージを定期的にリリースしています。
Cloud Composer 1 バージョンのサポート
Cloud Composer 1 の新しいバージョンは、2023 年 3 月末までリリースされます。リリースされた Cloud Composer 1 のすべてのバージョンは、バージョンの非推奨ポリシーに準拠し、そのポリシーに沿ってサポートされます。
Cloud Composer の新しい機能には、Cloud Composer 2 でのみサポートされているものもあります。Cloud Composer 2 でのみサポートされている機能については、バージョン間の主な違いの一覧表をご覧ください。
Cloud Composer バージョンの非推奨とサポート
Google は、バージョンのリリース後、一定期間は Cloud Composer のバージョンをサポートしています。この期間中は、そのバージョンを使用する Cloud Composer 環境は完全にサポートされます。
Cloud Composer のバージョンのサポートは次のように定義されています。
- リリース日から 0～12 か月: これらのバージョンを実行する Cloud Composer 環境は完全にサポートされます。
リリース日から 12～18 か月: それらのバージョンを実行している Cloud Composer 環境は、セキュリティ問題に関するお客様への通知以外のサポートはされません。
リリース日から 18 か月以降: これらのバージョンを実行している Cloud Composer 環境はサポートされず、完全にユーザー管理となります。
Airflow バージョンのサポート
AirFlow は、ソフトウェアのセマンティカルなバージョニング スキーマに従います。Airflow の各バージョンには、メジャー、マイナー、パッチという 3 つのバージョンがあります。
Cloud Composer のバージョンでサポートされている Airflow のバージョンのリストについては、Cloud Composer のバージョン リストをご覧ください。
Airflow 2 バージョンのサポート
各リリースで、Cloud Composer は Airflow 2 の 2 つのマイナー バージョンをサポートしています。
たとえば、Cloud Composer 1.17.0 は Airflow 2.0.* と Airflow 2.1.* をサポートします。
Cloud Composer では、Airflow 2 のマイナー バージョンごとに 1 つのパッチ バージョンがサポートされています。
たとえば、Airflow 2.1.* の場合: Cloud Composer は Airflow 2.1.2 をサポートします。
Airflow 2 の新しいパッチ バージョンが Cloud Composer で使用可能になると、対応するリリースには、Airflow の同じマイナー バージョンで使用できる Airflow 2 の 2 つのパッチ バージョンが提供されます。以前のパッチ バージョンは、次のリリースのいずれかで削除されます。
たとえば、Cloud Composer 1.17.4 は Airflow 2.1.2 と Airflow 2.1.4 の両方をサポートします。
Cloud Composer は、Cloud Composer のリリース間で Airflow パッチのバージョンの一部をスキップできます。また、Airflow の特定のパッチ バージョンで機能的、品質、パフォーマンスの問題がある場合、Cloud Composer ではこのバージョンをスキップすることもできます。
たとえば、Airflow 2.1.3 をスキップして、Airflow 2.1.4 を使用できます。
Airflow 安定版を実行している Cloud Composer リリースには、Airflow の後続のバージョンからバックポートされる Airflow アップデートを含めることができます。
Cloud Composer のバージョン スキーマ
Cloud Composer イメージのバージョニング スキーマでは、Cloud Composer と Airflow のバージョンが取り込まれます。
composer-a.b.c-airflow-x.y.z
ここで
composer-a.b.cは Cloud Composer マネージド カスタマイズのバージョンです。airflow-x.y.zは Airflow のリリースです。
バージョンのエイリアス
Cloud Composer 2 は、次のバージョンのエイリアスをサポートしています。
| エイリアス | Cloud Composer のバージョン | Airflow バージョン |
|---|---|---|
composer-2-airflow-2 |
Cloud Composer 2 の最新バージョン | Airflow 2 の最新バージョン |
composer-2-airflow-x.y |
Cloud Composer 2 の最新バージョン | x.y のメジャー バージョンとマイナー バージョン内の Airflow の最新バージョン |
composer-2-airflow-x.y.z |
Cloud Composer 2 の最新バージョン | Airflow の指定バージョン |
composer-2.b.c-airflow-x.y |
Cloud Composer 2 の指定バージョン | x.y のメジャー バージョンとマイナー バージョン内で利用可能な Airflow の最新バージョン |
Cloud Composer 1 は、次のバージョンのエイリアスをサポートしています。
| エイリアス | Cloud Composer のバージョン | Airflow バージョン |
|---|---|---|
composer-1-airflow-2 |
Cloud Composer 1 の最新バージョン | Airflow 2 の最新バージョン |
composer-1-airflow-1 |
Cloud Composer 1 の最新バージョン | Airflow 1 の最新バージョン |
composer-1-airflow-x.y |
Cloud Composer 1 の最新バージョン | x.y のメジャー バージョンとマイナー バージョン内の Airflow の最新バージョン |
composer-1-airflow-x.y.z |
Cloud Composer 1 の最新バージョン | Airflow の指定バージョン |
composer-1.b.c-airflow-x.y |
Cloud Composer 1 の指定バージョン | x.y のメジャー バージョンとマイナー バージョン内で使用できる Airflow の最新バージョン |
次のバージョンのエイリアスは Cloud Composer 2 を指しています。これらは引き続き使用できますが、Cloud Composer のバージョンのエイリアスへの切り替えを検討してください。
composer-latest-airflow-x.yはcomposer-2-airflow-x.yと同等です。composer-latest-airflow-x.y.zはcomposer-2-airflow-x.y.zと同等です。
Google Cloud CLI のバージョン引数
Google Cloud CLI を使用して Cloud Composer 環境を作成またはアップグレードするときに、Cloud Composer と Airflow のバージョンを指定できます。
--image-version引数で、Cloud Composer と Airflow のバージョンを指定します。composer-a.b.c-airflow-x.y.z形式は、指定されたバージョンの Cloud Composer と Airflow を使用して環境を作成します。- バージョン エイリアスは、まず
composer-a.b.c-airflow-x.y.z形式に解決され、指定されたバージョンの Cloud Composer と Airflow を使用して環境を作成します。
--airflow-versionでは、Airflow バージョンを 2 つの形式で指定します。x.y.z形式は、最新バージョンの Cloud Composer 2 と指定された Airflow のバージョンに対応しています。この形式は、composer-2-airflow-x.y.zバージョンのエイリアスと同等です。x.y形式は、Cloud Composer 2 の最新バージョン、x.yのメジャー バージョンとマイナー バージョン内で利用可能な Airflow の最新バージョンに対応しています。この形式は、composer-2-airflow-x.yバージョンのエイリアスと同等です。