環境のスケーリング

Cloud Composer 1 | Cloud Composer 2

このページでは、Cloud Composer 2 での環境スケーリングの仕組みについて説明します。

スケーリングに関するその他のページ:

環境に最適なスケールとパフォーマンスパラメータを選択するためのガイドについては、環境のパフォーマンスとコストを最適化するをご覧ください。
環境のスケーリングの詳細については、環境をスケーリングするをご覧ください。

環境の自動スケーリング

Cloud Composer 2 環境は、実行された DAG とタスクの需要に応じて自動的にスケーリングされます。

環境の負荷が高い場合、Cloud Composer は自動的に環境内のワーカー数を増やします。
環境でそのワーカーの一部を使用していない場合、それらのワーカーは環境のリソースと費用を節約するために削除されます。
環境に対するワーカーの最小数と最大数は、設定できます。Cloud Composer では、設定された制限内で環境が自動的にスケーリングされます。これらの制限値は、いつでも調整できます。

ワーカーの数は、スケーリング係数のターゲットの指標に基づいて調整されます。この指標は次の基準に基づいて計算されます。

現在のワーカーの数
キュー内の、ワーカーに割り当てられていないタスクの数
アイドル状態のワーカーの数
celery.worker_concurrency Airflow 構成オプション

Cloud Composer の自動スケーリングでは、GKE から提供される 3 つの異なるオートスケーラーを使用します。

Cloud Composer により、これらのオートスケーラーが環境のクラスタ内に構成されます。これにより、クラスタ内のノード数、マシンタイプ、ワーカー数が自動的にスケーリングされます。

スケールとパフォーマンスのパラメータ

自動スケーリングに加えて、スケジューラ、ウェブサーバー、ワーカーの CPU、メモリ、ディスクの制限を調整することで、環境の規模とパフォーマンスパラメータを制御できます。そうすることで、自動スケーリング機能による水平スケーリングに加えて、環境を垂直方向にスケーリングできます。Airflow スケジューラ、ウェブサーバー、ワーカーのスケーリングパラメータとパフォーマンスパラメータはいつでも調整できます。

環境の環境サイズパフォーマンスパラメータは、Airflow データベースを含むマネージド Cloud Composer インフラストラクチャのパフォーマンスパラメータを制御します。多数の DAG とタスクを実行する場合は、大きめの環境サイズの選択を検討してください。

複数のスケジューラ

Airflow 2 は、複数の Airflow スケジューラを同時に使用できます。この Airflow 機能は、HA スケジューラとも呼ばれます。Cloud Composer 2 では、環境のスケジューラの数を設定して、いつでも調整できます。Cloud Composer では、環境内のスケジューラの数は自動的にスケーリングされません。

環境のスケジューラ数の構成に関する詳細については、環境をスケーリングするをご覧ください。

データベースのディスク容量

Airflow データベースのディスク容量は、必要に応じて自動的に増加します。