環境のスケーリング

Cloud Composer 1 | Cloud Composer 2

このページでは、Cloud Composer 2 での環境スケーリングの仕組みについて説明します。

環境のスケーリングの詳細については、環境のスケーリングをご覧ください。

自動スケーリング環境

Cloud Composer 2 環境は、実行された DAG とタスクの需要に応じて自動的にスケーリングします。

  • 環境の負荷が高い場合、Cloud Composer は自動的に環境内のワーカー数を増やします。
  • 環境でそのワーカーの一部を使用していない場合、それらのワーカーは環境のリソースと費用を節約するために削除されます。
  • 環境に対するワーカーの最小数と最大数は、設定できます。Cloud Composer では、設定された制限内で環境が自動的にスケーリングされます。これらの制限値は、いつでも調整できます。

ワーカー数は、スケーリング係数のターゲットの指標に基づいて調整されます。この指標は次の基準に基づいて計算されます。

  • 現在のワーカー数
  • キュー内の、ワーカーに割り当てられていないタスクの数
  • アイドル状態のワーカーの数
  • core.worker_concurrency Airflow 構成オプション

Cloud Composer の自動スケーリングは、GKE から提供される 3 つの異なるオートスケーラーを使用します。

Cloud Composer により、これらのオートスケーラーが環境のクラスタ内に構成されます。クラスタ内のノード数、マシンタイプ、ワーカー数が自動的にスケーリングされます。

スケールとパフォーマンスのパラメータ

自動スケーリングに加えて、スケジューラ、ウェブサーバー、ワーカーの CPU、メモリ、ディスクの制限を調整することで、環境の規模とパフォーマンス パラメータを制御できます。そうすることで、自動スケーリング機能による水平スケーリングに加えて、環境を垂直方向にスケーリングできます。Airflow スケジューラ、ウェブサーバー、ワーカーのスケーリング パラメータとパフォーマンス パラメータはいつでも調整できます。

環境の環境サイズ パフォーマンス パラメータは、Airflow データベースを含むマネージド Cloud Composer インフラストラクチャのパフォーマンス パラメータを制御します。多数の DAG とタスクを実行する場合は、大きめの環境サイズの選択を検討してください。

複数のスケジューラ

Airflow 2 は、複数の Airflow スケジューラを同時に使用できます。この Airflow 機能は、HA スケジューラとも呼ばれます。Cloud Composer 2 では、環境のスケジューラの数を設定して、いつでも調整できます。Cloud Composer では、環境内のスケジューラの数は自動的にスケーリングされません。

環境のスケジューラ数の構成に関する詳細については、環境をスケーリングするをご覧ください。

データベースのディスク容量

Airflow データベースのディスク容量は、必要に応じて自動的に増加します。

次のステップ