環境のスケーリング

Cloud Composer 1 | Cloud Composer 2

このページでは、Cloud Composer 2 での環境スケーリングの仕組みについて説明します。

スケーリングに関するほかのページ:

環境の自動スケーリング

Cloud Composer 2 環境は、実行された DAG とタスクの需要に応じて自動的にスケーリングされます。

  • 環境の負荷が大きい場合、Cloud Composer によって環境内のワーカー数が自動的に増加します。
  • 環境で一部のワーカーが使用されていない場合、環境のリソースとコストを節約するために、これらのワーカーは削除されます。
  • 環境に対するワーカーの最小数と最大数は、設定できます。Cloud Composer では、設定された制限内で環境が自動的にスケーリングされます。これらの制限値は、いつでも調整できます。

ワーカーの数は、スケーリング係数のターゲットの指標に基づいて調整されます。この指標は以下に基づいて計算されます。

  • 現在のワーカーの数
  • Celery キュー内の Celery タスクのうち、ワーカーに割り当てられていないタスクの数
  • アイドル状態のワーカーの数
  • celery.worker_concurrency Airflow 構成オプション

Cloud Composer の自動スケーリングでは、GKE から提供される 3 つの異なるオートスケーラーを使用します。

Cloud Composer により、環境のクラスタにこれらのオートスケーラーが構成されます。これにより、クラスタ内のノード数、マシンタイプ、ワーカー数が自動的にスケーリングされます。

スケールとパフォーマンスのパラメータ

自動スケーリングに加えて、スケジューラ、ウェブサーバー、ワーカーの CPU、メモリ、ディスクの制限を調整して、環境のスケーリングとパフォーマンスのパラメータを制御できます。そうすることで、自動スケーリング機能で提供される水平スケーリングに加え、環境を垂直方向にスケーリングできます。Airflow スケジューラ、ウェブサーバー、ワーカーのスケールとパフォーマンスのパラメータは、いつでも調整できます。

環境の環境サイズ パフォーマンス パラメータは、Airflow データベースを含むマネージド Cloud Composer インフラストラクチャのパフォーマンス パラメータを制御します。多数の DAG とタスクを実行する場合は、大きめの環境サイズの選択を検討してください。

複数のスケジューラ

Airflow 2 では、同時に複数の Airflow スケジューラを使用できます。この Airflow 機能は、HA スケジューラとも呼ばれます。Cloud Composer 2 では、環境のスケジューラの数の設定や調整がいつでもできます。Cloud Composer では、環境内のスケジューラの数が自動的にスケーリングされることはありません。

環境のスケジューラ数の構成に関する詳細については、環境をスケーリングするをご覧ください。

データベースのディスク容量

需要を満たすために、Airflow データベースのディスク容量は自動的に増加します。

次のステップ