環境のスケーリングについて

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

このページでは、Cloud Composer 2 での環境スケーリングの仕組みについて説明します。

スケーリングに関するほかのページ:

環境の自動スケーリング

Cloud Composer 2 環境は、実行された DAG とタスクの需要に応じて自動的にスケーリングされます。

  • 環境の負荷が大きい場合は、Cloud Composer によって環境内のワーカー数が自動的に引き上げられます。
  • 環境で使用されていないワーカーがある場合、これらのワーカーは環境のリソースと費用を節約するために削除されます。
  • 環境に対するワーカーの最小数と最大数は、設定できます。Cloud Composer では、設定された制限内で環境が自動的にスケーリングされます。これらの制限値は、いつでも調整できます。

ワーカーの数は、スケーリング係数のターゲットの指標に基づいて調整されます。この指標は以下の内容に基づいて計算されます。

  • 現在のワーカーの数
  • Celery キュー内のワーカーに割り当てられていない Celery タスクの数
  • アイドル状態のワーカーの数
  • celery.worker_concurrency Airflow 構成オプション

Cloud Composer の自動スケーリングでは、GKE から提供される 3 つの異なるオートスケーラーを使用します。

Cloud Composer は、環境のクラスタにこれらのオートスケーラーを構成します。これにより、クラスタ内のノード数、マシンタイプ、ワーカー数が自動的にスケーリングされます。

スケールとパフォーマンスのパラメータ

自動スケーリングに加えて、スケジューラ、ウェブサーバー、ワーカーの CPU、メモリ、ディスクの上限を調整することで、環境のスケールとパフォーマンスのパラメータを制御できます。そうすることで、自動スケーリング機能で提供される水平スケーリングに加え、環境を垂直方向にスケーリングできます。Airflow スケジューラ、ウェブサーバー、ワーカーのスケーリングとパフォーマンスのパラメータは、いつでも調整できます。

環境の環境サイズ パフォーマンス パラメータは、Airflow データベースを含むマネージド Cloud Composer インフラストラクチャのパフォーマンス パラメータを制御します。インフラストラクチャのパフォーマンスを高めながら多数の DAG とタスクを実行する場合は、大きめの環境サイズの選択を検討してください。たとえば、環境のサイズが大きいほど、環境で最小限の遅延で処理できる Airflow タスクログ エントリの量が増えます。

複数のスケジューラ

Airflow 2 では、同時に複数の Airflow スケジューラを使用できます。この Airflow 機能は、HA スケジューラとも呼ばれます。Cloud Composer 2 では、環境のスケジューラの数の設定や調整がいつでもできます。Cloud Composer では、環境内のスケジューラの数は自動スケーリングされません。

環境のスケジューラ数の構成に関する詳細については、環境をスケーリングするをご覧ください。

データベースのディスク容量

Airflow データベースのディスク容量は、需要に対応するように自動的に増加します。

次のステップ