割り当てと上限

このドキュメントでは、Cloud ComposerC に適用される割り当てと上限を示します。

割り当ては、Google Cloud プロジェクトで使用できる共有 Google Cloud リソース（ハードウェア、ソフトウェア、ネットワーク コンポーネントなど）の量を制限します。つまり、割り当てはシステムの一部で、次の機能があります。

  • Google Cloud のプロダクトとサービスの使用量や消費量をモニタリングする。
  • 公平性の確保や使用量急増の抑制などのため、これらのリソースの消費量を制限する。
  • 規定の制限を自動的に適用する構成を維持する。
  • 割り当てをリクエストまたは変更する手段を提供する。

ほとんどの場合、割り当てを超過すると、システムは関連する Google リソースへのアクセスをすぐにブロックするため、ユーザーが試行しているタスクは失敗します。ほとんどの場合、割り当ては各 Google Cloud プロジェクトに適用され、その Google Cloud プロジェクトを使用するすべてのアプリケーションと IP アドレスで共有されます。

ほどんどの場合、割り当ての増減を行うには Google Cloud コンソールを使用します。詳細については、割り当ての増加をリクエストするをご覧ください。

Cloud Composer リソースには上限もあります。これらの上限は、割り当てシステムとは無関係です。上限は、特に明記されていない限り、変更できません。

Cloud Composer の割り当て

このセクションの割り当ては、Cloud Composer API と Cloud Composer API を利用するツールにのみ適用されます。

  • Google Cloud コンソールの Cloud Composer インターフェース
  • gcloud composer コマンドおよび gcloud beta composer コマンド
  • Cloud Composer REST API
  • Cloud Composer の RPC API
  • Terraform（Cloud Composer 環境でのオペレーション用）

このセクションの割り当ては、Airflow DAG で使用するサービスには適用されません。このようなサービスでは、独自の割り当てが使用されます。

Cloud Composer では、次のように API 割り当てが設定されています。

割り当て名 上限
プロジェクトあたりの読み込みリクエスト 1 分あたり 1,000 の割り当てユニット
プロジェクトあたりの書き込みリクエスト 1 日あたり 25,000 の割り当てユニット
プロジェクトあたりの書き込みリクエスト 1 分あたり 1,500 の割り当てユニット
プロジェクトあたりのスナップショット リクエストを保存する 1 日あたり 5,000 の割り当てユニット
プロジェクトあたりのスナップショット リクエストを保存する 1 分あたり 250 の割り当てユニット
プロジェクトあたり、環境あたりのスナップショット リクエストを保存する 1 日あたり 2,600 の割り当てユニット
プロジェクトあたりのスナップショット リクエストを読み込む 1 日あたり 2,500 の割り当てユニット
プロジェクトあたりのスナップショット リクエストを読み込む 1 分あたり 150 の割り当て
プロジェクトあたり、環境あたりのスナップショット リクエストを読み込む 1 日あたり 700 の割り当てユニット

Cloud Composer API 呼び出しは、割り当てユニットに以下の費用が発生します。

オペレーション 割り当て単位のコスト リクエストの種類
すべてのオペレーション 1 読み取り
environments.create 100 書き込み
environments.patch 100 書き込み
environments.delete 100 書き込み
environments.databaseFailover 100 書き込み
environments.restartWebServer 100 書き込み
environments.checkUpgrade 100 書き込み
environments.executeAirflowCommand 25 書き込み
environments.stopAirflowCommand 25 書き込み
environments.saveSnapshot 50 スナップショットを保存する
environments.loadSnapshot 50 スナップショットの読み込み

割り当ての計算例

  • 1 つの environments.create リクエストは、書き込みの割り当てから 100 割り当てユニットを消費します。

    書き込みリクエストには、次の 2 つの割り当てがあります。

    • プロジェクトごとの 1 日あたりの書き込みリクエスト数
    • プロジェクトごとの 1 分あたりの書き込みリクエスト数

    このオペレーションでは、各割り当てから 100 割り当てユニットを消費します。

    その後 environments.restartWebServer リクエストを実行すると、environments.restartWebServer が environments.create リクエストと割り当てを共有するため、同じ割り当てからさらに 100 の割り当てユニットが消費されます。

  • 1 つの environments.saveSnapshot リクエストは、3 つの割り当てから 50 の割り当てユニットを消費します。

    • プロジェクトごとに 1 日あたりに行われたスナップショット リクエストを保存する
    • プロジェクトごとに 1 分あたりに行われたスナップショット リクエストを保存する
    • プロジェクト単位で、環境ごとに 1 日で行われたスナップショット リクエストを保存する

    これら 3 つの割り当ては、environments.saveSnapshot リクエストの最大数を制限します。制限する際の方法がそれぞれ異なります。

    プロジェクトごとに 1 日あたりに行われたスナップショット リクエストを保存する割り当ての上限は 2,500 割り当てユニットです。プロジェクトで 1 日あたり最大 50 件の environments.saveSnapshot リクエストを実行できます。

    プロジェクトごとに 1 分あたりに行われたスナップショット リクエストを保存する割り当て上限は 150 割り当てユニットです。1 分間に、プロジェクトで environments.saveSnapshot リクエストを実行できるのは最大で 3 件です。

    最後に、プロジェクト単位で、環境ごとに 1 日で行われたスナップショット リクエストを保存する割り当ての上限は 750 割り当てユニットです。1 つの環境で 1 日あたり最大 15 件の environments.saveSnapshot リクエストを実行できます。特定の環境ですべての割り当てユニットが消費された場合でも、プロジェクト内の他の環境に対して environments.saveSnapshot リクエストを実行できます。

他のサービスの割り当て

Cloud Composer は他の Google Cloud サービスを使用します。これらのサービスにはプロジェクト レベルの割り当てがあり、Cloud Composer を使用する場合に適用されます。

たとえば、Cloud Storage の割り当ては、プロジェクトの環境に関連付けられたすべてのバケットに適用されます。別の例として、環境のクラスタでは Google Kubernetes Engine が使用されるため、GKE の割り当ては、プロジェクト内の環境に関連付けられているすべてのクラスタに適用されます。

Cloud Composer で使用されるサービスの割り当て

Cloud Composer には以下のサービスが必要です。これらのサービスには独自の割り当て上限があります。

オプション サービスの割り当て

Google Cloud サービスで Airflow オペレーターを使用できます。DAG で使用するサービスには、そのサービスの割り当てが適用されます。