このドキュメントでは、Dataform の割り当てと上限について説明します。
Google Cloud では、割り当てを使用して公平性を確保し、リソースの使用量と可用性の急増を抑えます。割り当ては、Google Cloud プロジェクトで使用できる Google Cloud リソースの量を制限します。割り当ては、ハードウェア、ソフトウェア、ネットワーク コンポーネントなど、さまざまなリソースタイプに適用されます。たとえば、割り当てによって、サービスへの API 呼び出しの数、プロジェクトで同時に使用されるロードバランサの数、作成可能なプロジェクトの数を制限できます。割り当てを適用することで、サービスの過負荷を防ぎ、Google Cloud ユーザーのコミュニティを保護します。割り当ては、自組織で使用している Google Cloud リソースの管理にも役立ちます。
Cloud Quotas システムは次のことを行います。
- Google Cloud のプロダクトとサービスの消費量をモニタリングする
- これらのリソースの消費量を制限する
- 割り当て値の変更をリクエストする手段を提供する
ほとんどの場合、割り当ての許容量を超えるリソースを消費しようとすると、システムによってリソースへのアクセスがブロックされ、実行しようとしているタスクは失敗します。
割り当ては通常、Google Cloud プロジェクト レベルで適用されます。あるプロジェクトでリソースを使用しても、別のプロジェクトで使用可能な割り当てに影響することはありません。Google Cloud プロジェクト内では、すべてのアプリケーションと IP アドレスで割り当てが共有されます。
Dataform リソースには制限もあります。これらの上限は、割り当てシステムとは無関係です。上限は、特に明記されていない限り、変更できません。
割り当ての補充
毎日の割り当ては、レート制限動作をガイドするという意図を反映して、一日中一定の間隔で補充されます。割り当てを使い切った場合の分断が長時間にならないようにするためにも、断続的な更新が行われます。通常、割り当ては 1 日に 1 回全体的に補充されるのではなく、数分で割り当てが補充され利用可能になります。
割り当ての増加をリクエストします
ほどんどの場合、割り当ての増減を行うには Google Cloud コンソールを使用します。 詳細については、割り当ての増加をリクエストするをご覧ください。
割り当て使用量の上限
特定のリソースの使用量をデフォルトの割り当て量よりも少なく指定して制限する方法については、使用量の上限を設定するをご覧ください。
必要な権限
Google Cloud コンソール で Dataform の割り当てを表示および更新するには、Google Cloud の割り当てと同じ権限が必要です。詳細については、割り当て権限をご覧ください。
トラブルシューティング
Dataform の割り当てと上限に関連するエラーのトラブルシューティングについては、トラブルシューティングをご覧ください。
Dataform の割り当て
Dataform には以下の API 割り当てがあります。
| 割り当て | 上限 |
|---|---|
| 1 リージョン、1 プロジェクトあたりの合計リクエスト数 | 6000/minute/project/region |
| 1 リージョン、1 プロジェクトあたりのコンパイル リクエスト数 | 120/minute/project/region |
| 1 リージョン、1 プロジェクトあたりのファイル アクセス リクエスト数 | 120/minute/project/region |
| プロジェクトのリージョンごとのパッケージ インストール リクエスト数 | 120/minute/project/region |
| リージョンのプロジェクトごとのワークフロー呼び出しリクエスト数 | 60/minute/project/region |
| 実行ごとのワークフロー アクション数 | 5000 |
Dataform で使用されるサービスの割り当て
Dataform は他の Google Cloud サービスを使用します。これらのサービスにはプロジェクト レベルの割り当てがあり、Dataform を使用する場合に適用されます。
Dataform では、独自の割り当て上限がある次の Google Cloud サービスを使用します。
Dataform コンパイルのリソースの上限
Dataform では、コンパイル リソースに次の使用量上限が適用されます。
| 使用量上限 | 値 |
|---|---|
| リポジトリのコンパイルあたりのアクションの最大数 | 5000 |
| コンパイル済みグラフのアクションごとの依存関係の最大数 | 50 |
| アクションのコンパイル済みグラフのシリアル化された合計最大データサイズ | 20 MB |
| NPM 依存関係の最大サイズ | 200 MB |
| CMEK 暗号化リポジトリの最大サイズ | 512 MB |
また、Dataform では、コンパイル中の CPU とメモリの使用量に上限が適用されます。コードをコンパイルするときにこれらの上限を超えると、コンパイルが失敗し、Dataform はコンパイル エラーをスローします。
リポジトリのコンパイル リソースの使用量を見積もるには、リポジトリのコンパイル リソースの使用量を見積もるをご覧ください。
次の理由により、リポジトリが使用量上限を超えることがあります。
- リポジトリ コードの無限ループのバグ。
- リポジトリ コードのメモリリークのバグ。
- リポジトリ サイズが大きい（SQL ワークフロー ノードの数が約 1000 個を超える）。
- 同時実行クエリが多数ある。
Dataform のリポジトリ サイズの詳細については、リポジトリ サイズの概要をご覧ください。