このドキュメントでは、Dataform の割り当てと上限について説明します。
割り当ては、Google Cloud プロジェクトで使用できるハードウェア、ソフトウェア、ネットワーク コンポーネントなどの共有 Google Cloud リソースの量を制限します。つまり、割り当てはシステムの一部で、次の機能があります。
- Google Cloud のプロダクトとサービスの使用量や消費量をモニタリングする。
- 公平性の確保や使用量急増の抑制などのため、これらのリソースの消費量を制限する。
- 規定の制限を自動的に適用する構成を維持する。
- 割り当てをリクエストまたは変更する手段を提供する。
ほとんどの場合、割り当てを超過すると、システムは関連する Google リソースへのアクセスをすぐにブロックするため、ユーザーが試行しているタスクは失敗します。ほとんどの場合、割り当ては各 Google Cloud プロジェクトに適用され、その Google Cloud プロジェクトを使用するすべてのアプリケーションと IP アドレスで共有されます。
Dataform リソースには制限もあります。これらの上限は、割り当てシステムとは無関係です。上限は、特に明記されていない限り、変更できません。
割り当ての補充
毎日の割り当ては、レート制限動作をガイドするという意図を反映して、一日中一定の間隔で補充されます。割り当てを使い切った場合の分断が長時間にならないようにするためにも、断続的な更新が行われます。通常、割り当ては 1 日に 1 回全体的に補充されるのではなく、数分で割り当てが補充され利用可能になります。
割り当ての増加をリクエストします
ほどんどの場合、割り当ての増減を行うには Google Cloud コンソールを使用します。 詳しくは、割り当ての増加をリクエストするをご覧ください。
割り当て使用量の上限
特定のリソースの使用量をデフォルトの割り当て量よりも少なく指定して制限する方法については、使用量の上限を設定するをご覧ください。
必要な権限
Google Cloud コンソール で Dataform の割り当てを表示および更新するには、Google Cloud の割り当てと同じ権限が必要です。詳細については、割り当て権限をご覧ください。
トラブルシューティング
Dataform の割り当てと上限に関連するエラーのトラブルシューティングについては、トラブルシューティングをご覧ください。
Dataform の割り当て
Dataform には、次の API 割り当てがあります。
| 割り当て | 上限 |
|---|---|
| 1 リージョン、1 プロジェクトあたりの合計リクエスト数 | リージョンのプロジェクトごとに 6,000件/分 |
| 1 リージョン、1 プロジェクトあたりのコンパイル リクエスト数 | リージョンのプロジェクトごとに 120件/分 |
| 1 リージョン、1 プロジェクトあたりのファイル アクセス リクエスト数 | リージョンのプロジェクトごとに 120件/分 |
| プロジェクトのリージョンごとのパッケージ インストール リクエスト数 | リージョンのプロジェクトごとに 120件/分 |
| リージョンのプロジェクトごとのワークフロー呼び出しリクエスト数 | リージョンのプロジェクトごとに 60件/分 |
| 実行ごとのワークフロー アクション数 | 5000 |
Dataform で使用されるサービスの割り当て
Dataform は他の Google Cloud サービスを使用します。これらのサービスにはプロジェクト レベルの割り当てがあり、Dataform の使用時に適用されます。
Dataform は、独自の割り当て上限がある次の Google Cloud サービスを使用します。
Dataform コンパイルに関するリソースの上限
Dataform では、コンパイル リソースに次の使用量上限が適用されます。
| 使用量上限 | 値 |
|---|---|
| リポジトリ コンパイルあたりのアクションの最大数 | 5000 |
| コンパイル済みグラフに含まれるアクションごとの依存関係の最大数 | 50 |
| アクションのコンパイル済みグラフのシリアル化された合計最大データサイズ | 20 MB |
| NPM の依存関係の最大サイズ | 200 MB |
また、Dataform ではコンパイル中の CPU とメモリ使用量にも制限があります。コードをコンパイルするときにこれらの上限を超えると、コンパイルが失敗し、Dataform はコンパイル エラーをスローします。
リポジトリのコンパイル リソースの使用量を見積もるには、リポジトリのコンパイル リソースの使用量を見積もるをご覧ください。
次の理由により、リポジトリが使用量上限を超過する場合があります。
- リポジトリ コードの無限ループのバグ。
- リポジトリ コードのメモリリークのバグ。
- リポジトリ サイズが大きい（SQL ワークフロー ノードの数が約 1000 個を超える）。
- 多数の同時クエリ。
Dataform のリポジトリ サイズの詳細については、リポジトリ サイズの概要をご覧ください。