割り当てと上限

割り当て

各ユーザーは、1 分あたり最大 300 万回のリクエストを作成できます。
各 Dataflow ジョブでは最大 1,000 個の Compute Engine インスタンスを使用できます。
各 Google Cloud プロジェクトでは、少なくとも 25 個の同時 Dataflow ジョブを実行できます。
各 Dataflow ワーカーでは、一定期間に出力できるログの上限が設定されています。正確な上限については、ロギングのドキュメントをご覧ください。
組織レベルの割り当てにオプトインすると、各組織は少なくとも 125 個の同時 Dataflow ジョブを実行できます。
各ユーザーは 1 分あたり最大 15,000 個のモニタリングリクエストを作成できます。
各 Google Cloud プロジェクトにはリージョンごとに以下のシャッフルスロットがあります。
- asia-east1: 48 スロット
- asia-northeast1: 24 スロット
- asia-south1: 32 スロット
- europe-west1: 160 スロット
- europe-west3: 24 スロット
- europe-west4: 128 スロット
- northamerica-northeast1: 24 スロット
- us-central1: 160 スロット
- us-east1: 160 スロット
- us-east4: 32 スロット
- us-west1: 96 スロット
- その他: 16 スロット
160 個のスロットは、約 100 TB のデータを同時にシャッフルするのに十分な数です。
各 Google Cloud プロジェクトでは、Compute Engine インスタンスと Streaming Engine の間でデータを送信するために、Streaming Engine のスループットのクラウドリージョンごとに 1 分あたり 600 GB を取得します。

注: プロジェクトで 25 個を上回る Dataflow ジョブ、または組織で 125 個を上回る Dataflow ジョブを同時に実行する場合は、要件に合わせて上限値を増やすことができますので、Google Cloud サポートまでお問い合わせください。

さらに、サポートリクエストを送信し、プロジェクト内のすべてのジョブに対して予想される同時シャッフルデータセットの最大サイズを指定することで、バッチジョブのシャッフルスロットの割り当てを増やすことが可能です。追加のシャッフル割り当てをリクエストする前に、Dataflow Shuffle を使用してパイプラインを実行して実際のシャッフル割り当て使用量を確認してください。

ストリーミングジョブの場合は、Google Cloud Platform サポートにサポートリクエストを送信することで、Streaming Engine のスループットを向上させることが可能です。リクエストで、ジョブを実行しているリージョンごとに毎分ワーカー間でシャッフルするデータの最大量を指定します。

確認できるのは、Dataflow での現在の割り当て使用量です。

Google Cloud Console で、[API とサービス] ページに移動します。
[API とサービス] に移動
[ダッシュボード] をクリックします。
[Dataflow API] をクリックします。
[割り当て] をクリックします。
たとえば、シャッフルスロットの現在の割り当て使用量を調べるには、[割り当て] ページにある [Shuffle slots] グラフを確認します。

Dataflow サービスは、BigQuery、Cloud Storage、Pub/Sub、Compute Engine など、Google Cloud のさまざまなコンポーネントを使用します。これら（また、その他の Google Cloud サービス）は、プロジェクト内で使用できるリソースの最大数を制限する割り当てを使用します。Dataflow を使用する場合は、これらのサービスの割り当て設定の調整が必要になることがあります。

Compute Engine の割り当て

パイプラインを Dataflow サービス上で実行すると、Dataflow によってパイプラインコードを実行する Compute Engine インスタンスが作成されます。

Compute Engine の割り当てはリージョンごとに指定されます。プロジェクトの Compute Engine 割り当てを確認し、必要に応じて次の調整をリクエストします。

CPU: Dataflow のデフォルトのマシンタイプは、バッチの場合は n1-standard-1、Streaming Engine を使用するジョブの場合は n1-standard-2、Streaming Engine を使用しないジョブの場合は n1-standard-4 です。FlexRS はデフォルトで n1-standard-2 を使用します。ベータ版の FlexRS では 90% のプリエンプティブル VM と 10% の通常の VM を使用します。Compute Engine では、各インスタンスの総 CPU 数を合計することによって、CPU の数を計算します。たとえば、実行中の 10 個の n1-standard-4 インスタンスは 40 CPU として計算されます。マシンタイプから CPU 数へのマッピングについては、Compute Engine のマシンタイプをご覧ください。
使用中の IP アドレス: プロジェクトで使用中の IP アドレスの数は、必要なインスタンス数に十分に対応できる必要があります。 10 個の Compute Engine インスタンスを使用するには、10 個の使用中 IP アドレスが必要です。
Persistent Disk: Dataflow では Persistent Disk が各インスタンスにアタッチされます。
- デフォルトのディスクサイズは、バッチの場合は 250 GB、ストリーミングパイプラインの場合は 400 GB です。10 インスタンスの場合、デフォルトでは、バッチジョブに 2,500 GB の Persistent Disk が必要になります。
- Dataflow Shuffle バッチパイプラインのデフォルトのディスクサイズは 25 GB です。
- Streaming Engine ストリーミングパイプラインのデフォルトのディスクサイズは 30 GB です。
マネージドインスタンスグループ: Dataflow は Compute Engine インスタンスをマネージドインスタンスグループとしてデプロイします。次の関連割り当てが使用可能であることを確認する必要があります。
- Dataflow ジョブごとに 1 つのインスタンスグループ
- Dataflow ジョブごとに 1 つのマネージドインスタンスグループ
- Dataflow ジョブごとに 1 つのインスタンステンプレート

注: 無料トライアルプロジェクトを使用している場合、プロジェクトでは最大 8 コアを利用可能です。無料トライアルの上限に合った numWorkers、workerMachineType、maxNumWorkers の組み合わせを指定する必要があります。

追加の割り当て

使用しているソースとシンクに応じて、追加の割り当てが必要になることもあります。

Pub/Sub: Pub/Sub を使用している場合は、追加の割り当てが必要になる場合があります。割り当てを計画する場合は、Pub/Sub からのメッセージを 1 つ処理するには 3 つのオペレーションが必要なので注意してください。カスタムタイムスタンプを使用する場合は、カスタムタイムスタンプを追跡するために Dataflow によって別のサブスクリプションが作成されるため、予想されるオペレーション数を 2 倍にする必要があります。
BigQuery: BigQuery にストリーミング API を使用している場合は、割り当て上限とその他の制限が適用されます。

上限

このセクションでは、Dataflow で提供される実際のサービスの上限について説明します。

上限	値
パイプラインあたりの最大ワーカー数。	1,000
ジョブ作成リクエストの最大サイズ。パイプラインの説明のステップ数が多く、非常に長い名前が含まれていると、この上限に達する可能性があります。	10 MB
副入力シャードの最大数。	20,000
Streaming Engine の単一要素値の最大サイズ	100 MB
ワーカーあたりの特定の期間におけるログエントリの最大数。	30 秒ごとに 15,000 件のメッセージ

Streaming Engine の上限	量
Pub/Sub メッセージの最大バイト数。	7 MB
ラージキーの最大サイズ。64 KB を超える鍵を使用するとパフォーマンスが低下します。	2 MB
`TagValue` と `TagBag` で使用される状態タグの最大長。	64 KB