バッチジョブに Dataflow Shuffle を使用する

Dataflow Shuffle は、GroupByKey、CoGroupByKey、Combine などの Dataflow 変換の背後で行われる基本オペレーションです。Dataflow Shuffle オペレーションは、スケーラブルで効率的、かつフォールトトレラントな方法で、キーごとにデータを分割およびグループ化します。バッチパイプラインのみで利用可能な Dataflow Shuffle 機能では、シャッフルオペレーションがワーカー VM から Dataflow サービスのバックエンドに移動されます。

バッチジョブは、デフォルトで Dataflow Shuffle を使用します。

Dataflow Shuffle の利点

サービスベースの Dataflow Shuffle には、次の利点があります。

パイプラインジョブタイプの大部分で、バッチパイプラインの実行時間が短縮されます。
ワーカー VM 上の CPU、メモリ、永続ディスクストレージリソースの消費量が削減されます。
VM はシャッフルデータを保持せず、そのため早めにスケールダウンが可能になるため、水平自動スケーリングがより適切に行われます。
フォールトトレランスが強化されます。この機能を使用しない場合、Dataflow Shuffle データを保持する VM に異常が発生するとジョブ全体が失敗しますが、この機能を使用すればそのようなことはありません。

ワーカーリソースの削減のほとんどは、シャッフル作業を Dataflow サービスにオフロードすることにあります。そのため、Dataflow Shuffle の使用に関する料金がかかります。実行時間はそのつど異なります。重要な期限があるパイプラインを実行している場合は、期限までに十分なバッファ時間を割り当てることをおすすめします。

Dataflow Shuffle を使用する

この機能は、Dataflow がサポートされているすべてのリージョンで使用できます。使用可能なロケーションを確認するには、Dataflow のロケーションをご覧ください。Dataflow Shuffle を使用する場合は、ワーカーを Dataflow ジョブと同じリージョンにデプロイする必要があります。

Java

パイプラインに Dataflow Shuffle を使用する場合は、zone パイプラインオプションを指定しないでください。代わりに region を指定し、値を使用可能なリージョンのいずれかに設定します。Dataflow は、指定されたリージョンのゾーンを自動的に選択します。zone パイプラインオプションを指定し、使用可能なリージョンの外部のゾーンにそれを設定すると、Dataflow からエラーが報告されます。region と zone に互換性のない組み合わせを設定した場合、ジョブは Dataflow Shuffle を使用できません。

Python

Go

各バッチジョブのデフォルトのブートディスクサイズは 25 GB です。バッチジョブによっては、ディスクサイズを変更する必要があります。次の点を考慮してください。

ワーカー VM は 25 GB のディスク容量の一部をオペレーティングシステム、バイナリ、ログ、コンテナに使用します。Dataflow Shuffle を使用する場合、大量のディスク容量を使用するジョブが残りのディスク容量を使い果たして失敗することがあります。
ディスクサイズが小さいと、ディスク I/O を大量に使用するジョブに時間がかかることがあります。ディスクサイズごとのパフォーマンスの違いについて詳しくは、Compute Engine Persistent Disk のパフォーマンスをご覧ください。

Dataflow Shuffle ジョブにより大きなディスクサイズを指定するには、--disk_size_gb パラメータを使用します。