Dataflow のリージョン プレースメントのご紹介

※この投稿は米国時間 2023 年 3 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

このたび、Dataflow でワーカーのリージョン プレースメントがサポートされるようになりましたことをお知らせいたします。

自動ゾーン プレースメントに基づく構築

Dataflow は、ワーカーを世界中の複数のロケーションでホストされる Compute Engine リソースとしてデプロイします。2018 年から自動ゾーン機能をサポートしており、使用可能なゾーン容量を使ってリージョン内の最適な単一のゾーンを自動的に選択し、Dataflow ワーカーを実行します。自動ゾーン機能により、お客様はゾーン選択プロセスを Dataflow サービスに任せることができていたものの、これにはいくつかの主要な機能が欠けていました。

• ゾーンのコンピューティング容量が不足すると、自動ゾーンで作成されたジョブはリソースの可用性エラーの影響を受けやすくなる。

• ゾーン障害が発生した場合、自動ゾーンで作成されたジョブは特定のゾーンに限定されているため、失敗してしまう。

ワーカーのリージョン プレースメントは、関連するリージョン内の利用可能なゾーンすべてに Dataflow ジョブを登録することで、上述のギャップを解消します。つまり、ゾーンのサブセットがコンピューティング容量を使い果たしても、Dataflow ジョブが、追加の容量がある他のゾーンからワーカーのプロビジョニングを続行します。これにより、Dataflow ジョブのスケーラビリティと信頼性を向上させることができます。

使ってみる

Streaming Engine ジョブと Shuffle Service ジョブは、ワーカーのリージョン プレースメントに対して自動的に有効になります。詳細については、ドキュメント ページをご覧ください。