Dataflow リージョン エンドポイントでは、Dataflow ジョブに関するメタデータが保存 / 処理され、Dataflow ワーカーがデプロイ / 制御されます。
リージョン エンドポイントの名前は、Compute Engine リージョン名に基づく標準の規則に従います。たとえば、米国中部リージョンの名前は us-central1 です。
この機能は、Dataflow がサポートされているすべてのリージョンで使用できます。使用可能なロケーションを確認するには、Dataflow のロケーションをご覧ください。
リージョン エンドポイントの選択に関するガイドライン
Dataflow ジョブでのリージョン エンドポイントの指定は必須です。
セキュリティとコンプライアンス
プロジェクトのセキュリティとコンプライアンスのニーズに対応するために、Dataflow ジョブの処理を特定の地理的リージョンに制限する必要が生じることがあります。
データの局所性
ネットワークのレイテンシおよびネットワーク転送のコストを最小限に抑えるには、Dataflow ジョブをそのソース、シンク、ステージング ファイルのロケーションや一時ファイルのロケーションと同じリージョンから実行します。使用するソース、シンク、ステージング ファイルのロケーションや、一時ファイルのロケーションがジョブのリージョン外である場合、データがリージョンを越えて送信される可能性があります。
パイプラインの実行では、ユーザーデータは Dataflow ワーカープールによってのみ処理され、データの移動はプール内の Dataflow ワーカーを接続するネットワーク パスに制限されます。
パイプライン ログメッセージのロケーションをより細かく制御するには、次の操作を行います。
_Defaultログ ルーター シンクに除外フィルタを作成して、Dataflow ログが_Defaultログバケットにエクスポートされないようにします。- 任意のリージョンでログバケットを作成します。
- 新しいログバケットに Dataflow ログをエクスポートする新しいログルーター シンクを構成します。
ロギングの構成方法については、ルーティングとストレージの概要とログ ルーティングの概要をご覧ください。
一般的な Dataflow ジョブソースに関する注意事項:
- Cloud Storage バケットをリージョン リソースまたはマルチリージョン リソースとして使用できます。Cloud Storage リージョン バケットまたは Cloud Storage マルチリージョン バケットをソースとして使用する場合、同じリージョンで読み取りオペレーションを行うことをおすすめします。
- Pub/Sub トピックをグローバル Pub/Sub エンドポイントに公開すると、最も近い Google Cloud リージョンに保存されます。ただし、トピック ストレージ ポリシーは特定のリージョンまたはリージョン セットに変更できます。同様に、Pub/Sub Lite トピックはゾーン ストレージのみをサポートしています。
復元力と地理的分離
通常の Dataflow オペレーションを、他の地理的リージョンで生じる可能性がある停止から分離するのが適切な場合があります。または、リージョン全体に及ぶ災害が発生した場合の事業継続のために、代替サイトを計画する必要が生じることもあります。
自動ゾーン プレースメント
デフォルトでは、リージョン エンドポイントはジョブの作成リクエストがあった時点の使用可能なゾーン容量に基づき、リージョン内で最適なゾーンを自動的に選択します。この自動ゾーン選択機能により、ジョブワーカーはジョブに最適なゾーンで実行できるようになります。
リージョン エンドポイントの指定
ジョブのリージョン エンドポイントを指定するには、サポートされているリージョン エンドポイントのいずれかに --region オプションを設定します。--region オプションは、メタデータ サーバー、ローカル クライアント、または環境変数に設定されているデフォルト リージョンをオーバーライドします。
また、Dataflow コマンドライン インターフェースでは、--region オプションでリージョン エンドポイントを指定できます。
ワーカー リージョンまたはワーカーゾーンのオーバーライド
デフォルトでは、--region オプションを指定してジョブを送信すると、リージョン エンドポイントがそのリージョン内の最適なゾーンにワーカーを自動的に割り当てます。ただし、ワーカー インスタンスにリージョンまたは特定のゾーン（それぞれ --worker_region または --worker_zone を使用）を指定することもできます。
ワーカー ロケーションのオーバーライドが必要になるのは、次のような状況です。
ワーカーが、リージョン エンドポイントのないリージョンまたはゾーンにあり、そのリージョンまたはゾーンに近いリージョン エンドポイントを使用する場合。
Dataflow ジョブのデータ処理が厳密に特定のリージョンまたはゾーンで行われるようにする場合。
それ以外の場合は、ワーカーのロケーションをオーバーライドすることをおすすめしません。一般的なシナリオの表に、これらの状況に関する使用上の推奨事項を示します。
gcloud compute regions list コマンドを実行して、ワーカーのデプロイに使用できるリージョンとゾーンのリストを表示できます。
一般的な使用方法
次の表に、一般的なシナリオの使用上の推奨事項を示します。
| 事例 | 推奨 |
|---|---|
| サポートされているリージョン エンドポイントを使用し、そのリージョン内にゾーンを設定しない。この場合、リージョン エンドポイントでは、使用可能な容量に基づき、最適なゾーンが自動的に選択されます。 | --region を使用してリージョン エンドポイントを指定します。これにより、Dataflow でジョブが管理されて、指定されたリージョン内のデータが処理されます。 |
| リージョン エンドポイントを持つリージョンの特定のゾーンでワーカー処理を行う必要がある。 | --region と --worker_zone の両方を指定します。
|
| リージョン エンドポイントを持たない特定のリージョンでワーカー処理を行う必要がある。 | --region と --worker_region の両方を指定します。
|
| Dataflow Shuffle を使用する必要がある。 | --region を使用して、Dataflow Shuffle をサポートするリージョン エンドポイントを指定します。リージョン エンドポイントによっては、この機能をサポートしていないものもあります。サポートされているリージョンの一覧については、機能のドキュメントをご覧ください。 |