Points de terminaison régionaux

Les points de terminaison régionaux Cloud Dataflow assurent le stockage et la gestion des métadonnées relatives à vos tâches Cloud Dataflow, ainsi que le déploiement et le contrôle de vos nœuds de calcul Cloud Dataflow.

Les noms des points de terminaison régionaux suivent une convention d'appellation standard basée sur les noms de régions de Compute Engine. Par exemple, le nom de la région centrale des États-Unis est us-central1. Actuellement, Cloud Dataflow fournit des points de terminaison régionaux pour les régions suivantes :

  • us-central1
  • us-east1
  • us-west1
  • europe-west1
  • europe-west4
  • asia-east1
  • asia-northeast1

Pourquoi spécifier un point de terminaison régional ?

Dans certaines situations, il peut être utile de spécifier un point de terminaison régional pour vos tâches Cloud Dataflow.

Sécurité et conformité

Pour répondre aux exigences de sécurité et de conformité de votre projet, vous pouvez être amené à limiter le traitement des tâches Cloud Dataflow à une région géographique spécifique.

Localisation des données

Afin de réduire les coûts de latence et de transport réseau, une tâche Cloud Dataflow peut être exécutée à partir de la même région que ses sources, récepteurs et emplacements de fichiers temporaires ou intermédiaires. Il est important de noter que, si vous utilisez des sources, des récepteurs ou des emplacements de fichiers temporaires/intermédiaires situés en dehors de la région associée à votre tâche, vos données peuvent être envoyées d'une région à l'autre.

Remarques à propos des sources de tâches Cloud Dataflow courantes :

  • Les buckets Cloud Storage peuvent être des ressources régionales ou multirégionales : si vous utilisez un bucket Cloud Storage régional en tant que source, Google recommande d'effectuer les opérations de lecture dans la même région. Si vous utilisez un bucket Cloud Storage multirégional en tant que source, nous recommandons d'effectuer les opérations de lecture dans la même région.
  • Les sujets Cloud Pub/Sub sont des ressources globales qui ne sont pas concernées par ces considérations régionales.

Résilience et séparation géographique

Vous pouvez souhaiter isoler vos opérations Cloud Dataflow normales des pannes susceptibles de survenir dans d'autres régions géographiques. Vous pouvez aussi prévoir des sites secondaires pour assurer la continuité des opérations en cas de sinistre à l'échelle de la région.

Sélection de zone automatique

Par défaut, un point de terminaison régional sélectionne automatiquement la meilleure zone de la région en fonction de la capacité disponible au moment de la demande de création de tâche. La sélection automatique de la zone permet de s'assurer que les nœuds de calcul de la tâche s'exécutent dans la zone la plus adaptée à celle-ci.

Utiliser les points de terminaison régionaux

Remarque : La configuration d'un point de terminaison régional nécessite le SDK Apache Beam version 2.0.0 ou ultérieure. Si vous utilisez la version 1.x du SDK Cloud Dataflow, notez que le point de terminaison régional utilisé est us-central1.

Pour spécifier un point de terminaison régional pour votre tâche, définissez l'option --region sur l'un des points de terminaison régionaux disponibles. En l'absence de point de terminaison régional spécifié, Cloud Dataflow utilisera la région us-central1 par défaut, et le démarrage des nœuds de calcul s'effectuera dans les zones de la région us-central1. Afin d'éviter des erreurs, si le point de terminaison régional ne se situe pas dans la région par défaut, vous devez spécifier la région dans chaque commande Cloud Dataflow associée à cette tâche.

L'interface de ligne de commande Cloud Dataflow propose aussi l'option --region pour spécifier des points de terminaison régionaux.

Remplacer la zone

Par défaut, lorsque vous envoyez une tâche avec le paramètre --region, le point de terminaison régional attribue automatiquement des nœuds de calcul à la zone optimale dans la région. Toutefois, vous pouvez spécifier une région et une zone (avec le paramètre --zone) dans les cas suivants :

  • Vos nœuds de calcul se trouvent dans une zone sans point de terminaison régional, et vous en recherchez un qui soit plus proche de cette zone.

  • Vous voulez vous assurer que le traitement des données de votre tâche Cloud Dataflow s'effectuera exclusivement dans une zone spécifique.

Dans tous les autres cas, nous déconseillons de remplacer la zone. Le tableau des scénarios courants contient des recommandations d'utilisation pour ces situations.

La commande gcloud compute regions list permet d'afficher une liste des régions dans lesquelles des zones sont disponibles pour le déploiement d'un nœud de calcul.

Scénarios courants

Ce tableau présente des recommandations d'utilisation pour les scénarios courants.

Scénario Recommandation
Je souhaite utiliser un point de terminaison régional compatible, et je n'ai pas de préférence de zone dans la région. Dans ce cas, le point de terminaison régional sélectionne automatiquement la meilleure zone en fonction de la capacité disponible. Utilisez le paramètre --region pour spécifier un point de terminaison régional. La gestion de votre tâche et le traitement des données seront alors assurés par Cloud Dataflow dans la région spécifiée.
J'ai besoin que le traitement des nœuds de calcul intervienne dans une zone spécifique d'une région qui dispose d'un point de terminaison régional. Indiquez à la fois --region et --zone.

Utilisez le paramètre --region pour spécifier le point de terminaison régional. Utilisez le paramètre --zone pour spécifier une zone particulière dans cette région.

J'ai besoin que le traitement des nœuds de calcul intervienne dans une région spécifique qui n'a pas de point de terminaison régional. Indiquez à la fois --region et --zone.

Utilisez le paramètre --region pour spécifier le point de terminaison régional disponible le plus proche de la zone dans laquelle le traitement du nœud de calcul doit s'effectuer. Utilisez le paramètre --zone pour spécifier une zone dans la région souhaitée où le traitement du nœud de calcul doit s'effectuer.

J'ai besoin d'utiliser Cloud Dataflow Shuffle. Utilisez le paramètre --region pour spécifier un point de terminaison régional compatible avec Cloud Dataflow Shuffle. Les points de terminaison régionaux n'étant pas tous compatibles avec cette fonctionnalité, reportez-vous à la documentation relative aux fonctionnalités pour obtenir une liste des régions disponibles.
Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Besoin d'aide ? Consultez notre page d'assistance.