Dataproc est compatible avec les points de terminaison régionaux basés sur les régions Compute Engine. Lorsque vous créez un cluster Dataproc, vous devez spécifier une région, telle que "us-east1" ou "europe-west1". Dataproc isolera les ressources du cluster, telles que les instances de VM et Cloud Storage et le stockage de métadonnées, dans une zone de la région spécifiée.
Vous pouvez éventuellement spécifier une zone dans la région spécifiée du cluster, telle que "us-east1-a" ou "europe-west1-b", lorsque vous créez un cluster. Si vous ne spécifiez pas la zone, l'outil Sélection de zone automatique Dataproc choisit une zone dans la région de cluster spécifiée pour localiser les ressources des clusters.
L'espace de noms régional correspond au segment /regions/REGION
des URI de ressources Dataproc (voir, par exemple, le cluster networkUri
).
Sémantique des points finaux régionaux
Les noms des points de terminaison régionaux suivent une convention d'appellation standard basée sur les Régions de Compute Engine.
Par exemple, le nom de la région centrale des États-Unis est us-central1
et celui de l'Europe occidentale est europe-west1
. Exécutez la commande gcloud compute regions list
pour afficher la liste des régions disponibles.
Créer un cluster
gcloud
Lorsque vous créez un cluster, spécifiez une région à l'aide de l'option --region
requise.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ other args ...
API REST
Utilisez le paramètre d'URL REGION
dans une requête clusters.create pour spécifier la région du cluster.
gRPC
Définissez l'adresse de transport du client sur le point de terminaison régional à l'aide du modèle suivant:
REGION-dataproc.googleapis.com
Exemple Python (google-cloud-python) :
from google.cloud import dataproc_v1
from google.cloud.dataproc_v1.gapic.transports import cluster_controller_grpc_transport
transport = cluster_controller_grpc_transport.ClusterControllerGrpcTransport(
address='us-central1-dataproc.googleapis.com:443')
client = dataproc_v1.ClusterControllerClient(transport)
project_id = 'my-project'
region = 'us-central1'
cluster = {...}
Exemple Java (google-cloud-java) :
ClusterControllerSettings settings =
ClusterControllerSettings.newBuilder()
.setEndpoint("us-central1-dataproc.googleapis.com:443")
.build();
try (ClusterControllerClient clusterControllerClient = ClusterControllerClient.create(settings)) {
String projectId = "my-project";
String region = "us-central1";
Cluster cluster = Cluster.newBuilder().build();
Cluster response =
clusterControllerClient.createClusterAsync(projectId, region, cluster).get();
}
Console
Spécifiez une région Dataproc dans la section "Emplacement" du panneau Configurer un cluster de la page Dataproc Créer un cluster dans la console Google Cloud.
Étapes suivantes
- Zones géographiques et régions
- Moteur Compute Engine → Régions et zones
- Compute Engine → Ressources globales, régionales et zonales
- Sélection automatique des zones de Dataproc