Dataproc unterstützt regionale Endpunkte, die auf Compute Engine-Regionen basieren. Sie müssen eine Region wie „us-east1“ oder „europe-west1“ angeben, wenn Sie einen Dataproc-Cluster erstellen. Dataproc isoliert Clusterressourcen wie VM-Instanzen, Cloud Storage und Metadatenspeicher innerhalb einer Zone innerhalb der angegebenen Region.
Sie können beim Erstellen eines Clusters optional eine Zone innerhalb der angegebenen Clusterregion angeben, z. B. „us-east1-a“ oder „europe-west1-b“. Wenn Sie die Zone nicht angeben, wählt die automatische Zonenplatzierung in Dataproc eine Zone innerhalb der angegebenen Clusterregion aus, um Clusterressourcen zu platzieren.
Der regionale Namespace entspricht dem Segment /regions/REGION
von Dataproc-Ressourcen-URIs (siehe z. B. den Cluster networkUri
).
Semantik regionaler Endpunkte
Namen regionaler Endpunkte folgen einer Standard-Namenskonvention basierend auf Compute Engine-Regionen.
Beispiel: Der Name für die zentrale Region der USA lautet us-central1
und der Name der Region Westeuropa ist europe-west1
. Führen Sie den Befehl gcloud compute regions list
aus, um eine Liste der verfügbaren Regionen anzuzeigen.
Cluster erstellen
Geben Sie beim Erstellen eines Clusters eine Region mit dem erforderlichen Flag --region
an.
gcloud dataproc clusters createCLUSTER_NAME \ --region=REGION \other args ...
Verwenden Sie den URL-Parameter REGION
in einer clusters.create-Anfrage, um die Clusterregion anzugeben.
Legen Sie die Client-Transportadresse mit dem folgenden Muster auf den regionalen Endpunkt fest:
REGION-dataproc.googleapis.com
Python (google-cloud-python) Beispiel:
from google.cloud import dataproc_v1
from google.cloud.dataproc_v1.gapic.transports import cluster_controller_grpc_transport
transport = cluster_controller_grpc_transport.ClusterControllerGrpcTransport(
address='us-central1-dataproc.googleapis.com:443')
client = dataproc_v1.ClusterControllerClient(transport)
project_id = 'my-project'
region = 'us-central1'
cluster = {...}
Java (google-cloud-java) Beispiel:
ClusterControllerSettings settings =
ClusterControllerSettings.newBuilder()
.setEndpoint("us-central1-dataproc.googleapis.com:443")
.build();
try (ClusterControllerClient clusterControllerClient = ClusterControllerClient.create(settings)) {
String projectId = "my-project";
String region = "us-central1";
Cluster cluster = Cluster.newBuilder().build();
Cluster response =
clusterControllerClient.createClusterAsync(projectId, region, cluster).get();
}
Geben Sie in der Google Cloud Console auf der Dataproc-Seite Cluster erstellen im Bereich „Standort“ eine Dataproc-Region an.
Nächste Schritte
- Geografie und Regionen
- Compute Engine → Regionen und Zonen
- Compute Engine → Globale, regionale und zonale Ressourcen
- Automatische Zonenplatzierung in Dataproc