Automatische Zonenplatzierung in Dataproc

Wenn Sie einen Dataproc-Cluster erstellen, verwenden Clusterressourcen einen regionalen Endpunkt, der auf Compute Engine-Zonen basiert. Wenn Sie eine Region auswählen, können Sie eine Zone innerhalb dieser Region auswählen oder die Zone auslassen, damit die Dataproc-Funktion zur automatischen Zonenplatzierung eine Zone in der ausgewählten Region für Sie auswählt. Sobald eine Zone ausgewählt ist, werden alle Knoten für diesen Cluster in dieser Zone bereitgestellt.

Auto Zone und Ressourcenreservierungen

Bei der Auto Zone wird die Erstellung eines Clusters in einer Zone mit Ressourcenreservierungen wie folgt priorisiert:

  • Wenn die angeforderten Clusterressourcen vollständig durch reservierte sowie gegebenenfalls On-Demand-Ressourcen in einer Zone erfüllt werden können, verbraucht Auto Zone die reservierten und On-Demand-Ressourcen und erstellt den Cluster in dieser Zone.

  • Auto Zone priorisiert die ausgewählten Zonen anhand der gesamten CPU-Kernreservierungen (vCPU) in einer Zone.

    Beispiel: In einer Anfrage zur Clustererstellung werden 20 n2-standard-2 und 1 n2-standard-64 angegeben (40 + 64 vCPUs angefordert). Auto Zone priorisiert die folgenden Zonen für die Auswahl anhand der Gesamtzahl der in der Zone verfügbaren vCPU-Reservierungen:

    1. zone-c verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)
    2. zone-b verfügbare Reservierungen: 1 n2-standard-64 (64 vCPUs)

    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Wenn jede der oben genannten Zonen über zusätzliche On-Demand-vCPU und andere Ressourcen verfügt, die zur Erfüllung der Clusteranfrage ausreichen, wählt Auto Zone zone-c für die Clustererstellung aus.

  • Wenn die angeforderten Clusterressourcen nicht vollständig durch reservierte und On-Demand-Ressourcen in einer Zone befriedigt werden können, erstellt Auto Zone den Cluster in einer Zone, die die Anfrage am ehesten mit On-Demand-Ressourcen erfüllen kann.

Automatische Zonenplatzierung verwenden

Console

So erstellen Sie einen Dataproc-Cluster, der die automatische Zonenplatzierung verwendet:

  • Öffnen Sie in der Google Cloud Console die Dataproc-Seite Dataproc-Cluster in Compute Engine erstellen. Der Bereich Cluster einrichten ist ausgewählt.
  • Im Abschnitt Standort:
    • Wählen Sie eine Region für den Cluster aus.
    • Wählen Sie unter Zone die Option „Beliebig“ aus.

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create, um einen Dataproc-Cluster mit automatischer Zonenplatzierung zu erstellen. Legen Sie das Flag --region auf eine Region fest und lassen Sie das Flag --zone weg (oder lassen Sie das Flag leer: --zone= oder zone="").

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

Gehen Sie zum Erstellen eines Dataproc-Clusters mit automatischer Zonenplatzierung so vor: Erstellen Sie die JSON API-Anfrage clusters.create und lassen Sie das Feld gceClusterConfig.zoneUri leer. Geben Sie im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters einen Regionsnamen ein. Die automatische Zonenplatzierung von Dataproc wählt eine Zone für den Cluster innerhalb der angegebenen Region aus.

Kurze Ressourcennamen mit Auto Zone verwenden: Wenn Sie einen Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri in einer Anfrage zum Erstellen eines REST API-Clusters für die automatische Zonenplatzierung angeben, verwenden Sie einen kurzen Ressourcennamen ohne Zonenspezifikation, z. B. "n1-standard-2" oder "nvidia-tesla-t4".