Automatische Zonenplatzierung in Dataproc

Wenn Sie einen Dataproc-Cluster erstellen, verwenden Clusterressourcen regionale Endpunkte, die auf Compute Engine-Zonen basieren. Wenn Sie eine Region auswählen, können Sie eine Zone innerhalb dieser Region auswählen oder die Zone auslassen, damit die Dataproc-Funktion zur automatischen Zonenplatzierung eine Zone in der von Ihnen gewählten Region für Sie auswählt. Sobald eine Zone ausgewählt ist, werden alle Knoten für diesen Cluster in dieser Zone bereitgestellt.

Auto Zone- und Ressourcenreservierungen

Mit der Funktion „Auto Zone“ wird das Erstellen eines Clusters in einer Zone mit Ressourcenreservierungen priorisiert:

  • Wenn angeforderte Clusterressourcen vollständig durch reservierte sowie gegebenenfalls On-Demand-Ressourcen in einer Zone bereitgestellt werden können, verwendet Auto Zone die reservierten und On-Demand-Ressourcen und erstellt den Cluster in dieser Zone.

  • Die Funktion „Auto Zone“ priorisiert Zonen für die Auswahl gemäß der Gesamtzahl der CPU-Kernreservierungen (vCPU) in einer Zone.

    Beispiel:In einer Anfrage zur Clustererstellung werden 20 n2-standard-2 und 1 n2-standard-64 angegeben (40 + 64 vCPUs angefordert). Mit der Funktion „Auto Zone“ werden die folgenden Zonen gemäß der in der Zone insgesamt verfügbaren vCPU-Reservierungen priorisiert:

    1. zone-c verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)
    2. zone-b verfügbare Reservierungen: 1 n2-standard-64 (64 vCPUs)

    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Unter der Annahme, dass jede der oben genannten Zonen zusätzliche On-Demand-vCPU und andere Ressourcen hat, die zur Erfüllung der Clusteranfrage ausreichen, wählt „Auto Zone“ für die Clustererstellung zone-c aus.

  • Wenn angeforderte Clusterressourcen in einer Zone mit reservierten plus On-Demand-Ressourcen nicht vollständig erfüllt werden können, erstellt Auto Zone den Cluster in einer Zone, die die Anfrage mit On-Demand-Ressourcen am ehesten erfüllt.

Automatische Zonenplatzierung verwenden

Console

So erstellen Sie einen Dataproc-Cluster, der die automatische Zonenplatzierung verwendet:

  • Rufen Sie in der Google Cloud Console die Dataproc-Seite Dataproc-Cluster in Compute Engine erstellen auf. Der Bereich Cluster einrichten ist ausgewählt.
  • Im Bereich Standort:
    • Wählen Sie eine Region für den Cluster aus.
    • Wählen Sie unter Zone die Option „Beliebig“ aus.

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create, um einen Dataproc-Cluster mit automatischer Zonenplatzierung zu erstellen. Legen Sie das Flag --region auf eine Region fest und lassen Sie das Flag --zone weg (oder lassen Sie das Flag leer: --zone= oder zone="").

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

Gehen Sie zum Erstellen eines Dataproc-Clusters mit automatischer Zonenplatzierung so vor: Erstellen Sie die JSON API-Anfrage clusters.create und lassen Sie das Feld gceClusterConfig.zoneUri leer. Geben Sie im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters einen Regionsnamen ein. Die automatische Zonenplatzierung von Dataproc wählt eine Zone für den Cluster in der angegebenen Region aus.

Kurze Ressourcennamen für Auto Zone verwenden: Verwenden Sie bei der Angabe eines Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri in einer Anfrage zur Erstellung eines REST API-Clusters für die automatische Zonenplatzierung einen kurzen Ressourcennamen ohne Zonenspezifikation, z. B. „n1-standard-2“ oder „nvidia-tesla-t4“.