Automatische Zonenplatzierung in Dataproc

Wenn Sie einen Dataproc-Cluster erstellen, verwenden Clusterressourcen regionale Endpunkte, die auf Compute Engine-Zonen basieren. Wenn Sie eine Region auswählen, können Sie eine Zone innerhalb dieser Region auswählen oder die Zone auslassen, damit die Dataproc-Funktion zur automatischen Zonenplatzierung für Sie eine Zone in der ausgewählten Region auswählt. Sobald eine Zone ausgewählt ist, werden alle Knoten für diesen Cluster in dieser Zone bereitgestellt.

Auto Zone- und Ressourcenreservierungen

Mit der Funktion „Auto Zone“ wird das Erstellen eines Clusters in einer Zone mit Ressourcenreservierungen priorisiert:

  • Wenn angeforderte Clusterressourcen vollständig durch reservierte sowie ggf. On-Demand-Ressourcen in einer Zone bereitgestellt werden können, nutzt Auto Zone die reservierten und On-Demand-Ressourcen und erstellt den Cluster in dieser Zone.

  • Mit der Funktion Auto Zone werden Zonen für die Auswahl nach den gesamten Reservierungen für CPU-Kern (vCPU) in einer Zone priorisiert.

    Beispiel:Bei einer Anfrage zur Clustererstellung werden 20 n2-standard-2 und 1 n2-standard-64 angegeben (40 + 64 vCPUs angefordert). Mit der Funktion „Auto Zone“ werden die folgenden Zonen gemäß der Gesamtzahl der in der Zone verfügbaren vCPU-Reservierungen priorisiert:

    1. zone-c verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)
    2. zone-b verfügbare Reservierungen: 1 n2-standard-64 (64 vCPUs)
    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Unter der Annahme, dass jede der oben genannten Zonen über zusätzliche vCPU-On-Demand- und andere Ressourcen verfügt, die zur Erfüllung der Clusteranfrage ausreichen, wählt Auto Zone für die Clustererstellung zone-c aus.

  • Wenn angeforderte Clusterressourcen in einer Zone nicht vollständig durch reservierte plus On-Demand-Ressourcen bereitgestellt werden können, erstellt Auto Zone den Cluster in einer Zone, die die Anfrage mit On-Demand-Ressourcen am ehesten erfüllt.

Automatische Zonenplatzierung verwenden

Console

So erstellen Sie einen Dataproc-Cluster, der die automatische Zonenplatzierung verwendet:

  • Rufen Sie in der Google Cloud Console die Dataproc-Seite Dataproc-Cluster in Compute Engine erstellen auf. Der Bereich Cluster einrichten ist ausgewählt.
  • Im Bereich Standort:
    • Wählen Sie eine Region für Ihren Cluster aus.
    • Wählen Sie unter Zone die Option „Beliebig“ aus.

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create, um einen Dataproc-Cluster mit automatischer Zonenplatzierung zu erstellen. Legen Sie das Flag --region auf eine Region fest und lassen Sie das Flag --zone weg. Sie können das Flag auch leer lassen: --zone= oder zone="".

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

Gehen Sie zum Erstellen eines Dataproc-Clusters mit automatischer Zonenplatzierung so vor: Erstellen Sie die JSON API-Anfrage clusters.create und lassen Sie das Feld gceClusterConfig.zoneUri leer. Geben Sie im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters einen Regionsnamen ein. Die automatische Zonenplatzierung von Dataproc wählt eine Zone für den Cluster innerhalb der angegebenen Region aus.

Kurze Ressourcennamen für die automatische Zonenplatzierung verwenden: Verwenden Sie, wenn Sie in einer Anfrage zur Erstellung eines REST API-Clusters mit automatischer Zonenplatzierung einen Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri angeben, einen kurzen Ressourcennamen ohne Festlegung einer Zone (z. B. "n1-standard-2" oder "nvidia-tesla-k80").