Automatische Zonenplatzierung in Dataproc

Beim Erstellen eines Dataproc-Clusters verwenden Clusterressourcen regionale Endpunkte basierend auf Compute Engine-Zonen. Wenn Sie eine Region auswählen, können Sie eine Zone innerhalb dieser Region auswählen oder Die Zone, damit die Dataproc-Funktion „Automatische Zonenplatzierung“ eine Zone für Sie auswählen kann ausgewählte Region. Sobald eine Zone ausgewählt ist, werden alle Knoten für diesen Cluster in dieser Zone bereitgestellt.

Auto Zone und Ressourcenreservierungen

Bei der automatischen Zonenplatzierung wird die Erstellung eines Clusters in einer Zone mit Ressourcenreservierungen, wie folgt:

  • Wenn die angeforderten Clusterressourcen durch reservierte Ressourcen vollständig erfüllt werden können, Bei Bedarf nutzt Auto Zone bei On-Demand-Ressourcen in einer Zone und On-Demand-Ressourcen zu erstellen und den Cluster in dieser Zone zu erstellen.

  • Auto Zone priorisiert die ausgewählten Zonen anhand der Gesamtzahl der CPU-Kerne (vCPU) in einer Zone reservieren.

    Beispiel: In einer Anfrage zur Clustererstellung werden 20 n2-standard-2 und 1 n2-standard-64 angegeben. (40 + 64 vCPUs angefordert). Die Funktion Auto Zone priorisiert die folgenden Zonen zur Auswahl gemäß der Gesamtzahl der vCPU-Reservierungen, die in der Zone verfügbar sind:

    1. zone-c verfügbare Reservierungen: 3 n2-standard-2 und 1 n2-standard-64 (70 vCPUs)
    2. zone-b verfügbare Reservierungen: 1 n2-standard-64 (64 vCPUs)

    3. zone-a verfügbare Reservierungen: 25 n2-standard-2 (50 vCPUs)

      Unter der Annahme, dass jede der oben genannten Zonen zusätzliche On-Demand-vCPU und andere Ressourcen ausreichen, um die Clusteranfrage zu erfüllen, Wählen Sie zone-c zum Erstellen von Clustern aus.

  • Wenn die angeforderten Clusterressourcen nicht vollständig durch reservierte plus On-Demand-Ressourcen in einer Zone erstellen möchten, erstellt Auto Zone den Cluster in einer Zone. die der Anfrage am ehesten entspricht.

Automatische Zonenplatzierung verwenden

Console

So erstellen Sie einen Dataproc-Cluster, der die automatische Zonenplatzierung verwendet:

  • Öffnen Sie Dataproc in der Google Cloud Console. Dataproc-Cluster in Compute Engine erstellen Seite. Der Bereich Cluster einrichten ist ausgewählt.
  • Im Abschnitt Standort: <ph type="x-smartling-placeholder">
      </ph>
    • Wählen Sie eine Region für den Cluster aus.
    • Wählen Sie unter Zone die Option „Beliebig“ aus.

gcloud-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create, um einen Dataproc-Cluster mit automatischer Zonenplatzierung zu erstellen. Legen Sie das Flag --region auf eine Region fest und Lassen Sie das Flag --zone weg (oder lassen Sie das Flag leer: --zone= oder zone="").

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

Gehen Sie zum Erstellen eines Dataproc-Clusters mit automatischer Zonenplatzierung so vor: Erstellen Sie die JSON API-Anfrage clusters.create und lassen Sie das Feld gceClusterConfig.zoneUri leer. Im REST-Endpunkt https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, geben Sie einen Namen für die Region ein. „Automatische Zonenplatzierung“ von Dataproc wählen Eine Zone für den Cluster innerhalb der angegebenen Region.

Kurze Ressourcennamen mit Auto Zone verwenden: Wenn Sie einen Ressourcen-URI wie machineTypeUri oder acceleratorTypeUri in einer Anfrage zur Erstellung eines REST API-Clusters zur automatischen Zonenplatzierung Verwenden Sie einen kurzen Ressourcennamen ohne Zonenspezifikation. Beispiel: „n1-standard-2“ oder „nvidia-tesla-t4“.