Sélection de zone automatique de Dataproc

Lorsque vous créez un cluster Dataproc, les ressources du cluster utilisent un point de terminaison régional en fonction Zones Compute Engine. Lorsque vous choisissez une région, vous pouvez sélectionner une zone au sein de cette région ou omettre la zone pour que la fonctionnalité de sélection de zone automatique de Dataproc en sélectionne une pour vous dans la région de votre choix. Une fois qu'une zone est sélectionnée, tous les nœuds de ce cluster sont déployés sur cette zone.

Réservations de zones et de ressources automatiques

La fonctionnalité de sélection de zone automatique donne la priorité à la création d'un cluster dans une zone avec réservations de ressources, comme suit:

  • Si les ressources de cluster demandées peuvent être entièrement satisfaites par des ressources des ressources à la demande d'une zone, la fonctionnalité sélection de zone automatique utilise des ressources réservées et à la demande, et créer le cluster dans cette zone.

  • La sélection de zone automatique donne la priorité aux zones à sélectionner en fonction du nombre total de cœurs de processeur (vCPU) des réservations dans une zone.

    Exemple:Une requête de création de cluster spécifie 20 n2-standard-2 et 1 n2-standard-64 (40 + 64 vCPUs demandés). La fonctionnalité de sélection de zone automatique donnera la priorité aux zones suivantes à sélectionner en fonction du nombre total de réservations de vCPU disponibles dans la zone:

    1. zone-c réservations disponibles: 3 n2-standard-2 et 1 n2-standard-64 (70 vCPUs)
    2. zone-b réservations disponibles: 1 n2-standard-64 (64 vCPUs)

    3. zone-a réservations disponibles: 25 n2-standard-2 (50 vCPUs)

      En supposant que chacune des zones ci-dessus dispose d'vCPU à la demande et d'autres de ressources suffisantes pour satisfaire la requête de cluster, sélection de zone automatique Sélectionnez zone-c pour créer le cluster.

  • Si les ressources de cluster demandées ne peuvent pas être entièrement satisfaites par les ressources ressources à la demande dans une zone, sélection de zone automatique crée le cluster dans une zone qui est le plus susceptible de satisfaire la requête en utilisant des ressources à la demande.

Utiliser la sélection de zone automatique

Console

Pour créer un cluster Dataproc qui utilise la sélection de zone automatique:

  • Dans la console Google Cloud, ouvrez Dataproc Créer un cluster Dataproc sur Compute Engine . Le panneau Configurer le cluster est sélectionné.
  • Dans la section Emplacement: <ph type="x-smartling-placeholder">
      </ph>
    • Sélectionnez une région pour votre cluster.
    • Sous Zone, sélectionnez "Toutes".

Commande gcloud

Pour créer un cluster Dataproc qui utilise la sélection de zone automatique, exécutez la commande gcloud dataproc clusters create. Définissez l'option --region sur une région. omettez l'option --zone (ou laissez l'option vide: --zone= ou zone="").

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

API REST

Pour créer un cluster Dataproc qui utilise la sélection de zone automatique, créez une requête API clusters.create au format JSON, en laissant le champ gceClusterConfig.zoneUri vide. Dans le point de terminaison REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, saisissez un nom de région. La fonctionnalité de sélection de zone automatique de Dataproc choisira une zone pour le cluster dans la région spécifiée.

Utilisez des noms de ressources courts avec la sélection de zone automatique: lorsque vous spécifiez un URI de ressource, tel que machineTypeUri ou acceleratorTypeUri, dans une requête de création de cluster d'API REST pour le placement automatique dans une zone utilisez un nom de ressource court sans spécification de zone (par exemple, "n1-standard-2" ou "nvidia-tesla-t4".