Disques de démarrage Dataproc

Vous pouvez sélectionner des disques persistants standards, SSD ou équilibrés, ou des hyperdisques Google Cloud équilibrés comme disques de démarrage pour les nœuds de cluster Dataproc.

Sélectionner des types de disques de démarrage persistants pour les nœuds de cluster

Vous pouvez sélectionner le type de disque de démarrage persistant lorsque vous créez un cluster à l'aide de la consoleGoogle Cloud , de la Google Cloud CLI ou de l'API Dataproc.

Console

Vous pouvez créer un cluster et sélectionner un disque de démarrage persistant standard, SSD ou équilibré, ou un disque de démarrage Hyperdisk équilibré pour les nœuds de cluster de gestionnaire (maître), de nœud de calcul principal et de nœud de calcul secondaire à partir du panneau Configurer les nœuds sur la page Dataproc Créer un cluster de la console Google Cloud .

gcloud CLI

Vous pouvez créer un cluster et sélectionner un disque de démarrage persistant standard, SSD ou équilibré, ou un Hyperdisk équilibré pour les nœuds de cluster de gestionnaire (maître), de nœud de calcul principal et de nœud de calcul secondaire à l'aide de la commande gcloud dataproc clusters create avec les indicateurs --master-boot-disk-type, --worker-boot-disk-type et --secondary-worker-boot-disk-type.

Le type de disque de démarrage persistant par défaut pour les nœuds maître et de calcul principaux du gestionnaire de cluster Dataproc est pd-standard. Si le type de machine de la VM n'est compatible qu'avec Hyperdisk équilibré comme disque de démarrage, le disque de démarrage par défaut est hyperdisk-balanced. Le type de disque de démarrage persistant par défaut pour les nœuds de calcul secondaires du cluster est le type de disque de démarrage persistant du nœud de calcul principal.

Vous pouvez transmettre une valeur de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced aux options --master-boot-disk-type, --worker-boot-disk-type et --secondary-worker-boot-disk-type. N'importe quelle valeur de type de disque valide peut être définie sur n'importe quel type de nœud de cluster.

Exemple :
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

API REST

Le type de disque de démarrage par défaut pour le gestionnaire de cluster Dataproc (nœud maître) et les nœuds de calcul principaux est pd-standard. Si le type de machine de la VM n'est compatible qu'avec Hyperdisk équilibré comme disque de démarrage, le disque de démarrage par défaut est hyperdisk-balanced. Le type de disque de démarrage par défaut pour les nœuds de calcul secondaires est le type de disque de démarrage du nœud de calcul principal.

Vous pouvez définir une valeur de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced dans le champ InstanceGroupConfig.DiskConfig.bootDiskType des masterConfig, workerConfig et secondaryWorkerConfig dans le cadre d'une requête API cluster.create. Vous pouvez définir l'une des valeurs de type de disque de démarrage valides sur n'importe quel type de nœud de cluster.

Paramètres Hyperdisk

Lorsque vous créez un cluster avec un volume Hyperdisk Balanced comme disque de démarrage pour un nœud de cluster Dataproc, vous pouvez définir les IOPS et le débit provisionnés.

Console

Le type de disque de démarrage principal par défaut pour les nœuds de cluster de gestionnaire (maître) et de nœud de calcul principal est Hyperdisk équilibré. Il est sélectionné dans le panneau Configurer les nœuds de la page Dataproc Créer un cluster de la console Google Cloud . Vous pouvez définir les IOPS et le débit, ou accepter les valeurs par défaut.

gcloud CLI

Vous pouvez définir les IOPS et le débit provisionnés pour les nœuds de cluster avec les disques de démarrage Hyperdisk Balanced à l'aide des indicateurs --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput et --worker-boot-disk-provisioned-throughput de la commande gcloud dataproc clusters create.

Exemple :
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

API REST

Vous pouvez définir les IOPS et le débit provisionnés pour les nœuds de cluster avec des disques de démarrage Hyperdisk à l'aide des champs InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops et InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput pour les configurations du gestionnaire (maître) et des nœuds de calcul.