À propos de Hyperdisk ML

Ce document décrit les fonctionnalités d'Hyperdisk ML, qui offre le débit le plus élevé de tous les types d'Google Cloud Hyperdisk. Google recommande d'utiliser Hyperdisk ML pour le machine learning et pour les charges de travail qui nécessitent un débit de lecture élevé sur des ensembles de données immuables. Le débit élevé d'Hyperdisk ML permet d'accélérer les temps de chargement des données, de réduire les temps d'inactivité de l'accélérateur et de diminuer les coûts de calcul.

Pour les charges de travail d'inférence, d'entraînement et de HPC volumineuses, vous pouvez associer un seul volume Hyperdisk ML à plusieurs instances de calcul en mode lecture seule.

Vous pouvez spécifier jusqu'à 1 200 000 MiB/s de débit pour un seul volume Hyperdisk ML. Vous ne pouvez pas provisionner de niveau d'IOPS, mais chaque Mio/s de débit provisionné est associé à 16 IOPS, jusqu'à 19 200 000 IOPS.

Pour en savoir plus sur Hyperdisk et les autres types d'Hyperdisk, consultez À propos d'Hyperdisk.

Pour créer un volume Hyperdisk ML, consultez Créer un volume Hyperdisk.

Cas d'utilisation

Hyperdisk ML est adapté aux cas d'utilisation suivants :

  • Charges de travail HPC
  • Machine learning
  • Charges de travail optimisées pour les accélérateurs

Compatibilité avec les séries de machines

Vous pouvez utiliser Hyperdisk ML avec les séries de machines suivantes :

À propos des performances provisionnées

Vous n'avez pas besoin de provisionner les performances lorsque vous créez des volumes Hyperdisk. Si vous ne provisionnez pas de performances, Compute Engine crée le volume avec des valeurs par défaut que vous pouvez modifier ultérieurement. Pour en savoir plus sur les valeurs par défaut, consultez Valeurs par défaut des IOPS et du débit.

Si vous connaissez vos besoins en termes de performances, vous pouvez spécifier des limites d'IOPS et de débit pour un volume Hyperdisk ML lorsque vous le créez. Vous pouvez également modifier les valeurs provisionnées après la création du volume. Vous ne pouvez pas spécifier de niveau d'IOPS ni de débit si vous ne spécifiez pas de taille.

Limites de taille et de performances

Les limites suivantes s'appliquent à la taille, au débit et aux valeurs d'IOPS que vous pouvez spécifier pour un volume Hyperdisk ML.

  • Taille : entre 4 Gio et 64 Tio. La taille par défaut est de 100 Gio.

  • Débit : entre 400 Mio/s et 1 200 000 Mio/s. Le débit minimal et maximal ont chacun leurs propres limites en fonction de la taille du volume, comme suit :

    • Débit minimal : pour les volumes dont la taille est comprise entre 4 et 3 341 Gio, la valeur minimale est de 400 Mio/s. Pour les volumes de 3 342 Gio ou plus, la valeur minimale dépend de la taille et se situe entre 401 et 7 680 Mio/s.

    • Débit maximal : pour les volumes de 750 Gio ou plus, la valeur maximale est de 1 200 000 Mio/s. Pour les volumes de 749 Gio ou moins, la valeur maximale dépend de la taille et varie entre 6 400 et 1 200 000 Mio/s.

    Pour obtenir des exemples, consultez Limites du débit provisionné.

  • IOPS : vous ne pouvez pas spécifier de limite d'IOPS pour les volumes Hyperdisk ML. Les IOPS provisionnés dépendent du débit provisionné. Chaque volume Hyperdisk ML est provisionné avec 16 IOPS pour chaque MiB/s de débit, jusqu'à un maximum de 19 200 000 IOPS.

Limites du débit provisionné

Le tableau suivant répertorie les limites de débit provisionné pour les tailles de volumes courantes. Si aucune taille n'est indiquée, utilisez la formule suivante pour calculer les valeurs autorisées, où x correspond à la taille du volume en Gio :

  • Débit configurable minimal : MAX (400, 0.12x)
  • Débit configurable maximal : MIN (1,200,000, 1,600x)
Taille Débit minimal Débit maximal
4 400 6 400
10 400 16 000
50 400 80 000
64 400 102 400
100 400 160 000
300 400 480 000
500 400 800 000
1 000 400 1200000
5 000 600 1200000
25 000 3 000 1200000
64 000 7 680 1200000

Valeurs par défaut de la taille, des IOPS et du débit

Si vous ne spécifiez pas de taille ni de valeur de débit lorsque vous créez un volume Hyperdisk ML, Compute Engine attribue des valeurs par défaut.

La taille par défaut des volumes Hyperdisk ML est de 100 Gio.

Les IOPS et le débit par défaut sont basés sur les formules suivantes.

  • Débit par défaut : MAX (24x, 400) Mio/s, où x correspond à la taille du volume en Gio.
  • IOPS par défaut : 16t, où t correspond au débit par défaut. Vous ne pouvez pas configurer directement le niveau d'IOPS.

Modifier les performances ou la taille provisionnées

Vous pouvez modifier la taille provisionnée toutes les quatre heures et son débit toutes les six heures. Pour savoir comment modifier la taille ou les performances, consultez Modifier un volume Hyperdisk.

Limites de performances lorsqu'un GPU est associé à une instance

Cette section liste les limites de performances pour Hyperdisk ML. Vous pouvez spécifier jusqu'à 1 200 000 MiB/s de débit pour un seul volume Hyperdisk ML. Vous ne pouvez pas provisionner de niveau d'IOPS, mais chaque Mio/s de débit provisionné est associé à 16 IOPS, jusqu'à 19 200 000 IOPS.

Cette section indique les performances maximales que les volumes Hyperdisk ML peuvent atteindre pour chaque instance compatible. Les performances d'un volume Hyperdisk ML lorsqu'il est associé à une instance ne peuvent pas dépasser les limites du type de machine de l'instance. Les limites de performances sont également partagées entre tous les volumes Hyperdisk ML associés à la même instance, quelles que soient les performances provisionnées pour chaque volume.

Scénarios nécessitant plusieurs instances pour atteindre les performances provisionnées

Le débit provisionné pour un volume Hyperdisk ML est partagé entre chaque instance à laquelle le volume est associé, jusqu'à la limite maximale pour le type de machine indiqué dans le tableau suivant. Si les performances provisionnées d'un volume Hyperdisk ML sont supérieures à la limite de performances d'une instance, le volume ne peut atteindre ses performances provisionnées que s'il est associé à plusieurs instances. Les instances a3-ultragpu-8 sont limitées à un débit de 4 000 Mio/s.

Par exemple, supposons que vous disposiez d'un volume Hyperdisk ML provisionné avec un débit de 500 000 Mio/s et que vous souhaitiez associer le volume à des instances a3-ultragpu-8. Une seule instance a3-ultragpu-8 ne peut pas atteindre un débit supérieur à 4 000 Mio/s. Par conséquent, pour atteindre le débit provisionné du volume, vous devez associer le volume à au moins 125 (500 000/4 000) instances a3-ultragpu-8. En revanche, pour le type de machine a2-highgpu-1g, vous aurez besoin de 272 instances.

Type de machine de l'instance Nombre maximal d'IOPS Débit maximal (Mio/s)
a2-*-1g 28 800 1 800
a2-*-2g 38 400 2 400
a2-*-4g 38 400 2 400
a2-*-8g 38 400 2 400
a2-megagpu-16g 38 400 2 400
a3-*-1g 28 800 1 800
a3-*-2g 38 400 2 400
a3-*-4g 38 400 2 400
a3-*-8g (en mode lecture seule)1 64 000 4 000
a3-*-8g (en mode lecture-écriture)1 38 400 2 400
c3-*-4 6 400 400
c3-*-8 12 800 800
c3-*-22 28 800 1 800
c3-*-44 38 400 2 400
c3-*-88 38 400 2 400
c3-*-176 38 400 2 400
c3-*-192 38 400 2 400
c3d-*-4 6 400 400
c3d-*-8 12 800 800
c3d-*-16 19 200 1,200
c3d-*-30 19 200 1,200
c3d-*-60 38 400 2 400
c3d-*-90 38 400 2 400
c3d-*-180 38 400 2 400
c3d-*-360 38 400 2 400
ct6e-standard-1t 19 200 1,200
ct6e-standard-4t 28 800 1 800
ct6e-standard-8t 28 800 1 800
g2-standard-4 12 800 800
g2-standard-8 19 200 1,200
g2-standard-12 28 800 1 800
g2-standard-16 38 400 2 400
g2-standard-24 38 400 2 400
g2-standard-32 38 400 2 400
g2-standard-48 38 400 2 400
g2-standard-96 38 400 2 400

1 Pour les instances a3-*-8g, les performances dépendent du mode d'association du volume Hyperdisk ML à l'instance (lecture seule ou lecture/écriture).

Disponibilité régionale d'Hyperdisk ML

Hyperdisk ML est disponible dans les régions et zones suivantes :

Région Zones disponibles
Comté de Changhua, Taïwan : asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
Tokyo, Japon : asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
Séoul, Corée du Sud : asia-northeast3 asia-northeast3-a
asia-northeast3-b
Jurong West, Singapour : asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
Mumbai, Inde : asia-south1 asia-south1-b
asia-south1-c
Saint-Ghislain, Belgique : europe-west1 europe-west1-b
europe-west1-c
Londres, Angleterre : europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
Eemshaven, Pays-Bas : europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
Zurich, Suisse : europe-west6 europe-west6-b
europe-west6-c
Tel Aviv, Israël : me-west1 me-west1-b
me-west1-c
Council Bluffs, Iowa : us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
Moncks Corner, Caroline du Sud : us-east1 us-east1-b
us-east1-c
us-east1-d
Ashburn, Virginie : us-east4 us-east4-a
us-east4-b
us-east4-c
Columbus, Ohio : us-east5 us-east5-a
us-east5-b
us-east5-c
Dallas, Texas : us-south1 us-south1-a
The Dalles, Oregon : us-west1 us-west1-a
us-west1-b
us-west1-c
Salt Lake City, Utah : us-west3 us-west3-b
Las Vegas, Nevada : us-west4 us-west4-a
us-west4-b
us-west4-c

Protection contre les sinistres pour les volumes Hyperdisk ML

Vous pouvez sauvegarder un volume Hyperdisk ML à l'aide d'instantanés standards. Les instantanés sauvegardent les données d'un volume Hyperdisk ML à un moment précis.

Réplication interzone

Vous ne pouvez pas répliquer les volumes Hyperdisk ML dans une autre zone. Pour répliquer des données dans une autre zone de la même région, vous devez utiliser des volumes Hyperdisk équilibré à haute disponibilité.

Partager un volume Hyperdisk ML entre des VM

Pour les charges de travail de machine learning optimisées pour les accélérateurs, vous pouvez associer le même volume Hyperdisk ML à plusieurs instances. Cela permet un accès simultané en lecture seule à un volume unique à partir de plusieurs VM. Cette solution est plus rentable que d'avoir plusieurs disques contenant les mêmes données.

Le partage d'un disque entre plusieurs VM n'entraîne aucuns frais supplémentaires. Associer un disque en mode lecture seule à plusieurs VM n'a aucune incidence sur les performances du disque. Chaque VM peut toujours atteindre les performances de disque maximales possibles pour la série de machines de la VM.

Limites du partage d'Hyperdisk ML entre des VM

  • Les volumes Hyperdisk ML ne sont pas compatibles avec le mode écriture simultanée. Vous pouvez partager un volume Hyperdisk ML entre plusieurs instances si le volume est en mode lecture seule.
  • Les volumes Hyperdisk ML ne peuvent pas être associés à une seule instance en mode lecture seule.
  • Si vous partagez un volume Hyperdisk ML en mode lecture seule, vous ne pouvez pas réactiver l'accès en écriture au disque.
  • Vous pouvez associer un volume Hyperdisk ML à un maximum de 100 instances toutes les 30 secondes.
  • Pour les volumes Hyperdisk ML, le nombre maximal d'instances dépend des éléments suivants :
    • la taille provisionnée, comme suit :
    • Volumes de moins de 256 Gio : 2 500 VM
    • Volumes d'une capacité de 256 Gio ou plus, et de moins de 1 Tio : 1 500 VM
    • Volumes d'une capacité d'au moins 1 Tio et de moins de 2 Tio : 600 VM
    • Volumes d'une capacité de 2 Tio ou plus : 30 VM

Si le volume est associé à plus de 20 VM, vous devez provisionner au moins 100 Mio/s de débit pour chaque VM. Par exemple, si vous associez un disque à 500 VM, vous devez provisionner le volume avec un débit d'au moins 50 000 Mio/s.

Pour en savoir plus, consultez Mode lecture seule pour Hyperdisk.

Tarifs

La taille et le débit provisionnés totaux de vos volumes Hyperdisk ML vous sont facturés jusqu'à ce que vous les supprimiez. Des frais sont facturés même si le volume n'est associé à aucune instance ou si l'instance est suspendue ou arrêtée. Pour en savoir plus, consultez la page Tarifs des disques.

Limites

  • Les volumes Hyperdisk ML sont zonaux et ne sont accessibles que depuis la zone dans laquelle vous les avez créés.
  • Vous ne pouvez pas créer d'image système à partir d'un volume Hyperdisk.
  • Vous ne pouvez pas créer d'instantané immédiat à partir d'un volume Hyperdisk ML.
  • Vous ne pouvez pas utiliser Hyperdisk ML comme disque de démarrage.
  • Vous ne pouvez pas créer de disque ML Hyperdisk en mode lecture-écriture-unique à partir d'un instantané ou d'une image disque. Vous devez créer le disque en mode lecture seule pour plusieurs lecteurs.
  • Vous pouvez modifier la taille d'un volume Hyperdisk ML toutes les quatre heures et son débit toutes les six heures.

Étapes suivantes

Ajouter un volume Hyperdisk ML à votre VM