Options de stockage des données Cloud TPU

Ce document décrit les options de stockage de données pouvant être utilisées lors de l'entraînement de modèles sur Cloud TPU.

Présentation

Cloud TPU nécessite un stockage de données pour:

  • Téléchargement et prétraitement des ensembles de données
  • Traitement du pipeline d'entrée de l'hôte
  • entrée d'entraînement du modèle
  • résultat d'entraînement du modèle

Il existe quatre options de stockage pour les données d'application Cloud TPU et les ensembles de données d'entraînement:

Pour en savoir plus sur le coût et les performances de stockage, consultez la page Options de stockage.

Le disque de démarrage d'une VM TPU ou d'un nœud TPU

Par défaut, chaque VM Cloud TPU possède un disque persistant de démarrage unique de 100 Go, qui contient le système d'exploitation. Le disque de démarrage peut également être utilisé pour stocker des ensembles de données téléchargés pour le prétraitement et pour modéliser les données d'entrée et de sortie, à condition que la quantité totale ne dépasse pas l'espace disponible sur le disque de démarrage.

Si votre application d'entraînement nécessite de l'espace de stockage supplémentaire par rapport au disque de démarrage par défaut, vous pouvez ajouter un ou plusieurs disques persistants à votre VM ou à votre instance de VM TPU. Il existe différentes procédures pour ajouter un disque persistant à un nœud TPU (une VM Compute Engine) ou à une VM TPU.

Un disque persistant associé à une VM ou un nœud TPU

Les disques persistants sont des périphériques de stockage réseau durables auxquels vos instances de VM peuvent accéder, comme des disques physiques sur un ordinateur ou un serveur. Les données de chaque disque persistant sont réparties sur plusieurs disques physiques. Compute Engine gère les disques physiques et la distribution des données pour assurer la redondance et des performances optimales à votre place.

Les disques persistants sont créés indépendamment de vos instances de machine virtuelle. Vous pouvez donc conserver vos données même après avoir supprimé vos instances de VM. Les performances des disques persistants évoluent automatiquement en fonction de la taille. Vous pouvez donc redimensionner vos disques persistants existants ou ajouter d'autres disques persistants à une instance pour répondre à vos besoins en termes de performances et d'espace de stockage.

Les disques persistants sont dotés d'une fonction de redondance intégrée qui protège vos données contre les pannes de matériel et assure leur disponibilité lors des événements de maintenance du centre de données. Le calcul d'une somme de contrôle pour toutes les opérations des disques persistants permet de s'assurer que les données lues sont bien identiques à celles qui ont été écrites.

En outre, vous pouvez créer des instantanés des disques persistants pour vous protéger contre la perte de données due aux erreurs des utilisateurs. Les instantanés sont incrémentiels et sont créés en quelques minutes seulement, même sur des disques associés à des instances en cours d'exécution.

Buckets Cloud Storage

Les buckets Cloud Storage sont une option de stockage flexible, évolutive et durable pour vos instances de VM. Si votre tâche d'entraînement ne nécessite pas la latence réduite qu'offrent les disques persistants, vous pouvez stocker votre ensemble de données dans un bucket Cloud Storage.

Les performances des buckets Cloud Storage dépendent de la classe de stockage que vous sélectionnez et de la zone où se situe le bucket par rapport à votre instance.

La création de votre bucket Cloud Storage dans la même zone que votre instance de VM offre des performances comparables à celles des disques persistants, mais avec une latence plus élevée et des caractéristiques de débit moins cohérentes.

Tous les buckets Cloud Storage sont dotés d'une fonction de redondance intégrée qui protège vos données contre les pannes de matériel et assure leur disponibilité lors des événements de maintenance du centre de données. Le calcul d'une somme de contrôle pour toutes les opérations Cloud Storage permet de s'assurer que les données lues sont bien identiques à celles qui ont été écrites.

Contrairement aux disques persistants, les buckets Cloud Storage ne sont pas limités à la zone dans laquelle se situe votre instance. Vous pouvez également lire et écrire des données dans un bucket à partir de plusieurs instances simultanément. Par exemple, vous pouvez configurer des instances dans plusieurs zones pour lire et écrire des données dans le même bucket au lieu de répliquer les données sur des disques persistants dans plusieurs zones.

De plus, vous pouvez installer un bucket Cloud Storage sur votre instance en tant que système de fichiers. Les buckets installés fonctionnent comme un disque persistant lorsque vous lisez ou écrivez des fichiers. Toutefois, les buckets Cloud Storage ne peuvent pas être utilisés comme disques de démarrage. Votre instance peut écrire des données dans un fichier et écraser les données critiques provenant d'autres instances qui écrivent simultanément des données dans le bucket de stockage.

Partage de fichiers Filestore

Le partage de fichiers Filestore est un stockage en réseau (NAS) entièrement géré pour Compute Engine. Filestore offre une compatibilité native avec les applications d'entreprise existantes et prend en charge tous les clients compatibles NFSv3.

Filestore offre une latence faible pour les opérations de fichiers. Pour les charges de travail sensibles à la latence, Filestore est compatible avec une capacité de 100 To et un débit de 25 Go/s et 720 000 IOPS, avec des performances très variables.

Avec Filestore, vous pouvez facilement installer des partages de fichiers sur des VM Compute Engine.

Étape suivante