Options de stockage pour les données Cloud TPU

Ce document décrit les options de stockage de données disponibles pour l'entraînement de modèles sur Cloud TPU.

Introduction

Cloud TPU nécessite de stocker des données pour les opérations suivantes :

  • Téléchargement et prétraitement des ensembles de données
  • Traitement du pipeline d'entrée de l'hôte
  • Entrées pour l'entraînement de modèle
  • Résultats de l'entraînement de modèle

Il existe cinq options de stockage pour les données d'application et les ensembles de données d'entraînement Cloud TPU:

Pour en savoir plus sur le coût des options de stockage et les détails de leurs performances, consultez la section Options de stockage.

Le disque de démarrage d'une VM TPU ou d'un nœud TPU

Par défaut, chaque VM Cloud TPU possède un disque persistant à démarrage unique de 100 Go contenant le système d'exploitation. Le disque de démarrage peut également être utilisé pour stocker les ensembles de données téléchargés pour le prétraitement et le modèle pour les données d'entrée et de sortie, à condition que la quantité totale ne dépasse pas l'espace disponible sur le disque de démarrage.

Si votre application d'entraînement nécessite davantage d'espace de stockage que le disque de démarrage défini par défaut, vous pouvez ajouter un ou plusieurs disques persistants à votre VM ou à votre instance de VM TPU. Il existe différentes procédures pour ajouter un disque persistant à un nœud TPU (une VM Compute Engine) ou à une VM TPU.

Un disque persistant associé à une VM TPU ou à un nœud TPU

Les disques persistants sont des périphériques de stockage réseau durables auxquels vos instances de VM peuvent accéder, à l'instar des disques physiques sur un ordinateur ou un serveur. Les données de chaque disque persistant sont réparties sur plusieurs disques physiques. Compute Engine gère les disques physiques et la distribution des données à votre place pour assurer la redondance et des performances optimales.

Les disques persistants sont créés indépendamment de vos instances de machine virtuelle (VM). Vous pouvez ainsi conserver vos données même après avoir supprimé vos instances de VM. Les performances des disques persistants évoluent automatiquement en fonction de la taille. Vous pouvez donc redimensionner vos disques persistants existants ou ajouter des disques persistants à une instance pour répondre à vos besoins en termes de performances et d'espace de stockage.

Les disques persistants disposent d'une redondance intégrée pour protéger vos données contre les pannes de l'équipement et garantir leur disponibilité lors des événements de maintenance du centre de données. Les sommes de contrôle sont calculées pour toutes les opérations du disque persistant, ce qui nous permet de nous assurer que les données lues sont bien identiques à celles qui ont été écrites.

Vous pouvez également créer des instantanés des disques persistants pour vous protéger contre les pertes de données dues aux erreurs des utilisateurs. Les instantanés sont incrémentiels et ne prennent que quelques minutes à créer, même si vous créez des instantanés de disques associés à des instances en cours d'exécution.

Pour en savoir plus sur l'utilisation de disques persistants avec des VM TPU, consultez la page Ajouter un disque persistant à une VM TPU.

Buckets Cloud Storage

Les buckets Cloud Storage sont une option de stockage flexible, évolutive et durable pour vos instances de VM. Si votre tâche d'entraînement ne nécessite pas la latence réduite des disques persistants, vous pouvez stocker votre ensemble de données dans un bucket Cloud Storage.

Les performances des buckets Cloud Storage dépendent de la classe de stockage que vous sélectionnez et de l'emplacement du bucket par rapport à votre instance.

Créer votre bucket Cloud Storage dans la même zone que votre instance de VM (pour les nœuds TPU) ou votre VM TPU offre des performances comparables à celles des disques persistants, mais avec une latence plus élevée et des caractéristiques de débit moins constantes.

Tous les buckets Cloud Storage sont dotés d'une fonction de redondance intégrée qui protège vos données contre les pannes de matériel et qui assure leur disponibilité lors des événements de maintenance du centre de données. Le calcul d'une somme de contrôle pour toutes les opérations Cloud Storage permet de s'assurer que les données lues sont bien identiques à celles qui ont été écrites.

Contrairement aux disques persistants, les buckets Cloud Storage ne sont pas limités à la zone où se trouve votre instance. Vous pouvez également lire et écrire des données dans un bucket à partir de plusieurs instances simultanément. Par exemple, vous pouvez configurer des instances dans plusieurs zones pour lire et écrire des données dans le même bucket au lieu de répliquer les données sur des disques persistants dans plusieurs zones.

Cloud Storage FUSE

Cloud Storage FUSE vous permet d'installer des buckets Cloud Storage et d'y accéder en tant que systèmes de fichiers locaux. Cela permet aux applications de lire et d'écrire des objets dans votre bucket à l'aide de la sémantique standard du système de fichiers.

Consultez la documentation FUSE de Cloud Storage pour en savoir plus sur le fonctionnement de Cloud Storage FUSE et pour découvrir comment les opérations Cloud Storage FUSE sont mappées avec les opérations Cloud Storage. Vous trouverez des informations supplémentaires sur l'utilisation de Cloud Storage FUSE, par exemple sur l'installation de la CLI Cloud Storage FUSE et l'installation de buckets sur GitHub.

Partage de fichiers Filestore

Le partage de fichiers Filestore est un stockage en réseau (NAS) entièrement géré pour Compute Engine. Filestore offre une compatibilité avec les applications d'entreprise existantes et est compatible avec tous les clients compatibles NFSv3.

Filestore offre une faible latence pour les opérations sur les fichiers. Pour les charges de travail sensibles à la latence, Filestore peut atteindre une capacité allant jusqu'à 100 To et un débit de 25 Go par seconde et 720 000 IOPS, avec des performances très variables.

Avec Filestore, vous pouvez installer des partages de fichiers sur des VM TPU.

Étapes suivantes