Concevez une stratégie de stockage optimale pour votre charge de travail cloud

Last reviewed 2024-10-22 UTC

Ce guide vous aide à évaluer les besoins en stockage de votre charge de travail cloud, à comprendre les options de stockage disponibles dans Google Cloudet à concevoir une stratégie de stockage offrant une valeur commerciale optimale.

Pour obtenir un récapitulatif visuel des principales recommandations de conception, consultez le schéma de l'arbre de décision.

Pour en savoir plus sur la sélection de services de stockage pour les charges de travail d'IA et de ML, consultez la section Choisir son stockage pour les charges de travail d'IA et de ML dans Google Cloud.

En tant qu'architecte cloud, lorsque vous planifiez le stockage d'une charge de travail cloud, vous devez d'abord tenir compte des caractéristiques fonctionnelles de la charge de travail, des contraintes de sécurité, des exigences de résilience, des attentes en termes de performances et des objectifs de coûts. Ensuite, vous devez examiner les services et fonctionnalités de stockage disponibles dansGoogle Cloud. Alors, en fonction de vos besoins et des options disponibles, vous sélectionnez les services de stockage et les fonctionnalités dont vous avez besoin. Le schéma suivant illustre ce processus de conception en trois phases:

Approche graduelle de la conception du stockage pour les charges de travail cloud.

Définir vos exigences

Utilisez les questionnaires de cette section afin de définir les exigences de stockage clés pour la charge de travail que vous souhaitez déployer dans Google Cloud.

Consignes pour la définition des exigences de stockage

Lorsque vous répondez aux questionnaires, tenez compte des éléments suivants :

  • Définissez les exigences de manière précise

    Par exemple, si votre application nécessite un stockage de fichiers basé sur le système NFS (Network File System), identifiez la version NFS requise.

  • Tenez compte des exigences futures

    Par exemple, votre déploiement actuel peut desservir les utilisateurs des pays d'Asie, mais vous envisagez peut-être de développer votre activité sur d'autres continents. Dans ce cas, prenez en considération les exigences réglementaires liées au stockage pour les nouveaux territoires d'activité.

  • Tenez compte des opportunités et exigences spécifiques au cloud

    • Tirez parti des opportunités spécifiques au cloud.

      Par exemple, pour optimiser le coût de stockage des données hébergées dans Cloud Storage, vous pouvez contrôler la durée de stockage à l'aide de règles de conservation des données et de configurations de cycle de vie.

    • Tenez compte des exigences spécifiques au cloud.

      Par exemple, les données sur site peuvent exister dans un centre de données unique, et vous devrez peut-être répliquer les données migrées vers deux emplacementsGoogle Cloud afin d'assurer la redondance.

Questionnaires

Les questionnaires suivants ne constituent pas des checklists exhaustives pour la planification. Utilisez-les comme point de départ pour analyser de manière systématique toutes les exigences de stockage de la charge de travail que vous souhaitez déployer sur Google Cloud.

Évaluer les caractéristiques de votre charge de travail

  • Quel type de données devez-vous stocker ?

    • Contenu de site Web statique
    • Sauvegardes et archives pour la reprise après sinistre
    • Journaux d'audit pour la conformité
    • Objets de données volumineux téléchargés directement par les utilisateurs
    • Données transactionnelles
    • Données non structurées et hétérogènes

  • De quelle capacité avez-vous besoin ? Tenez compte de vos exigences actuelles et futures.

  • La capacité doit-elle évoluer automatiquement avec l'utilisation ?

  • Quelles sont les conditions d'accès ? Par exemple, les données doivent-elles être accessibles depuis l'extérieur de Google Cloud ?

  • Quels sont les modèles de lecture/écriture attendus ?

    • Écritures et lectures fréquentes
    • Écritures fréquentes, mais lectures occasionnelles
    • Écritures et lectures occasionnelles
    • Écritures occasionnelles, mais lectures fréquentes

  • La charge de travail nécessite-t-elle un accès basé sur les fichiers, en utilisant NFS par exemple ?

  • Plusieurs clients doivent-ils être en mesure de lire ou d'écrire des données simultanément ?

Identifier les contraintes de sécurité

  • Quelles sont vos exigences en termes de chiffrement des données ? Par exemple, avez-vous besoin d'utiliser des clés que vous contrôlez ?

  • Existe-t-il des exigences de résidence des données ?

Définir les exigences en termes de résilience des données

  • Votre charge de travail nécessite-t-elle une mise en cache à faible latence ou un espace de travail ?
  • Avez-vous besoin de répliquer les données dans le cloud pour la redondance ?
  • Avez-vous besoin d'une cohérence stricte en lecture/écriture pour les ensembles de données répliqués ?

Définir les attentes en termes de performances

  • Quel est le taux d'E/S requis ?

  • De quels niveaux de débit en lecture et en écriture votre application a-t-elle besoin ?

  • Quels sont les environnements pour lesquels vous avez besoin de stockage ? Pour une charge de travail donnée, vous avez peut-être besoin d'une solution de stockage hautes performances pour l'environnement de production, mais vous pouvez choisir une option moins performante pour les environnements hors production.

Examiner les options de stockage

Google Cloud propose des services de stockage pour tous les formats de stockage clés: blocs, fichiers et objets. Examinez et évaluez les fonctionnalités, les options de conception et les avantages relatifs des services disponibles pour chaque format de stockage.

Présentation

Les données que vous hébergez dans un stockage de blocs sont divisées en fragments, chacun étant stocké sous la forme d'un bloc distinct avec une adresse unique. Les applications accèdent aux données en référençant les adresses de bloc appropriées. Le stockage de blocs est optimisé pour les charges de travail à IOPS élevées, telles que le traitement de transactions. Il est semblable aux systèmes de réseau de stockage (SAN) sur site et de stockage directement associés (DAS).

Les options de stockage de blocs dans Google Cloud font partie du service Compute Engine.

Option Présentation
Persistent Disk Des disques durs (HDD) et des disques durs SSD dédiés, pour les applications d'entreprise et de base de données déployées sur des VM Compute Engine et des clusters Google Kubernetes Engine (GKE).
Google Cloud Hyperdisk Stockage réseau rapide et redondant pour les VM Compute Engine, avec des performances et des volumes configurables qui peuvent être redimensionnés de manière dynamique.
SSD local Service de stockage de blocs éphémère associé localement pour les applications hautes performances.

Les données sont organisées et représentées dans une hiérarchie de fichiers stockés dans des dossiers, de la même manière que le stockage en réseau (NAS) sur site. Les systèmes de fichiers peuvent être installés sur des clients à l'aide de protocoles tels que NFS et Server Message Block (SMB). Les applications accèdent aux données à l'aide du nom de fichier et du chemin d'accès du répertoire correspondants.

Google Cloud propose une gamme de solutions entièrement gérées et tierces pour le stockage de fichiers.

Solution Présentation
Filestore

Stockage basé sur des fichiers à l'aide de serveurs de fichiers NFS pour les VM Compute Engine et les clusters Google Kubernetes Engine.

Vous pouvez choisir un niveau de service (de base, zonal ou régional) adapté à votre cas d'utilisation.

Parallelstore

Système de fichiers parallèle à faible latence pour l'IA, le calcul hautes performances (HPC) et les applications gourmandes en données.

NetApp Volumes

Stockage basé sur des fichiers à l'aide de NFS ou SMB.

Vous pouvez choisir un niveau de service (Flex, Standard, Premium ou Extreme) adapté à votre cas d'utilisation.

Plus d'options Consultez la section Récapitulatif des options de serveur de fichiers.

Les données sont stockées en tant qu'objets dans une hiérarchie plate de buckets. Chaque objet se voit attribuer un ID unique. Des métadonnées peuvent être attribuées aux objets par le système et définies par l'utilisateur pour vous aider à organiser et à gérer les données. Les applications accèdent aux données à l'aide des API REST ou des bibliothèques clientes en référençant les ID d'objet.

Cloud Storage propose une solution de stockage d'objets économique, durable et sans limite pour tout type de données. Les données que vous stockez dans Cloud Storage sont accessibles partout, au sein et hors de Google Cloud. La redondance facultative entre les régions offre une fiabilité maximale. Vous pouvez sélectionner une classe de stockage adaptée à vos exigences de conservation des données et de fréquence d'accès.

Analyse comparative

Le tableau suivant liste les principales fonctionnalités des services de stockage dansGoogle Cloud.

Persistent Disk Hyperdisk SSD local Filestore Parallelstore NetApp Volumes Cloud Storage
Capacité

10 Gio à 64 Tio par disque

257 Tio par VM

4 Gio à 64 Tio par disque

512 Tio par VM

10 Tio à 1 Pio par pool de stockage

375 Gio par disque

12 Tio par VM

1 à 100 Tio par instance 12 à 100 Tio

1 Tio à 10 Pio par pool de stockage

1 Gio à 100 Tio par volume

Pas de limite inférieure ou supérieure
Scaling
  • Effectuer un scaling à la hausse
  • Ajouter et supprimer des disques
  • Autoscaling
Effectuer un scaling à la hausse Non évolutif
  • Standard: scaling à la hausse
  • Zonal et régional: scaling à la hausse et à la baisse
Non évolutif Scaling à la hausse et à la baisse Scaling automatique en fonction de l'utilisation
Partage
Compatible Compatible Non partageable Peut être installé sur plusieurs VM Compute Engine, clients distants et clusters GKE Peut être installé sur plusieurs VM Compute Engine et clusters GKE. Peut être installé sur plusieurs VM Compute Engine et clusters GKE
  • Lecture/écriture où que vous soyez
  • Intégration avec Cloud CDN et les CDN tiers
Options des clés de chiffrement
  • Google-owned and Google-managed encryption keys
  • Gérée par le client
  • Fournie par le client
  • Google-owned and Google-managed encryption keys
  • Gérée par le client
  • Fournie par le client
Google-owned and Google-managed encryption keys
  • Google-owned and Google-managed encryption keys
  • Gérées par le client (niveaux zonal et régional)
Google-owned and Google-managed encryption keys
  • Google-owned and Google-managed encryption keys
  • Gérée par le client
  • Google-owned and Google-managed encryption keys
  • Gérée par le client
  • Fournie par le client
Persistance
Durée de vie du disque Durée de vie du disque Éphémère (les données sont perdues lorsque la VM est arrêtée ou supprimée) Durée de vie de l'instance Filestore Éphémère (les données sont perdues lorsque l'instance est supprimée) Durée de vie du volume Durée de vie du bucket
Qui peut en bénéficier ?
  • Zonal
  • Clonage de disque
  • Zonal Zonal
    Performances
    Scaling linéaire en fonction de la taille du disque et du nombre de processeurs Stockage persistant avec scaling dynamique Stockage de mémoire tampon hautes performances Évolutivité linéaire avec la capacité provisionnée

    Performances évolutives

    Les attentes dépendent du niveau de service.

    Autoscaling des taux de lecture/écriture et redistribution dynamique de la charge
    Gestion
    Formater et installer manuellement Formater et installer manuellement Formater, mettre en bande et monter manuellement Entièrement géré Entièrement géré Entièrement géré Entièrement géré

    Le tableau suivant indique les types de charges de travail pour lesquels chaque option de stockage Google Cloudest adaptée:

    Option de stockage Types de charges de travail
    Persistent Disk
    • Applications sensibles à la latence ou nécessitant un nombre élevé d'IOPS
    • Bases de données
    • Stockage partagé en lecture seule
    • Sauvegardes de VM rapides et durables
    Hyperdisk
    • Charges de travail gourmandes en performances
    • Analyse à scaling horizontal
    SSD local
    • Bases de données optimisées pour la mémoire Flash
    • Mise en cache à chaud pour l'analyse
    • Espace de travail
    Filestore
    • Systèmes de fichiers sur site Lift and Shift
    • Fichiers de configuration partagés
    • Outils et utilitaires courants
    • Journaux centralisés
    Parallelstore
    • Charges de travail d'IA et de ML
    • HPC
    NetApp Volumes
    • Systèmes de fichiers sur site Lift and Shift
    • Fichiers de configuration partagés
    • Outils et utilitaires courants
    • Journaux centralisés
    • Charges de travail Windows
    Cloud Storage
    • Diffuser des vidéos en streaming
    • Bibliothèques d'éléments multimédias
    • Lacs de données à haut débit
    • Sauvegardes et archives
    • Contenus à longue traîne

    Choisir une option de stockage

    La sélection d'une option de stockage s'effectue en deux étapes :

    • Choix des services de stockage dont vous avez besoin
    • Choix des fonctionnalités et des options de conception requises dans un service donné
      • Région et zone de déploiement
      • Réplication régionale
      • Type, taille et IOPS des disques (pour les disques persistants extrêmes)
      • Clés de chiffrement : appartenant à Google, gérées par Google, gérées par le client ou fournies par le client
      • Programmation des instantanés
      • Zone de déploiement
      • Type, taille et débit du disque (pour Hyperdisk Throughput) et IOPS (pour Hyperdisk Extreme)
      • Clés de chiffrement : appartenant à Google, gérées par Google, gérées par le client ou fournies par le client
      • Programmation des instantanés
      • Région et zone de déploiement
      • Niveau d'instance
      • Capacité
      • Plage d'adresses IP : allouée automatiquement ou personnalisée
      • Contrôle des accès
      • Région de déploiement
      • Niveau de service du pool de stockage
      • Capacité du pool et du volume
      • Protocole de volume
      • Règles d'exportation des volumes
      • Zone : multirégionale, birégionale, régionale unique
      • Classe de stockage : Standard, Nearline, Coldline, Archive
      • Contrôle d'accès : uniforme ou précis
      • Clés de chiffrement : appartenant à Google, gérées par Google, gérées par le client ou fournies par le client
      • Règle de conservation

    Recommandations de stockage

    Utilisez les recommandations suivantes comme point de départ pour choisir les services et les fonctionnalités de stockage répondant à vos besoins. Pour obtenir des conseils spécifiques aux charges de travail d'IA et de ML, consultez la section Choisir son stockage pour les charges de travail d'IA et de ML dans Google Cloud.

    Les recommandations générales de stockage sont également présentées sous la forme d'un arbre de décision plus loin dans ce document.

    • Pour les applications qui ont besoin d'un système de fichiers parallèle, utilisez Parallelstore.

    • Pour les applications nécessitant un accès basé sur des fichiers, choisissez un service de stockage de fichiers qui soit adapté à vos exigences concernant le protocole d'accès, la disponibilité et les performances.

      Protocole d'accès Recommandation
      NFS
      • Si vous avez besoin d'une disponibilité régionale et de hautes performances qui évoluent avec la capacité, utilisez la déclinaison régionale de Filestore.
      • Si la disponibilité zonale est suffisante, mais que vous avez besoin de hautes performances qui évoluent avec la capacité, utilisez Filestore Zonal ou NetApp Volumes Premium ou Extreme.
      • Sinon, utilisez le niveau de base de Filestore ou NetApp Volumes.

      Pour en savoir plus sur les différences entre les niveaux de service Filestore, consultez la section Niveaux de service.

      PME Utilisez NetApp Volumes.

    • Pour les charges de travail nécessitant un stockage principal haute performance, utilisez un SSD local, un disque persistant ou un hyperdisque, selon vos besoins.

      Exigence Recommandation
      Espace de travail ou cache rapide

      Utilisez des disques SSD locaux (éphémères).

      IOPS séquentielles Utilisez des disques persistants avec le type de disque pd-standard.
      Charge de travail nécessitant un nombre élevé d'IOPS Utilisez des disques persistants avec le type de disque pd-extreme ou pd-ssd.
      Équilibre entre performances et coûts Utilisez des disques persistants avec le type de disque pd-balanced.
      Évoluer les performances et la capacité de manière dynamique

      Utilisez Hyperdisk.

      Choisissez un type d'Hyperdisk approprié :

      • Hyperdisk Balanced est recommandé pour les charges de travail à usage général et les applications à disponibilité élevée qui nécessitent un accès en écriture partagé.
      • Hyperdisk Extreme est recommandé pour les charges de travail nécessitant des E/S élevées, telles que les bases de données hautes performances.
      • Hyperdisk Throughput est recommandé pour les analyses évolutives, les lecteurs de données pour les applications sensibles aux coûts et le stockage à froid.
      • Hyperdisk ML est recommandé pour les charges de travail de ML qui nécessitent un débit élevé pour plusieurs VM en mode lecture seule.

      Pour en savoir plus, consultez la page À propos d' Google Cloud Hyperdisk.

      • Selon vos exigences de redondance, choisissez des disques zonaux ou régionaux.
        Exigence Recommandation
        Redondance au sein d'une zone unique d'une région Utilisez des disques persistants zonaux ou des hyperdisques.
        Redondance dans plusieurs zones d'une même région Utilisez des disques persistants régionaux.
        Pour une analyse comparative détaillée, consultez la section Options de disques persistants.
    • Pour un stockage à échelle illimitée et disponible dans le monde entier, utilisez Cloud Storage.

      En fonction de la fréquence d'accès aux données et de la durée de stockage, choisissez une classe Cloud Storage adaptée.

      Exigence Recommandation>
      La fréquence d'accès varie, ou la période de conservation des données est inconnue ou imprévisible. Utilisez la fonctionnalité Autoclass pour faire passer automatiquement les objets d'un bucket aux classes de stockage appropriées en fonction du modèle d'accès de chaque objet.
      Stockage de données soumises à des accès fréquents, y compris pour les lacs de données, les analyses à haut débit, les sites Web, les vidéos en streaming et les applications mobiles.

      Utilisez la classe de stockage Standard.

      Pour mettre en cache des données fréquemment consultées et les diffuser à partir d'emplacements proches des clients, utilisez Cloud CDN.

      Stockage à faible coût pour les données rarement consultées, qui peuvent être stockées pendant au moins 30 jours (par exemple, des sauvegardes et des contenus multimédias à longue traîne) Utilisez la classe de stockage Nearline.
      Stockage à faible coût pour les données rarement consultées, qui peuvent être stockées pendant au moins 90 jours (par exemple, reprise après sinistre). Utilisez la classe de stockage Coldline.
      Stockage le plus économique pour les données rarement consultées, qui peuvent être stockées pendant au moins 365 jours, y compris les archives réglementaires. Utilisez la classe de stockage Archive.

      Pour une analyse comparative détaillée, consultez la page Classes de Cloud Storage.

    Options de transfert de données

    Une fois que vous avez choisi les services de stockage Google Cloud appropriés, vous devez transférer vos données vers Google Cloudpour déployer et exécuter des charges de travail. Les données que vous devez transférer peuvent exister sur site ou sur d'autres plates-formes cloud.

    Vous pouvez utiliser les méthodes suivantes pour transférer des données vers Google Cloud:

    • Transférez des données en ligne à l'aide du service de transfert de stockage : automatisez le transfert de grandes quantités de données entre les systèmes de stockage d'objets et de fichiers, y compris Cloud Storage, Amazon S3, les services de stockage Azure et des sources de données sur site.
    • Transférez des données hors connexion à l'aide de Transfer Appliance : transférez et chargez de grandes quantités de données hors connexion vers Google Cloud dans des situations où la connectivité réseau et la bande passante sont indisponibles, limitées ou coûteuses.
    • Importation de données dans Cloud Storage : importez des données en ligne dans des buckets Cloud Storage à l'aide de la console Google Cloud, de gcloud CLI, des API Cloud Storage ou des bibliothèques clientes.

    Lorsque vous choisissez une méthode de transfert de données, tenez compte de facteurs tels que la taille des données, les contraintes de temps, la disponibilité de la bande passante, les objectifs de coûts, ainsi que les exigences de sécurité et de conformité. Pour en savoir plus sur la planification et la mise en œuvre de transferts de données vers Google Cloud, consultez Migrer vers Google Cloud: transférer vos ensembles de données volumineux.

    Arbre de décision des options de stockage

    L'arbre de décision ci-dessous vous guide à travers les recommandations de stockage Google Clouddécrites précédemment. Pour obtenir des conseils spécifiques aux charges de travail d'IA et de ML, consultez la section Choisir son stockage pour les charges de travail d'IA et de ML dans Google Cloud.

    Afficher une image plus grande

    Arbre de décision pour la sélection d'une stratégie de stockage

    Étape suivante

    Contributeurs

    Auteur : Kumar Dhanagopal | Cross-product solution developer

    Autres contributeurs :