Ce guide vous aide à évaluer les besoins en stockage de votre charge de travail cloud, à comprendre les options de stockage disponibles dans Google Cloud et à concevoir une stratégie de stockage offrant une valeur commerciale optimale.
Pour obtenir un récapitulatif visuel des principales recommandations de conception, consultez le schéma de l'arbre de décision.
Si vous avez déjà lu ce document et que vous avez besoin d'un résumé des modifications, consultez le journal des modifications.
Présentation du processus de conception
En tant qu'architecte cloud, lorsque vous planifiez le stockage pour une charge de travail cloud, vous devez d'abord prendre en compte les caractéristiques fonctionnelles de la charge de travail, les contraintes de sécurité, les exigences de résilience, les attentes en termes de performances et les objectifs de coûts. Ensuite, vous devez examiner les services et les fonctionnalités de stockage disponibles dans Google Cloud. Alors, en fonction de vos besoins et des options disponibles, vous sélectionnez les services de stockage et les fonctionnalités dont vous avez besoin.
Le schéma suivant illustre ce processus de conception en trois phases :
Définir vos exigences
Utilisez les questionnaires de cette section afin de définir les exigences de stockage clés pour la charge de travail que vous souhaitez déployer dans Google Cloud.
Consignes pour la définition des exigences de stockage
Lorsque vous répondez aux questionnaires, tenez compte des éléments suivants :
Définissez les exigences de manière précise
Par exemple, si votre application nécessite un stockage de fichiers basé sur le système NFS (Network File System), identifiez la version NFS requise.
Tenez compte des exigences futures
Par exemple, votre déploiement actuel peut desservir les utilisateurs des pays d'Asie, mais vous envisagez peut-être de développer votre activité sur d'autres continents. Dans ce cas, prenez en considération les exigences réglementaires liées au stockage pour les nouveaux territoires d'activité.
Tenez compte des opportunités et exigences spécifiques au cloud
Tirez parti des opportunités spécifiques au cloud.
Par exemple, pour optimiser le coût de stockage des données hébergées dans Cloud Storage, vous pouvez contrôler la durée de stockage à l'aide de règles de conservation des données et de configurations de cycle de vie.
Tenez compte des exigences spécifiques au cloud.
Par exemple, les données sur site peuvent exister dans un centre de données unique, et vous devrez peut-être répliquer les données migrées vers deux emplacements Google Cloud afin d'assurer la redondance.
Questionnaires
Les questionnaires suivants ne constituent pas des checklists exhaustives pour la planification. Utilisez-les comme point de départ pour analyser de manière systématique toutes les exigences de stockage de la charge de travail que vous souhaitez déployer sur Google Cloud.
Évaluer les caractéristiques de votre charge de travail
Quel type de données devez-vous stocker ?
Exemples
- Contenu de site Web statique
- Sauvegardes et archives pour la reprise après sinistre
- Journaux d'audit pour la conformité
- Objets de données volumineux téléchargés directement par les utilisateurs
- Données transactionnelles
- Données non structurées et hétérogènes
De quelle capacité avez-vous besoin ? Tenez compte de vos exigences actuelles et futures.
La capacité doit-elle évoluer automatiquement avec l'utilisation ?
Quelles sont les conditions d'accès ? Par exemple, les données doivent-elles être accessibles depuis l'extérieur de Google Cloud ?
Quels sont les modèles de lecture/écriture attendus ?
Exemples
- Écritures et lectures fréquentes
- Écritures fréquentes, mais lectures occasionnelles
- Écritures et lectures occasionnelles
- Écritures occasionnelles, mais lectures fréquentes
La charge de travail nécessite-t-elle un accès basé sur les fichiers, en utilisant NFS par exemple ?
Plusieurs clients doivent-ils être en mesure de lire ou d'écrire des données simultanément ?
Identifier les contraintes de sécurité
Quelles sont vos exigences en termes de chiffrement des données ? Par exemple, avez-vous besoin d'utiliser des clés que vous contrôlez ?
Existe-t-il des exigences de résidence des données ?
Définir les exigences en termes de résilience des données
- Votre charge de travail nécessite-t-elle une mise en cache à faible latence ou un espace de travail ?
- Avez-vous besoin de répliquer les données dans le cloud pour la redondance ?
- Avez-vous besoin d'une cohérence stricte en lecture/écriture pour les ensembles de données répliqués ?
Définir les attentes en termes de performances
Quel est le taux d'E/S requis ?
De quels niveaux de débit en lecture et en écriture votre application a-t-elle besoin ?
Quels sont les environnements pour lesquels vous avez besoin de stockage ? Pour une charge de travail donnée, vous avez peut-être besoin d'une solution de stockage hautes performances pour l'environnement de production, mais vous pouvez choisir une option moins performante pour les environnements hors production.
Examiner les options de stockage
Google Cloud propose des services de stockage pour tous les formats de stockage clés : blocs, fichiers et objets. Examinez et évaluez les fonctionnalités, les options de conception et les avantages relatifs des services disponibles pour chaque format de stockage.
Présentation
Stockage de blocs
Les données que vous hébergez dans un stockage de blocs sont divisées en fragments, chacun étant stocké sous la forme d'un bloc distinct avec une adresse unique. Les applications accèdent aux données en référençant les adresses de bloc appropriées. Le stockage de blocs est optimisé pour les charges de travail à IOPS élevées, telles que le traitement de transactions. Il est semblable aux systèmes de réseau de stockage (SAN) sur site et de stockage directement associés (DAS).
Les options de stockage de blocs dans Google Cloud font partie du service Compute Engine.
| Option | Présentation |
|---|---|
| Persistent Disk | Des disques durs (HDD) et des disques durs SSD dédiés, pour les applications d'entreprise et de base de données déployées sur des VM Compute Engine et des clusters Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Stockage réseau rapide et redondant pour les VM Compute Engine, avec des performances configurables et des volumes pouvant être redimensionnés de manière dynamique. |
| SSD local | Service de stockage de blocs éphémère associé localement pour les applications hautes performances. |
Stockage de fichiers
Les données sont organisées et représentées dans une hiérarchie de fichiers stockés dans des dossiers, de la même manière que le stockage en réseau (NAS) sur site. Les systèmes de fichiers peuvent être installés sur des clients à l'aide de protocoles tels que NFS et Server Message Block (SMB). Les applications accèdent aux données à l'aide du nom de fichier et du chemin d'accès du répertoire correspondants.
Google Cloud fournit une gamme de solutions entièrement gérées et tierces pour le stockage de fichiers.
| Solution | Présentation |
|---|---|
| Google Cloud Filestore |
Serveurs de fichiers NFSv3 pour les VM Compute Engine et les clusters Google Kubernetes Engine. Vous pouvez choisir un niveau de service (de base, à grande échelle ou entreprise) adapté à votre cas d'utilisation. |
| Google Cloud NetApp Volumes | Stockage basé sur des fichiers à l'aide de NFSv3, NFSv4.1 ou SMB. |
| Plus d'options | Consultez la section Récapitulatif des options de serveur de fichiers. |
Stockage d'objets
Les données sont stockées en tant qu'objets dans une hiérarchie plate de buckets. Chaque objet se voit attribuer un ID unique. Des métadonnées peuvent être attribuées aux objets par le système et définies par l'utilisateur pour vous aider à organiser et à gérer les données. Les applications accèdent aux données à l'aide des API REST ou des bibliothèques clientes en référençant les ID d'objet. Le stockage d'objets est semblable au SAN sur site en termes de capacité d'évolutivité, mais il est plus facile à gérer et moins coûteux.
Cloud Storage propose une solution de stockage d'objets économique, durable et sans limite pour tout type de données. Les données que vous stockez dans Cloud Storage sont accessibles partout, au sein et hors de Google Cloud. La redondance facultative entre les régions offre une fiabilité maximale. Vous pouvez sélectionner une classe de stockage adaptée à vos exigences de conservation des données et de fréquence d'accès.
Analyse comparative
Le tableau suivant fournit une analyse comparative des principales fonctionnalités offertes par les services de stockage de Google Cloud.
| Persistent Disk | Hyperdisk | SSD local | Filestore | Google Cloud NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|
| Capacité |
De 10 Gio à 64 Tio par disque 257 Tio par VM |
4 Gio à 64 Tio par disque 512 Tio par VM |
375 Gio par disque 12 Tio par VM |
1 à 100 Tio par instance Filestore (la capacité minimale et maximale et les incréments de scaling varient en fonction du niveau de service) | De 2 à 500 Tio par pool de stockage De 100 Gio à 100 Tio par volume |
Pas de limite inférieure ou supérieure |
|
Scaling |
|
Effectuer un scaling dynamique des performances et des capacités | Non évolutif |
|
Scaling à la hausse et à la baisse | Scaling automatique en fonction de l'utilisation |
| Partage |
Partage limité
|
Non partageable | Non partageable | Peut être installé sur plusieurs VM Compute Engine, clients distants et clusters GKE | Peut être installé sur plusieurs VM Compute Engine et clusters GKE |
|
| Clés de chiffrement |
Clés gérées par Google, gérées par le client ou fournies par le client | Clés gérées par Google, gérées par le client ou fournies par le client | Clés gérées par Google |
|
Clés gérées par Google ou gérées par le client | Clés gérées par Google, gérées par le client ou fournies par le client |
| Persistance |
Durée de vie du disque | Durée de vie du disque | Éphémère (les données existent jusqu'à ce que la VM soit arrêtée ou supprimée) | Durée de vie de l'instance Filestore | Durée de vie du volume | Durée de vie du bucket |
| Qui peut en bénéficier ? |
|
Zonal | Zonal |
|
| |
| Performances |
Scaling linéaire à hautes performances, en fonction de la taille du disque et du nombre de processeurs | Stockage persistant hautes performances de manière dynamique | Stockage temporaire hautes performances |
|
Performances évolutives Les attentes dépendent du niveau de service |
Autoscaling des taux de lecture/écriture et redistribution dynamique de la charge |
| Gestion |
Formater et installer manuellement | Formater et installer manuellement | Formater, mettre en bande et monter manuellement | Entièrement géré | Entièrement géré | Entièrement géré |
| Charges de travail |
|
|
|
|
|
|
Choisir une option de stockage
La sélection d'une option de stockage s'effectue en deux étapes :
- Choix des services de stockage dont vous avez besoin
- Choix des fonctionnalités et des options de conception requises dans un service donné
Exemples de fonctionnalités et d'options de conception spécifiques aux services
Persistent Disk
- Région et zone de déploiement
- Réplication régionale
- Type, taille et IOPS du disque (disque persistant extrême)
- Clés de chiffrement : gérées par Google, gérées par le client ou fournies par le client
- Programmation des instantanés
Hyperdisk
- Zone de déploiement
- Type, taille et IOPS du disque
- Clés de chiffrement : gérées par Google, gérées par le client ou fournies par le client
- Programmation des instantanés
Filestore
- Région et zone de déploiement
- Niveau d'instance
- Capacité
- Plage d'adresses IP : allouée automatiquement ou personnalisée
- Contrôle des accès
NetApp Volumes
- Région de déploiement
- Niveau de service du pool de stockage
- Capacité du pool et du volume
- Protocole de volume
- Règles d'exportation de volume
Cloud Storage
- Zone : multirégionale, birégionale, régionale unique
- Classe de stockage : Standard, Nearline, Coldline, Archive
- Contrôle d'accès : uniforme ou précis
- Clés de chiffrement : gérées par Google, gérées par le client ou fournies par le client
- Règle de conservation
Recommandations concernant le stockage
Utilisez les recommandations suivantes comme point de départ pour choisir les services et les fonctionnalités de stockage répondant à vos besoins. Ces recommandations sont également présentées sous la forme d'un arbre de décision plus loin dans ce document.
Pour les applications nécessitant un accès basé sur des fichiers, choisissez un service de stockage de fichiers qui soit adapté à vos exigences concernant le protocole d'accès, la disponibilité et les performances.
Protocole d'accès Recommandation NFSv3 - Si vous avez besoin d'une disponibilité régionale, utilisez Filestore Enterprise.
- Si la disponibilité zonale est suffisante, mais que vous avez besoin de hautes performances, utilisez la déclinaison zonale de Filestore.
- Sinon, utilisez le niveau de base de Filestore ou NetApp Volumes.
Pour en savoir plus sur les différences entre les niveaux de service Filestore, consultez la section Niveaux de service.
SMB ou NFSv4.1 Utilisez NetApp Volumes. Pour les charges de travail nécessitant un stockage principal avec hautes performances, utilisez des disques SSD locaux, des disques persistants ou des hyperdisques selon vos besoins.
Exigence Recommandation Espace de travail ou cache rapide Utilisez des disques SSD locaux (éphémères).
IOPS séquentielles Utilisez des disques persistants avec le type de disque pd-standard.Charge de travail exigeante en IOPS Utilisez des disques persistants avec le type de disque pd-extremeoupd-ssd.Équilibrer les performances et les coûts Utilisez des disques persistants avec le type de disque pd-balanced.Performances et capacité évolutives Utiliser un hyperdisque.
Choisissez un type d'hyperdisque approprié:
- Hyperdisk Throughput est recommandé pour les analyses évolutives, les lecteurs de données pour les applications sensibles aux coûts et le stockage à froid.
- L'hyperdisque extrême est recommandé pour les charges de travail nécessitant des E/S élevées, telles que les bases de données hautes performances.
- Selon vos exigences de redondance, choisissez des disques zonaux ou régionaux.
Pour une analyse comparative détaillée, consultez la section Options de disques persistants.Exigence Recommandation Redondance au sein d'une zone unique d'une région Utilisez des disques persistants zonaux ou des hyperdisques. Redondance dans plusieurs zones d'une même région Utilisez des disques persistants régionaux.
Pour un stockage à échelle illimitée et disponible dans le monde entier, utilisez Cloud Storage.
En fonction de la fréquence d'accès aux données et de la durée de stockage, choisissez une classe Cloud Storage appropriée.
Exigence Recommandation> La fréquence d'accès varie, ou la durée de conservation des données est inconnue ou imprévisible. Utilisez la fonctionnalité Autoclass pour convertir automatiquement les objets d'un bucket en classes de stockage appropriées en fonction du modèle d'accès de chaque objet. Stockage de données soumises à des accès fréquents, y compris pour les lacs de données, les analyses à haut débit, les sites Web, les vidéos en streaming et les applications mobiles. Utilisez la classe de stockage Standard.
Pour mettre en cache des données fréquemment consultées et les diffuser à partir d'emplacements proches des clients, utilisez Cloud CDN.
Stockage à faible coût pour les données rarement consultées, qui peuvent être stockées pendant au moins 30 jours (par exemple, des sauvegardes et des contenus multimédias à longue traîne) Utilisez la classe de stockage Nearline. Stockage à faible coût pour les données rarement consultées, qui peuvent être stockées pendant au moins 90 jours (par exemple, reprise après sinistre). Utilisez la classe de stockage Coldline. Stockage le plus économique pour les données rarement consultées, qui peuvent être stockées pendant au moins 365 jours, y compris les archives réglementaires. Utilisez la classe de stockage Archive. Pour une analyse comparative détaillée, consultez la page Classes de Cloud Storage.
Options de transfert de données
Une fois que vous avez choisi les services de stockage Google Cloud appropriés, vous devez transférer vos données vers Google Cloud pour déployer et exécuter des charges de travail. Les données que vous devez transférer peuvent exister sur site ou sur d'autres plates-formes cloud.
Vous pouvez utiliser les méthodes suivantes pour transférer des données vers Google Cloud :
- Transférez des données en ligne à l'aide du service de transfert de stockage : automatisez le transfert de grandes quantités de données entre les systèmes de stockage d'objets et de fichiers, y compris Cloud Storage, Amazon S3, les services de stockage Azure et des sources de données sur site.
- Transférez des données hors connexion à l'aide de Transfer Appliance : transférez et chargez de grandes quantités de données hors connexion vers Google Cloud dans des situations où la connectivité réseau et la bande passante sont indisponibles, limitées ou coûteuses.
- Importation de données dans Cloud Storage : importez des données en ligne dans des buckets Cloud Storage à l'aide de la console Google Cloud, de gcloud CLI, des API Cloud Storage ou des bibliothèques clientes.
Lorsque vous choisissez une méthode de transfert de données, tenez compte de facteurs tels que la taille des données, les contraintes de temps, la disponibilité de la bande passante, les objectifs de coûts, ainsi que les exigences de sécurité et de conformité. Pour en savoir plus sur la planification et la mise en œuvre de transferts de données vers Google Cloud, consultez la page Migrer vers Google Cloud : transférer vos ensembles de données volumineux.
Arbre de décision des options de stockage
L'arbre de décision ci-dessous vous guide à travers les recommandations de stockage Google Cloud décrites précédemment :
Afficher une image plus grande
Étapes suivantes
- Estimez les coûts de stockage à l'aide du simulateur de coût Google Cloud.
- Découvrez les bonnes pratiques permettant de créer une topologie cloud optimisée pour la sécurité, la résilience, le coût et les performances.
- Découvrez les différences entre le stockage d'objets, de blocs et de fichiers dans Google Cloud (vidéo).
- Découvrez quand utiliser des systèmes de fichiers parallèles tels que Lustre pour les charges de travail HPC.
Journal des modifications
Cette section récapitule les modifications techniques importantes apportées dans ce guide.
| Date | Description des modifications |
|---|---|
| 14 mars 2024 | Ajout de la section Options de transfert de données. |
| 8 Décembre 2023 | Mise à jour des valeurs de capacité pour les options Hyperdisk et SSD local. |
| 17 octobre 2023 | Mise à jour des recommandations de stockage et du schéma de l'arbre de décision afin d'inclure Google Cloud NetApp Volumes comme option de stockage de fichiers NFSv3. |
| 15 août 2023 |
|
| 6 Octobre 2021 | Ajout de conseils pour Filestore Enterprise. |
| 20 août 2021 | Publication initiale. |
Contributeurs
Auteur : Kumar Dhanagopal | Cross-product solution developer
Autres contributeurs :
- Brennan Doyle | Architecte de solutions
- Dean Hildebrand | Directeur technique, bureau du directeur de la technologie
- Geoffrey Noer | Responsable groupe de produits
- Jack Zhou | Rédacteur technique
- Jason Wu | Directeur de la gestion des produits
- Jeff Allen | Architecte de solutions
- Sean Derrington | Group Outbound Product Manager, Stockage