Google Cloud fournit des outils, des produits, des conseils et des services professionnels pour vous aider à migrer des données depuis Amazon Simple Storage Service (Amazon S3) vers Cloud Storage. Ce document explique comment concevoir, mettre en œuvre et valider un plan de migration depuis Amazon S3 vers Cloud Storage. Ce document décrit une partie du processus de migration global dans lequel vous créez un inventaire d'artefacts Amazon S3 et créez un plan pour gérer le processus de migration.
Ce document est destiné aux administrateurs cloud qui souhaitent en savoir plus sur la planification et la mise en œuvre d'un processus de migration. Il s'adresse également aux décisionnaires qui évaluent l'opportunité d'effectuer une migration et qui souhaitent découvrir en quoi elle pourrait consister.
Ce document fait partie d'une série d'articles sur la migration depuis AWS vers Google Cloud, qui comprend les documents suivants :
- Premiers pas
- Migrer depuis Amazon EC2 vers Compute Engine
- Migrer depuis Amazon S3 vers Cloud Storage (ce document)
- Migrer depuis Amazon Elastic Kubernetes Service (Amazon EKS) vers Google Kubernetes Engine
- Migrer d'Amazon RDS pour SQL Server vers Cloud SQL pour SQL Server
Cette série suppose que vous avez lu et que vous connaissez les documents suivants :
- Migrer vers Google Cloud : premiers pas : décrit le framework de migration général que vous suivez lors de cette migration.
- Migrer vers Google Cloud : transférer vos ensembles de données volumineux : décrit comment transférer des données vers Google Cloud.
- Migrer vers Google Cloud : bonnes pratiques pour valider un plan de migration : décrit les modifications et les améliorations potentielles de votre plan de migration.
Le diagramme suivant illustre les différentes phases de votre parcours de migration. Dans les scénarios de migration, la phase de déploiement correspond à l'exécution à proprement parler du processus de migration.
Vous pouvez migrer depuis Amazon S3 vers Cloud Storage dans une série d'itérations. Par exemple, vous pouvez commencer par migrer certaines données et charges de travail, et d'autres ultérieurement. Pour chaque itération de migration distincte, vous suivez les phases du framework de migration général :
- Évaluer et découvrir vos charges de travail et vos données
- Planifier et établir vos fondations sur Google Cloud
- Migrer vos charges de travail et vos données vers Google Cloud
- Optimiser votre environnement Google Cloud
Pour en savoir plus sur les phases de ce framework, consultez la page Migrer vers Google Cloud : premiers pas.
Évaluer l'environnement source
Au cours de la phase d'évaluation, vous déterminez les exigences et les dépendances des ressources que vous souhaitez migrer depuis Amazon S3 vers Cloud Storage.
La phase d'évaluation comprend les tâches suivantes :
- Dresser un inventaire complet de vos charges de travail et de vos données
- Cataloguer vos charges de travail et vos données en fonction de leurs propriétés et de leurs dépendances
- Former et préparer vos équipes sur Google Cloud
- Créer des tests et des démonstrations de faisabilité sur Google Cloud
- Calculer le coût total de possession (TCO) de l'environnement cible
- Déterminer l'ordre et la priorité des charges de travail que vous souhaitez migrer
Pour en savoir plus sur la phase d'évaluation et sur ces tâches, consultez la page Migrer vers Google Cloud : évaluer et découvrir vos charges de travail. Les sections suivantes sont basées sur les informations de ce document.
Dresser un inventaire de vos buckets Amazon S3
Pour définir la portée de votre migration, vous devez créer deux inventaires : un inventaire de vos buckets Amazon S3 et un inventaire des objets stockés dans ces buckets.
Pour créer l'inventaire de vos buckets Amazon S3, nous vous recommandons d'utiliser le Centre de migration, la plate-forme unifiée de Google Cloud qui vous aide à accélérer votre transition cloud de bout en bout, de votre environnement actuel vers Google Cloud. Migration Center vous permet d'importer des données à partir d'Amazon S3 et d'autres ressources AWS. Migration Center recommande ensuite des services Google Cloud pertinents vers lesquels vous pouvez migrer.
Après avoir créé l'inventaire de vos buckets Amazon S3, affinez l'inventaire en tenant compte des points de données suivants pour chaque bucket Amazon S3 :
- La façon dont vous avez configuré le chiffrement côté serveur du bucket Amazon S3.
- Vos paramètres pour la gestion de l'authentification et des accès dans le bucket Amazon S3.
- La configuration du blocage de l'accès public pour le bucket S3.
- Tous les tags d'allocation de coûts pour les buckets Amazon S3.
- La Configuration du verrouillage d'objet dans le bucket S3.
- La façon dont vous accédez au bucket Amazon S3.
- La manière dont vous avez configuré les paiements par le demandeur.
- Les paramètres de la gestion des versions des objets dans Amazon S3.
- La configuration des règles de sauvegarde AWS pour Amazon S3.
- Si vous utilisez ou non la hiérarchisation intelligente d'Amazon S3.
- La façon dont vous avez configuré la réplication d'objets dans Amazon S3.
- Le cycle de vie des objets dans Amazon S3.
Nous vous recommandons également de collecter des données sur vos buckets Amazon S3, qui vous permettent de calculer des statistiques globales sur les objets qu'ils contiennent. Par exemple, si vous collectez la taille totale des objets, leur taille moyenne et leur nombre, cela peut vous aider à estimer le temps et le coût nécessaires pour effectuer une migration depuis un bucket Amazon S3 vers un bucket Cloud Storage.
Pour collecter ces points de données concernant vos buckets Amazon S3, vous pouvez mettre en œuvre des mécanismes et des processus de collecte de données basés sur des outils AWS, tels que les suivants :
- Outils de surveillance Amazon S3
- Analyses Amazon S3
- API AWS
- Outils pour les développeurs AWS
- Interface de ligne de commande AWS
Pour vous aider à éviter les problèmes lors de la migration et à estimer les efforts nécessaires à celle-ci, nous vous recommandons d'évaluer les similitudes entre les caractéristiques des buckets Amazon S3 et celles des buckets Cloud Storage. Le tableau suivant récapitule ce comparatif.
Comme indiqué précédemment, les caractéristiques listées dans le tableau précédent peuvent sembler similaires lorsque vous les comparez l'une à l'autre. Cependant, les différences de conception et de mise en œuvre des caractéristiques entre les deux fournisseurs cloud peuvent avoir des répercussions significatives sur votre migration depuis Amazon S3 vers Cloud Storage.
Dresser un inventaire des objets stockés dans vos objets Amazon S3
Après avoir créé l'inventaire de vos buckets Amazon S3, nous vous recommandons d'utiliser cet inventaire Amazon S3 pour dresser un inventaire des objets qu'ils contiennent.
Pour créer l'inventaire de vos objets Amazon S3, tenez compte des points suivants pour chaque objet :
- Nom de l'objet Amazon S3
- Taille de l'objet Amazon S3
- Métadonnées de l'objet Amazon S3
- Sous-ressources de l'objet Amazon S3
- Versions d'objet Amazon S3, et si vous devez ou non effectuer la migration de ces versions
- URL présignées de l'objet Amazon S3
- Transformations de l'objet Amazon S3
- Tags de l'objet Amazon S3
- Classes de stockage de l'objet Amazon S3
- Archivage de l'objet Amazon S3
Nous vous recommandons également de collecter des données sur vos objets Amazon S3 afin de comprendre la fréquence à laquelle vous, ainsi que vos charges de travail, définissez des créations, des mises à jour et des suppressions d'objets Amazon S3.
Pour vous aider à éviter les problèmes lors de la migration et à estimer les efforts nécessaires à celle-ci, nous vous recommandons d'évaluer les similitudes entre les caractéristiques des objets Amazon S3 et celles des objets Cloud Storage. Le tableau suivant récapitule ce comparatif.
Comme indiqué précédemment, les caractéristiques listées dans le tableau précédent peuvent sembler similaires lorsque vous les comparez l'une à l'autre. Cependant, les différences de conception et de mise en œuvre des caractéristiques entre les deux fournisseurs cloud peuvent avoir des répercussions significatives sur votre migration depuis Amazon S3 vers Cloud Storage.
Terminer l'évaluation
Après avoir créé les inventaires liés à votre environnement Amazon S3, effectuez les autres étapes de la phase d'évaluation décrites dans la page Migrer vers Google Cloud : évaluer et découvrir vos charges de travail.
Planifier et établir vos fondations
La phase de planification et de création de votre migration vers Google Cloud comprend les tâches suivantes :
- Créez une hiérarchie de ressources.
- Configurez la gestion de l'authentification et des accès.
- Configurez la facturation.
- Configurez la connectivité réseau.
- Renforcez votre sécurité.
- Configurer la journalisation, la surveillance et les alertes
Pour en savoir plus sur chacune de ces tâches, consultez la page Migrer vers Google Cloud : établir vos fondations.
Migrer des données et des charges de travail depuis Amazon S3 vers Cloud Storage
Pour migrer des données depuis Amazon S3 vers Cloud Storage, nous vous recommandons de concevoir un plan de migration de données en suivant les instructions de la page Migrer vers Google Cloud : transférer vos ensembles de données volumineux. Ce document recommande d'utiliser le service de transfert de stockage, un produit Google Cloud qui vous permet de migrer des données depuis plusieurs sources vers Cloud Storage, par exemple depuis des environnements sur site ou d'autres fournisseurs de stockage dans le cloud. Le service de transfert de stockage accepte plusieurs types de jobs de transfert de données, tels que les suivants :
- Les jobs de transfert ponctuels, qui transfèrent des données depuis Amazon S3 ou d'autres sources compatibles vers Cloud Storage, selon une approche à la demande.
- Les jobs de transfert planifiés, qui transfèrent des données depuis Amazon S3 ou d'autres sources compatibles vers Cloud Storage, de manière planifiée.
- Les jobs de transfert basés sur des événements, qui transfèrent automatiquement des données lorsqu'Amazon S3 envoie des notifications d'événement Amazon S3 au service Amazon Simple Queue Service (SQS).
Pour mettre en œuvre un plan de migration de données, vous pouvez configurer un ou plusieurs jobs de transfert de données. Par exemple, pour réduire la durée des intervalles de basculement lors de la migration, vous pouvez mettre en œuvre une stratégie de migration de données de réplication continue, en procédant comme suit :
- Configurez un job de transfert ponctuel afin de copier des données depuis un bucket Amazon S3 vers le bucket Cloud Storage.
- Effectuez des vérifications de cohérence et de validation des données afin de comparer les données du bucket Amazon S3 avec les données copiées dans le bucket Cloud Storage.
- Configurez des jobs de transfert basés sur des événements afin de transférer automatiquement des données depuis le bucket Amazon S3 vers le bucket Cloud Storage, lorsque le contenu du bucket Amazon S3 est modifié.
- Arrêtez les charges de travail et les services ayant accès aux données en cours de migration (c'est-à-dire les données concernées par l'étape précédente).
Refactorisez les charges de travail afin d'utiliser Cloud Storage, et non plus Amazon S3. Vous pouvez refactoriser vos charges de travail soit en utilisant l'une des approches suivantes, soit en les appliquant l'une après l'autre :
- Effectuer une migration simple depuis Amazon S3 vers Cloud Storage. Lors d'une migration simple, vous utilisez vos outils et bibliothèques existants qui génèrent des requêtes REST authentifiées vers Amazon S3, afin de générer à la place des requêtes authentifiées vers Cloud Storage.
- Effectuer une migration complète depuis Amazon S3 vers Cloud Storage. Dans une migration complète, vous pouvez utiliser toutes les fonctionnalités de Cloud Storage, y compris la prise en charge de projets multiples et d'OAuth 2.0 pour l'authentification.
Attendez que la réplication synchronise entièrement Cloud Storage avec Amazon S3.
Démarrez vos charges de travail.
Lorsque vous n'avez plus besoin de votre environnement Amazon S3 comme option de secours, supprimez-le.
Le service de transfert de stockage peut conserver certaines métadonnées lorsque vous migrez des objets depuis une source compatible vers Cloud Storage. Nous vous recommandons d'évaluer si le service de transfert de stockage peut migrer les métadonnées Amazon S3 qui vous intéressent.
Lorsque vous concevez votre plan de migration de données, nous vous recommandons également d'évaluer les coûts de sortie réseau AWS et vos coûts Amazon S3. Par exemple, considérons les options suivantes pour un transfert de données :
- Sur l'Internet public
- En utilisant une liaison d'interconnexion
- En utilisant Amazon CloudFront
L'option que vous choisissez peut avoir un impact sur les coûts de sortie réseau AWS et sur les coûts Amazon S3. Elle peut également influer sur les efforts à déployer et les ressources à mobiliser pour provisionner et configurer l'infrastructure. Pour en savoir plus sur les coûts, consultez les pages suivantes :
- Comprendre les frais de transfert de données, dans la documentation AWS
- Tarifs d'Amazon S3
Lorsque vous migrez des données depuis Amazon S3 vers Cloud Storage, nous vous recommandons d'utiliser VPC Service Controls pour créer un périmètre ; celui-ci va interdire explicitement la communication entre les services Google Cloud, sauf si ces services sont autorisés.
Optimiser votre environnement après la migration
L'optimisation est la dernière phase de votre migration. Au cours de cette phase, vous effectuez des itérations sur les tâches d'optimisation jusqu'à ce que votre environnement réponde à vos exigences d'optimisation. Les étapes de cette itération sont les suivantes :
- Évaluer votre environnement actuel et vos équipes
- Définir vos exigences et vos objectifs d'optimisation
- Optimiser votre environnement et vos équipes
- Ajuster votre processus d'optimisation
Vous devez répéter cette séquence jusqu'à ce que vous ayez atteint vos objectifs d'optimisation.
Pour en savoir plus sur l'optimisation de votre environnement Google Cloud, consultez la page Migrer vers Google Cloud : optimiser votre environnement.
Étapes suivantes
- Découvrez comment migrer depuis Amazon EC2 vers Compute Engine.
- Découvrez d'autres parcours de migration d'AWS vers Google Cloud.
- Découvrez comment comparer les services AWS et Azure aux services Google Cloud.
- Découvrez à quel moment obtenir de l'aide pour vos migrations.
- Découvrez des architectures de référence, des schémas et des bonnes pratiques concernant Google Cloud. Consultez notre Centre d'architecture cloud.