Migrer depuis AWS vers Google Cloud : migrer depuis Amazon S3 vers Cloud Storage

Last reviewed 2023-05-19 UTC

Google Cloud fournit des outils, des produits, des conseils et des services professionnels pour vous aider à migrer des données depuis Amazon Simple Storage Service (Amazon S3) vers Cloud Storage. Ce document explique comment concevoir, mettre en œuvre et valider un plan de migration depuis Amazon S3 vers Cloud Storage. Ce document décrit une partie du processus de migration global dans lequel vous créez un inventaire d'artefacts Amazon S3 et créez un plan pour gérer le processus de migration.

Ce document est destiné aux administrateurs cloud qui souhaitent en savoir plus sur la planification et la mise en œuvre d'un processus de migration. Il s'adresse également aux décisionnaires qui évaluent l'opportunité d'effectuer une migration et qui souhaitent découvrir en quoi elle pourrait consister.

Ce document fait partie d'une série d'articles sur la migration depuis AWS vers Google Cloud, qui comprend les documents suivants :

Cette série suppose que vous avez lu et que vous connaissez les documents suivants :

Le diagramme suivant illustre les différentes phases de votre parcours de migration. Dans les scénarios de migration, la phase de déploiement correspond à l'exécution à proprement parler du processus de migration.

Chemin de migration en quatre phases

Vous pouvez migrer depuis Amazon S3 vers Cloud Storage dans une série d'itérations. Par exemple, vous pouvez commencer par migrer certaines données et charges de travail, et d'autres ultérieurement. Pour chaque itération de migration distincte, vous suivez les phases du framework de migration général :

  1. Évaluer et découvrir vos charges de travail et vos données
  2. Planifier et établir vos fondations sur Google Cloud
  3. Migrer vos charges de travail et vos données vers Google Cloud
  4. Optimiser votre environnement Google Cloud

Pour en savoir plus sur les phases de ce framework, consultez la page Migrer vers Google Cloud : premiers pas.

Évaluer l'environnement source

Au cours de la phase d'évaluation, vous déterminez les exigences et les dépendances des ressources que vous souhaitez migrer depuis Amazon S3 vers Cloud Storage.

La phase d'évaluation comprend les tâches suivantes :

  1. Dresser un inventaire complet de vos charges de travail et de vos données
  2. Cataloguer vos charges de travail et vos données en fonction de leurs propriétés et de leurs dépendances
  3. Former et préparer vos équipes sur Google Cloud
  4. Créer des tests et des démonstrations de faisabilité sur Google Cloud
  5. Calculer le coût total de possession (TCO) de l'environnement cible
  6. Déterminer l'ordre et la priorité des charges de travail que vous souhaitez migrer

Pour en savoir plus sur la phase d'évaluation et sur ces tâches, consultez la page Migrer vers Google Cloud : évaluer et découvrir vos charges de travail. Les sections suivantes sont basées sur les informations de ce document.

Dresser un inventaire de vos buckets Amazon S3

Pour définir la portée de votre migration, vous devez créer deux inventaires : un inventaire de vos buckets Amazon S3 et un inventaire des objets stockés dans ces buckets.

Pour créer l'inventaire de vos buckets Amazon S3, nous vous recommandons d'utiliser le Centre de migration, la plate-forme unifiée de Google Cloud qui vous aide à accélérer votre transition cloud de bout en bout, de votre environnement actuel vers Google Cloud. Migration Center vous permet d'importer des données à partir d'Amazon S3 et d'autres ressources AWS. Migration Center recommande ensuite des services Google Cloud pertinents vers lesquels vous pouvez migrer.

Après avoir créé l'inventaire de vos buckets Amazon S3, affinez l'inventaire en tenant compte des points de données suivants pour chaque bucket Amazon S3 :

  • La façon dont vous avez configuré le chiffrement côté serveur du bucket Amazon S3.
  • Vos paramètres pour la gestion de l'authentification et des accès dans le bucket Amazon S3.
  • La configuration du blocage de l'accès public pour le bucket S3.
  • Tous les tags d'allocation de coûts pour les buckets Amazon S3.
  • La Configuration du verrouillage d'objet dans le bucket S3.
  • La façon dont vous accédez au bucket Amazon S3.
  • La manière dont vous avez configuré les paiements par le demandeur.
  • Les paramètres de la gestion des versions des objets dans Amazon S3.
  • La configuration des règles de sauvegarde AWS pour Amazon S3.
  • Si vous utilisez ou non la hiérarchisation intelligente d'Amazon S3.
  • La façon dont vous avez configuré la réplication d'objets dans Amazon S3.
  • Le cycle de vie des objets dans Amazon S3.

Nous vous recommandons également de collecter des données sur vos buckets Amazon S3, qui vous permettent de calculer des statistiques globales sur les objets qu'ils contiennent. Par exemple, si vous collectez la taille totale des objets, leur taille moyenne et leur nombre, cela peut vous aider à estimer le temps et le coût nécessaires pour effectuer une migration depuis un bucket Amazon S3 vers un bucket Cloud Storage.

Pour collecter ces points de données concernant vos buckets Amazon S3, vous pouvez mettre en œuvre des mécanismes et des processus de collecte de données basés sur des outils AWS, tels que les suivants :

  • Outils de surveillance Amazon S3
  • Analyses Amazon S3
  • API AWS
  • Outils pour les développeurs AWS
  • Interface de ligne de commande AWS

Pour vous aider à éviter les problèmes lors de la migration et à estimer les efforts nécessaires à celle-ci, nous vous recommandons d'évaluer les similitudes entre les caractéristiques des buckets Amazon S3 et celles des buckets Cloud Storage. Le tableau suivant récapitule ce comparatif.

Caractéristique Amazon S3 Caractéristique Cloud Storage
Règles de dénomination des buckets Exigences relatives aux noms de buckets
Emplacement des buckets Emplacement du bucket
Chiffrement côté serveur Options de chiffrement
Gestion de l'authentification et des accès Identity and Access Management (IAM)
Accès public Accès public aux données
Protection contre l'accès public
Tags des buckets S3 pour l'allocation des coûts Tags et libellés
Verrouillage d'objet S3 Règles de conservation et verrouillage de règles de conservation
Méthodes d'accès à un bucket Amazon S3 Importations et téléchargements
Paiements par le demandeur Paiements par le demandeur
Gestion des versions des objets Gestion des versions des objets
Règles de sauvegarde AWS pour Amazon S3 Jobs de transfert basés sur des événements
Hiérarchisation intelligente Classe automatique
Réplication d'objets Réplication birégionale
Réplication turbo
Jobs de transfert basés sur des événements
Cycle de vie des objets Gestion du cycle de vie des objets

Comme indiqué précédemment, les caractéristiques listées dans le tableau précédent peuvent sembler similaires lorsque vous les comparez l'une à l'autre. Cependant, les différences de conception et de mise en œuvre des caractéristiques entre les deux fournisseurs cloud peuvent avoir des répercussions significatives sur votre migration depuis Amazon S3 vers Cloud Storage.

Dresser un inventaire des objets stockés dans vos objets Amazon S3

Après avoir créé l'inventaire de vos buckets Amazon S3, nous vous recommandons d'utiliser cet inventaire Amazon S3 pour dresser un inventaire des objets qu'ils contiennent.

Pour créer l'inventaire de vos objets Amazon S3, tenez compte des points suivants pour chaque objet :

  • Nom de l'objet Amazon S3
  • Taille de l'objet Amazon S3
  • Métadonnées de l'objet Amazon S3
  • Sous-ressources de l'objet Amazon S3
  • Versions d'objet Amazon S3, et si vous devez ou non effectuer la migration de ces versions
  • URL présignées de l'objet Amazon S3
  • Transformations de l'objet Amazon S3
  • Tags de l'objet Amazon S3
  • Classes de stockage de l'objet Amazon S3
  • Archivage de l'objet Amazon S3

Nous vous recommandons également de collecter des données sur vos objets Amazon S3 afin de comprendre la fréquence à laquelle vous, ainsi que vos charges de travail, définissez des créations, des mises à jour et des suppressions d'objets Amazon S3.

Pour vous aider à éviter les problèmes lors de la migration et à estimer les efforts nécessaires à celle-ci, nous vous recommandons d'évaluer les similitudes entre les caractéristiques des objets Amazon S3 et celles des objets Cloud Storage. Le tableau suivant récapitule ce comparatif.

Caractéristique Amazon S3 Caractéristique Cloud Storage
Règles de dénomination des objets Exigences relatives aux noms d'objet
Métadonnées d'objet
Tags d'objet
Métadonnées des objets
Sous-ressources d'objet Métadonnées des objets
URL présignées des objets URL signées
Transformations d'objets Notifications Pub/Sub pour Cloud Storage
Cloud Functions
Cloud Run
Classes de stockage d'objets
Archivage d'objets
Classes de stockage Cloud Storage

Comme indiqué précédemment, les caractéristiques listées dans le tableau précédent peuvent sembler similaires lorsque vous les comparez l'une à l'autre. Cependant, les différences de conception et de mise en œuvre des caractéristiques entre les deux fournisseurs cloud peuvent avoir des répercussions significatives sur votre migration depuis Amazon S3 vers Cloud Storage.

Terminer l'évaluation

Après avoir créé les inventaires liés à votre environnement Amazon S3, effectuez les autres étapes de la phase d'évaluation décrites dans la page Migrer vers Google Cloud : évaluer et découvrir vos charges de travail.

Planifier et établir vos fondations

La phase de planification et de création de votre migration vers Google Cloud comprend les tâches suivantes :

  1. Créez une hiérarchie de ressources.
  2. Configurez la gestion de l'authentification et des accès.
  3. Configurez la facturation.
  4. Configurez la connectivité réseau.
  5. Renforcez votre sécurité.
  6. Configurer la journalisation, la surveillance et les alertes

Pour en savoir plus sur chacune de ces tâches, consultez la page Migrer vers Google Cloud : établir vos fondations.

Migrer des données et des charges de travail depuis Amazon S3 vers Cloud Storage

Pour migrer des données depuis Amazon S3 vers Cloud Storage, nous vous recommandons de concevoir un plan de migration de données en suivant les instructions de la page Migrer vers Google Cloud : transférer vos ensembles de données volumineux. Ce document recommande d'utiliser le service de transfert de stockage, un produit Google Cloud qui vous permet de migrer des données depuis plusieurs sources vers Cloud Storage, par exemple depuis des environnements sur site ou d'autres fournisseurs de stockage dans le cloud. Le service de transfert de stockage accepte plusieurs types de jobs de transfert de données, tels que les suivants :

  • Les jobs de transfert ponctuels, qui transfèrent des données depuis Amazon S3 ou d'autres sources compatibles vers Cloud Storage, selon une approche à la demande.
  • Les jobs de transfert planifiés, qui transfèrent des données depuis Amazon S3 ou d'autres sources compatibles vers Cloud Storage, de manière planifiée.
  • Les jobs de transfert basés sur des événements, qui transfèrent automatiquement des données lorsqu'Amazon S3 envoie des notifications d'événement Amazon S3 au service Amazon Simple Queue Service (SQS).

Pour mettre en œuvre un plan de migration de données, vous pouvez configurer un ou plusieurs jobs de transfert de données. Par exemple, pour réduire la durée des intervalles de basculement lors de la migration, vous pouvez mettre en œuvre une stratégie de migration de données de réplication continue, en procédant comme suit :

  1. Configurez un job de transfert ponctuel afin de copier des données depuis un bucket Amazon S3 vers le bucket Cloud Storage.
  2. Effectuez des vérifications de cohérence et de validation des données afin de comparer les données du bucket Amazon S3 avec les données copiées dans le bucket Cloud Storage.
  3. Configurez des jobs de transfert basés sur des événements afin de transférer automatiquement des données depuis le bucket Amazon S3 vers le bucket Cloud Storage, lorsque le contenu du bucket Amazon S3 est modifié.
  4. Arrêtez les charges de travail et les services ayant accès aux données en cours de migration (c'est-à-dire les données concernées par l'étape précédente).
  5. Refactorisez les charges de travail afin d'utiliser Cloud Storage, et non plus Amazon S3. Vous pouvez refactoriser vos charges de travail soit en utilisant l'une des approches suivantes, soit en les appliquant l'une après l'autre :

  6. Attendez que la réplication synchronise entièrement Cloud Storage avec Amazon S3.

  7. Démarrez vos charges de travail.

  8. Lorsque vous n'avez plus besoin de votre environnement Amazon S3 comme option de secours, supprimez-le.

Le service de transfert de stockage peut conserver certaines métadonnées lorsque vous migrez des objets depuis une source compatible vers Cloud Storage. Nous vous recommandons d'évaluer si le service de transfert de stockage peut migrer les métadonnées Amazon S3 qui vous intéressent.

Lorsque vous concevez votre plan de migration de données, nous vous recommandons également d'évaluer les coûts de sortie réseau AWS et vos coûts Amazon S3. Par exemple, considérons les options suivantes pour un transfert de données :

  • Sur l'Internet public
  • En utilisant une liaison d'interconnexion
  • En utilisant Amazon CloudFront

L'option que vous choisissez peut avoir un impact sur les coûts de sortie réseau AWS et sur les coûts Amazon S3. Elle peut également influer sur les efforts à déployer et les ressources à mobiliser pour provisionner et configurer l'infrastructure. Pour en savoir plus sur les coûts, consultez les pages suivantes :

Lorsque vous migrez des données depuis Amazon S3 vers Cloud Storage, nous vous recommandons d'utiliser VPC Service Controls pour créer un périmètre ; celui-ci va interdire explicitement la communication entre les services Google Cloud, sauf si ces services sont autorisés.

Optimiser votre environnement après la migration

L'optimisation est la dernière phase de votre migration. Au cours de cette phase, vous effectuez des itérations sur les tâches d'optimisation jusqu'à ce que votre environnement réponde à vos exigences d'optimisation. Les étapes de cette itération sont les suivantes :

  1. Évaluer votre environnement actuel et vos équipes
  2. Définir vos exigences et vos objectifs d'optimisation
  3. Optimiser votre environnement et vos équipes
  4. Ajuster votre processus d'optimisation

Vous devez répéter cette séquence jusqu'à ce que vous ayez atteint vos objectifs d'optimisation.

Pour en savoir plus sur l'optimisation de votre environnement Google Cloud, consultez la page Migrer vers Google Cloud : optimiser votre environnement.

Étapes suivantes