Créer et gérer des transferts de données à l'aide de la console

Cette page vous explique comment utiliser la console Google Cloud Platform pour configurer et gérer des tâches de transfert. Pour utiliser le service de transfert de stockage de façon automatisée, consultez les pages Créer un client de service de transfert de stockage pour une bibliothèque d'API Google et Créer et gérer des transferts de façon automatisée.

Avant de commencer

Avant de pouvoir configurer des tâches de transfert dans la console GCP, assurez-vous de disposer des accès nécessaires :

  • Accès à Cloud Storage : vous devez être le propriétaire ou le collaborateur du projet qui gère le transfert de données. Ce projet ne doit pas nécessairement être associé à la source ou au récepteur.

    Pour obtenir un guide par étapes sur l'ajout et la visualisation des autorisations au niveau du projet, consultez la page Utiliser des autorisations Cloud IAM.

  • Accès à la source et au récepteur : le service de transfert de stockage utilise un compte de service pour effectuer des transferts. Pour accéder à la source et au récepteur de données, ce compte de service doit disposer des autorisations d'accès à la source et des autorisations d'accès au récepteur.

Configurer une tâche de transfert

  1. Ouvrez la page "Transfert" dans la console Google Cloud Platform.

    Ouvrir la page Transfert

  2. Cliquez sur Créer une tâche de transfert.

    Pour obtenir des consignes de configuration, sélectionnez un onglet ci-dessous. Les étapes varient selon que votre source est un bucket Cloud Storage, un bucket Amazon S3 ou une liste d'URL.

Google Cloud Storage

  1. Sous Sélectionner une source, sélectionnez Bucket Google Cloud Storage.

  2. Dans la zone de texte Bucket Cloud Storage, saisissez le nom du bucket source (sans le préfixe gs://) ou accédez au bucket et sélectionnez-le.

  3. Pour spécifier un sous-ensemble de fichiers dans la source, cliquez sur Spécifier des filtres de fichiers sous le champ du bucket. Vous pouvez inclure ou exclure des fichiers en fonction du préfixe du nom de fichier et de l'âge du fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.

  4. Sous Sélectionner une destination, choisissez un bucket récepteur ou créez-en un.

    Pour choisir un bucket existant, saisissez son nom (sans le préfixe gs://) ou cliquez sur Parcourir pour y accéder.

    Pour transférer des fichiers dans un nouveau bucket, cliquez sur Parcourir, puis sur l'icône Nouveau bucket.

  5. Activez les options d'écrasement ou de suppression si nécessaire.

    Par défaut, le service de transfert de stockage n'écrase un objet que lorsque la version de la source est différente de la version du récepteur. Aucun autre objet n'est écrasé ou supprimé. Activez les autres options d'écrasement ou de suppression sous Options de transfert. Pour en savoir plus sur ces options, consultez TransferOptions dans la documentation de référence sur les API.

  6. Sous Configurer le transfert, planifiez la tâche de transfert en choisissant Exécuter (une fois) ou Exécution quotidienne à une heure définie dans votre fuseau horaire local.

  7. [Facultatif] Modifiez le nom de la tâche de transfert sous Description. Utilisez un nom descriptif unique pour identifier votre tâche de transfert ultérieurement.

  8. Cliquez sur Créer.

Amazon S3

  1. Sous Sélectionner une source, sélectionnez Bucket Amazon S3.

  2. Dans la zone de texte Bucket Amazon S3, spécifiez le nom du bucket source Amazon S3.

    Le nom du bucket est celui qui apparaît dans AWS Management Console.

  3. Dans les zones de texte respectives, saisissez l'ID de clé d'accès et la clé secrète associés au bucket Amazon S3.

  4. Pour spécifier un sous-ensemble de fichiers dans la source, cliquez sur Spécifier des filtres de fichiers sous le champ du bucket. Vous pouvez inclure ou exclure des fichiers en fonction du préfixe du nom de fichier et de l'âge du fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.

  5. Sous Sélectionner une destination, choisissez un bucket récepteur ou créez-en un.

    Pour choisir un bucket existant, saisissez son nom (sans le préfixe gs://) ou cliquez sur Parcourir pour y accéder.

    Pour transférer des fichiers dans un nouveau bucket, cliquez sur Parcourir, puis sur l'icône Nouveau bucket.

  6. Activez les options d'écrasement ou de suppression si nécessaire.

    Par défaut, la tâche de transfert n'écrase un objet que lorsque la version de la source est différente de la version du récepteur. Aucun autre objet n'est écrasé ou supprimé. Activez les autres options d'écrasement ou de suppression sous Options de transfert. Pour en savoir plus sur ces options, consultez TransferOptions dans la documentation de référence sur les API.

  7. Sous Configurer le transfert, planifiez la tâche de transfert en choisissant Exécuter (une fois) ou Exécution quotidienne à l'heure locale que vous avez définie.

  8. [Facultatif] Modifiez le nom de la tâche de transfert sous Description. Utilisez un nom descriptif unique pour identifier votre tâche de transfert ultérieurement.

  9. Cliquez sur Créer.

Liste d'URL

  1. Sous Sélectionner une source, sélectionnez Liste d'URL d'objets.

  2. Sous URL du fichier TSV, spécifiez l'URL d'un fichier de valeurs séparées par des tabulations (TSV), puis cliquez sur Continuer. Pour en savoir plus sur la création d'un fichier TSV, consultez la page Créer une liste d'URL.

  3. Sous Sélectionner une destination, choisissez un bucket récepteur ou créez-en un.

    Pour choisir un bucket existant, saisissez son nom (sans le préfixe gs://) ou cliquez sur Parcourir pour y accéder.

    Pour transférer des fichiers dans un nouveau bucket, cliquez sur Parcourir, puis sur l'icône Nouveau bucket.

  4. Activez les options d'écrasement ou de suppression si nécessaire.

    Par défaut, la tâche de transfert n'écrase un objet que lorsque la version de la source est différente de la version du récepteur. Aucun autre objet n'est écrasé ou supprimé. Activez les autres options d'écrasement ou de suppression sous Options de transfert. Pour en savoir plus sur ces options, consultez TransferOptions dans la documentation de référence sur les API.

  5. Sous Configurer le transfert, planifiez la tâche de transfert en choisissant Exécuter (une fois) ou Exécution quotidienne à l'heure locale que vous avez définie.

  6. [Facultatif] Modifiez le nom de la tâche de transfert sous Description. Utilisez un nom descriptif unique pour identifier votre tâche de transfert ultérieurement.

  7. Cliquez sur Créer.

Données locales

Le service de transfert de stockage vous permet de transférer des données en ligne dans Cloud Storage. Pour synchroniser les buckets Cloud Storage avec les données locales, utilisez gsutil rsync.

Modifier une tâche de transfert

Vous pouvez modifier la configuration d'une tâche de transfert uniquement s'il s'agit :

  • d'une tâche de transfert récurrente qui n'est pas interrompue ;
  • d'une tâche de transfert ponctuelle dont l'exécution n'a pas encore commencé.

Si l'une de ces conditions est vraie, modifiez la configuration comme suit :

  1. Ouvrez la page "Transfert" dans la console Google Cloud Platform.

    Ouvrir la page Transfert

  2. Cliquez sur le nom d'une tâche de transfert pour obtenir ses détails.

  3. Sélectionnez Modifier la configuration et suivez les instructions décrites à la section Configurer une tâche de transfert.

    Les modifications apportées à une tâche de transfert récurrente en cours d'exécution prennent effet lors de la prochaine exécution planifiée de cette tâche.

Afficher l'historique d'une tâche de transfert

  1. Ouvrez la page "Transfert" dans la console Google Cloud Platform.

    Ouvrir la page Transfert

  2. Cliquez sur le nom d'une tâche de transfert pour obtenir ses détails.

  3. Sélectionnez l'onglet Opérations.

  4. Dans la liste des entrées, cliquez sur la date de début d'une opération de transfert pour en afficher les détails, ainsi que les erreurs éventuelles.

    Les tâches de transfert ponctuelles ne s'exécutant qu'une seule fois, l'historique des opérations de transfert ne comportera qu'une seule entrée.

Suspendre ou annuler une opération de transfert en cours d'exécution

Pour suspendre ou annuler une opération de transfert en cours d'exécution :

  1. Ouvrez la page "Transfert" dans la console Google Cloud Platform.

    Ouvrir la page Transfert

  2. Cliquez sur le nom d'une tâche de transfert pour obtenir ses détails.

  3. Sélectionnez l'onglet Opérations.

    Dans la liste des entrées, les opérations de transfert actives sont identifiables par les boutons "Pause" (||) et "Annuler" (X) affichés à droite de la colonne d'état.

  4. Cliquez sur le bouton "Pause" pour suspendre temporairement l'opération de transfert en question ou sur le bouton "Annuler" pour l'annuler définitivement.

  5. Si vous mettez en pause une opération de transfert, cliquez sur le bouton "Reprendre" (►) pour poursuivre l'exécution.

    Si vous annulez une opération de transfert, une fenêtre de confirmation apparaît. Cliquez sur Annuler le transfert pour confirmer la demande d'annulation.

Supprimer une tâche de transfert planifiée ou récurrente

  1. Ouvrez la page "Transfert" dans la console Google Cloud Platform.

    Ouvrir la page Transfert

  2. Cochez la case de la tâche de transfert à supprimer.

  3. Cliquez sur Supprimer, au-dessus de la liste des tâches de transfert.

  4. Cliquez sur OK dans la fenêtre de confirmation qui s'affiche.

Sélectionner des objets sources à transférer

Le service de transfert de stockage inclut des préfixes que vous pouvez utiliser pour sélectionner les fichiers à inclure ou à exclure de la source de données. En général, on peut considérer que les préfixes servent à limiter les objets à transférer. Vous avez la possibilité de n'utiliser que des préfixes d'inclusion, que des préfixes d'exclusion ou les deux. Les consignes suivantes s'appliquent aux sources de données qui sont des buckets Amazon S3 (Amazon Simple Storage Service) et des buckets Cloud Storage.

  • N'incluez pas de barre oblique au début d'un préfixe. Par exemple, pour inclure l'objet requests.gz dans un transfert depuis le chemin d'accès de bucket s3://my-aws-bucket/logs/y=2015/requests.gz, spécifiez le préfixe d'inclusion logs/y=2015/requests.gz.

  • Si vous utilisez les préfixes d'inclusion et d'exclusion ensemble, les préfixes d'exclusion doivent commencer par la valeur de l'un des préfixes d'inclusion. Par exemple, si vous spécifiez le préfixe d'inclusion a, les préfixes d'exclusion valides sont a/b, aaa et abc.

  • Si vous n'utilisez que des préfixes d'exclusion, il n'existe aucune restriction quant aux préfixes que vous pouvez utiliser.

  • Si vous ne spécifiez aucun préfixe, tous les objets du bucket seront transférés.

  • Ne spécifiez pas de chemin d'accès pour le nom de la source de données ou du bucket récepteur. Par exemple, s3://my-aws-bucket et gs://example-bucket sont valides, mais s3://my-aws-bucket/subfolder ou gs://example-bucket/files ne le sont pas. Pour inclure des chemins d'accès, utilisez les préfixes d'inclusion et d'exclusion.

  • Le service de transfert de stockage n'est pas compatible avec le remappage. En d'autres termes, vous ne pouvez pas copier le chemin d'accès files/2015 de la source de données dans le chemin files/2016 du récepteur de données.

Pour en savoir plus sur l'utilisation des préfixes d'inclusion et d'exclusion, consultez la description des champs includePrefixes et excludePrefixes dans l'API.

Pour plus d'informations générales sur les préfixes, consultez la page Liste hiérarchique de clés grâce au préfixe et au délimiteur dans la documentation d'Amazon S3 ou la méthode de création d'une liste d'objets pour Cloud Storage.

Créer un utilisateur IAM pour Amazon S3

Ces étapes donnent un aperçu du processus de création des identifiants Amazon S3 pouvant être utilisés pour transférer des données d'un bucket Amazon S3 vers un bucket Cloud Storage. Pour en savoir plus, consultez les pages Créer un utilisateur IAM dans votre compte AWS et Exemples de stratégie de bucket.

  1. Créez un utilisateur dans la console AWS Identity and Access Management.

  2. Notez les identifiants d'accès ou téléchargez-les.

    Les identifiants téléchargés contiennent le nom d'utilisateur, l'ID de clé d'accès et la clé d'accès secrète. Lorsque vous configurez une tâche de transfert dans Cloud Storage, vous n'avez besoin que de l'ID de clé d'accès et de la clé d'accès secrète.

  3. Associez une règle gérée à l'utilisateur IAM, comprenant les autorisations nécessaires pour effectuer un transfert.

    Si la tâche de transfert est configurée pour supprimer des objets sources, associez la règle AmazonS3FullAccess. Sinon, associez la règle AmazonS3ReadyOnlyAccess. Par exemple, la règle gérée AmazonS3FullAccess associée à un utilisateur via la console IAM est la suivante :

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Vous pouvez éventuellement créer une règle plus restrictive que les règles gérées.

    Il peut s'agir, par exemple, d'une règle qui limite l'accès au bucket Amazon S3 uniquement. Pour en savoir plus, consultez la page Exemples de stratégie de bucket.

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Documentation sur le service de transfert de stockage Cloud Storage