Créer et gérer des transferts de données à l'aide de la console

Cette page explique comment utiliser Google Cloud Console pour configurer et gérer des tâches de transfert. Pour utiliser le service de transfert de stockage de façon automatisée, consultez les pages Créer un client de service de transfert de stockage pour une bibliothèque d'API Google et Créer et gérer des transferts de façon automatisée.

Avant de commencer

Avant de pouvoir configurer des tâches de transfert dans le service de transfert de stockage, assurez-vous que vous disposez des accès nécessaires :

  • Accès au service de transfert de stockage : l'un des rôles suivants doit vous être attribué :

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Un rôle personnalisé incluant, au minimum, les autorisations roles/storagetransfer.user

      Pour en savoir plus sur l'ajout et la visualisation des autorisations au niveau du projet, consultez la page Utiliser des autorisations Cloud IAM.

    Pour en savoir plus sur les rôles et les autorisations IAM dans le service de transfert de stockage, consultez la page Contrôle d'accès à l'aide de rôles et d'autorisations IAM.

  • Accès à la source et au récepteur : le service de transfert de stockage utilise un compte de service pour effectuer des transferts. Pour accéder à la source et au récepteur de données, ce compte de service doit disposer des autorisations d'accès à la source et des autorisations d'accès au récepteur.

Configurer une tâche de transfert

  1. Ouvrez la page "Transfert" dans Google Cloud Console.

    Ouvrir la page Transfert

  2. Cliquez sur Créer une tâche de transfert.

    Pour obtenir des consignes de configuration, sélectionnez un onglet ci-dessous. Les étapes varient selon que votre source est un bucket Cloud Storage, un bucket Amazon S3, un blob Microsoft Azure Storage ou une liste d'URL.

Cloud Storage

  1. Sous Sélectionner une source, sélectionnez Bucket Google Cloud Storage.

  2. Dans la zone de texte Bucket Cloud Storage, saisissez le nom du bucket source (sans le préfixe gs://) ou accédez au bucket et sélectionnez-le.

    Pour spécifier un bucket Cloud Storage d'un autre projet, saisissez le nom exact dans la zone de texte Bucket Cloud Storage.

  3. Pour spécifier un sous-ensemble de fichiers dans la source, cliquez sur Spécifier des filtres de fichiers sous le champ du bucket. Vous pouvez inclure ou exclure des fichiers en fonction du préfixe du nom de fichier et de l'âge du fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.

  4. Sous Sélectionner une destination, choisissez un bucket récepteur ou créez-en un.

    Pour choisir un bucket existant, saisissez son nom (sans le préfixe gs://) ou cliquez sur Parcourir pour y accéder.

    Pour transférer des fichiers dans un nouveau bucket, cliquez sur Parcourir, puis sur l'icône Nouveau bucket.

  5. Activez les options d'écrasement ou de suppression si nécessaire.

    Par défaut, le service de transfert de stockage n'écrase un objet que lorsque la version de la source est différente de la version du récepteur. Aucun autre objet n'est écrasé ou supprimé. Activez les autres options d'écrasement ou de suppression sous Options de transfert. Pour en savoir plus sur ces options, consultez la section TransferOptions dans la documentation de référence de l'API.

  6. Sous Configurer le transfert, planifiez la tâche de transfert en choisissant Exécuter (une fois) ou Exécution quotidienne à une heure définie dans votre fuseau horaire local.

  7. [Facultatif] Modifiez le nom de la tâche de transfert sous Description. Utilisez un nom descriptif unique pour identifier votre tâche de transfert ultérieurement.

  8. Cliquez sur Créer.

Amazon S3

  1. Sous Sélectionner une source, sélectionnez Bucket Amazon S3.

  2. Dans la zone de texte Bucket Amazon S3, spécifiez le nom du bucket source Amazon S3.

    Le nom du bucket est celui qui apparaît dans AWS Management Console.

  3. Dans les zones de texte respectives, saisissez l'ID de clé d'accès et la clé secrète associés au bucket Amazon S3.

  4. Pour spécifier un sous-ensemble de fichiers dans la source, cliquez sur Spécifier des filtres de fichiers sous le champ du bucket. Vous pouvez inclure ou exclure des fichiers en fonction du préfixe du nom de fichier et de l'âge du fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.

  5. Sous Sélectionner une destination, choisissez un bucket récepteur ou créez-en un.

    Pour choisir un bucket existant, saisissez son nom (sans le préfixe gs://) ou cliquez sur Parcourir pour y accéder.

    Pour transférer des fichiers dans un nouveau bucket, cliquez sur Parcourir, puis sur l'icône Nouveau bucket.

  6. Activez les options d'écrasement ou de suppression si nécessaire.

    Par défaut, la tâche de transfert n'écrase un objet que lorsque la version de la source est différente de la version du récepteur. Aucun autre objet n'est écrasé ou supprimé. Activez les autres options d'écrasement ou de suppression sous Options de transfert. Pour en savoir plus sur ces options, consultez la section TransferOptions dans la documentation de référence de l'API.

  7. Sous Configurer le transfert, planifiez la tâche de transfert en choisissant Exécuter (une fois) ou Exécution quotidienne à l'heure locale que vous avez définie.

  8. [Facultatif] Modifiez le nom de la tâche de transfert sous Description. Utilisez un nom descriptif unique pour identifier votre tâche de transfert ultérieurement.

  9. Cliquez sur Créer.

Microsoft Azure Blob Storage

  1. Sous Sélectionner une source, sélectionnez Conteneur Microsoft Azure Storage.

  2. Renseignez les champs suivants :

    1. Nom du compte de stockage — le nom du compte Microsoft Azure Storage source.

      Le nom du compte de stockage s'affiche sur le portail Microsoft Azure Storage sous All services > Storage > Storage accounts (Tous les services > Stockage > Comptes de stockage).

    2. Nom du conteneur — le nom du conteneur Microsoft Azure Storage.

      Le nom du conteneur s'affiche sur le portail Microsoft Azure Storage sous Storage Explorer > Blob Containers (Explorateur de stockage > Conteneurs d'objets blob).

    3. Signature d'accès partagé (SAP) — le jeton SAP Microsoft Azure Storage créé à partir d'une règle d'accès stockée. Pour en savoir plus, consultez la section Accorder un accès limité aux ressources Azure Storage à l'aide de signatures d'accès partagé (SAP).

      Le délai d'expiration par défaut pour les jetons SAP est de 8 heures. Lorsque vous créez votre jeton SAP, veillez à définir une durée d'expiration raisonnable vous permettant de finaliser votre transfert.
  3. (Facultatif) Spécifiez les filtres de fichiers pour votre transfert en cliquant sur Specify file filters (Spécifier des filtres de fichiers).

Liste d'URL

  1. Sous Sélectionner une source, sélectionnez Liste d'URL d'objets.

  2. Sous URL du fichier TSV, spécifiez l'URL d'un fichier de valeurs séparées par des tabulations (TSV), puis cliquez sur Continuer. Pour en savoir plus sur la création d'un fichier TSV, consultez la page Créer une liste d'URL.

  3. Sous Sélectionner une destination, choisissez un bucket récepteur ou créez-en un.

    Pour choisir un bucket existant, saisissez son nom (sans le préfixe gs://) ou cliquez sur Parcourir pour y accéder.

    Pour transférer des fichiers dans un nouveau bucket, cliquez sur Parcourir, puis sur l'icône Nouveau bucket.

  4. Activez les options d'écrasement ou de suppression si nécessaire.

    Par défaut, la tâche de transfert n'écrase un objet que lorsque la version de la source est différente de la version du récepteur. Aucun autre objet n'est écrasé ou supprimé. Activez les autres options d'écrasement ou de suppression sous Options de transfert. Pour en savoir plus sur ces options, consultez la section TransferOptions dans la documentation de référence de l'API.

  5. Sous Configurer le transfert, planifiez la tâche de transfert en choisissant Exécuter (une fois) ou Exécution quotidienne à l'heure locale que vous avez définie.

  6. [Facultatif] Modifiez le nom de la tâche de transfert sous Description. Utilisez un nom descriptif unique pour identifier votre tâche de transfert ultérieurement.

  7. Cliquez sur Créer.

Données locales

Le service de transfert de stockage vous permet de transférer des données en ligne dans Cloud Storage. Pour synchroniser les buckets Cloud Storage avec les données locales, utilisez gsutil rsync.

Modifier une tâche de transfert

Vous pouvez modifier la configuration d'une tâche de transfert uniquement s'il s'agit :

  • d'une tâche de transfert récurrente qui n'est pas interrompue ;
  • d'une tâche de transfert ponctuelle dont l'exécution n'a pas encore commencé.

Si l'une de ces conditions est vraie, modifiez la configuration comme suit :

  1. Ouvrez la page "Transfert" dans Google Cloud Console.

    Ouvrir la page Transfert

  2. Cliquez sur le nom d'une tâche de transfert pour obtenir ses détails.

  3. Sélectionnez Modifier la configuration et suivez les instructions décrites à la section Configurer une tâche de transfert.

    Les modifications apportées à une tâche de transfert récurrente en cours d'exécution prennent effet lors de la prochaine exécution planifiée de cette tâche.

Afficher l'historique d'une tâche de transfert

  1. Ouvrez la page "Transfert" dans Google Cloud Console.

    Ouvrir la page Transfert

  2. Cliquez sur le nom d'une tâche de transfert pour obtenir ses détails.

  3. Sélectionnez l'onglet Opérations.

  4. Dans la liste des entrées, cliquez sur la date de début d'une opération de transfert pour en afficher les détails, ainsi que les erreurs éventuelles.

    Les tâches de transfert ponctuelles ne s'exécutant qu'une seule fois, l'historique des opérations de transfert ne comportera qu'une seule entrée.

Suspendre ou annuler une opération de transfert en cours d'exécution

Pour suspendre ou annuler une opération de transfert en cours d'exécution :

  1. Ouvrez la page "Transfert" dans Google Cloud Console.

    Ouvrir la page Transfert

  2. Cliquez sur le nom d'une tâche de transfert pour obtenir ses détails.

  3. Sélectionnez l'onglet Opérations.

    Dans la liste des entrées, les opérations de transfert actives sont identifiables par les boutons "Pause" (||) et "Annuler" (X) affichés à droite de la colonne d'état.

  4. Cliquez sur le bouton "Pause" pour suspendre temporairement l'opération de transfert en question ou sur le bouton "Annuler" pour l'annuler définitivement.

  5. Si vous mettez en pause une opération de transfert, cliquez sur le bouton "Reprendre" (►) pour poursuivre l'exécution.

    Si vous annulez une opération de transfert, une fenêtre de confirmation apparaît. Cliquez sur Annuler le transfert pour confirmer la demande d'annulation.

Supprimer une tâche de transfert planifiée ou récurrente

  1. Ouvrez la page "Transfert" dans Google Cloud Console.

    Ouvrir la page Transfert

  2. Cochez la case de la tâche de transfert à supprimer.

  3. Cliquez sur Supprimer, au-dessus de la liste des tâches de transfert.

  4. Cliquez sur OK dans la fenêtre de confirmation qui s'affiche.

Sélectionner des objets sources à transférer

Le service de transfert de stockage inclut des préfixes que vous pouvez utiliser pour sélectionner les fichiers à inclure ou à exclure de la source de données. En général, on peut considérer que les préfixes servent à limiter les objets à transférer. Vous avez la possibilité de n'utiliser que des préfixes d'inclusion, que des préfixes d'exclusion ou les deux. Les consignes suivantes s'appliquent aux sources de données Amazon S3, Microsoft Azure Blob Storage et Cloud Storage.

  • N'incluez pas de barre oblique au début d'un préfixe. Par exemple, pour inclure l'objet requests.gz dans un transfert depuis le chemin d'accès au bucket s3://my-aws-bucket/logs/y=2015/requests.gz, spécifiez le préfixe d'inclusion logs/y=2015/requests.gz.

  • Si vous utilisez les préfixes d'inclusion et d'exclusion ensemble, les préfixes d'exclusion doivent commencer par la valeur de l'un des préfixes d'inclusion. Par exemple, si vous spécifiez le préfixe d'inclusion a, les préfixes d'exclusion valides sont a/b, aaa et abc.

  • Si vous n'utilisez que des préfixes d'exclusion, il n'existe aucune restriction quant aux préfixes que vous pouvez utiliser.

  • Si vous ne spécifiez aucun préfixe, tous les objets du bucket seront transférés.

  • Ne spécifiez pas de chemin d'accès pour le nom de la source de données ou du bucket récepteur. Par exemple, s3://my-aws-bucket et gs://example-bucket sont valides, mais s3://my-aws-bucket/subfolder ou gs://example-bucket/files ne le sont pas. Pour inclure des chemins d'accès, utilisez les préfixes d'inclusion et d'exclusion.

  • Le service de transfert de stockage n'est pas compatible avec le remappage. En d'autres termes, vous ne pouvez pas copier le chemin d'accès files/2015 de la source de données dans le chemin files/2016 du récepteur de données.

Pour en savoir plus sur l'utilisation des préfixes d'inclusion et d'exclusion, consultez la description des champs includePrefixes et excludePrefixes dans l'API.

Pour plus d'informations générales sur les préfixes, consultez la page Liste hiérarchique de clés grâce au préfixe et au délimiteur dans la documentation d'Amazon S3 ou la méthode de création d'une liste d'objets pour Cloud Storage.

Créer un utilisateur IAM pour Amazon S3

Ces étapes donnent un aperçu du processus de création des identifiants Amazon S3 pouvant être utilisés pour transférer des données d'un bucket Amazon S3 vers un bucket Cloud Storage. Pour en savoir plus, consultez les pages Créer un utilisateur IAM dans votre compte AWS et Exemples de stratégie de bucket.

  1. Créez un utilisateur dans la console AWS Identity and Access Management.

  2. Notez les identifiants d'accès ou téléchargez-les.

    Les identifiants téléchargés contiennent le nom d'utilisateur, l'ID de clé d'accès et la clé d'accès secrète. Lorsque vous configurez une tâche de transfert dans Cloud Storage, vous n'avez besoin que de l'ID de clé d'accès et de la clé d'accès secrète.

  3. Associez une règle gérée à l'utilisateur IAM, comprenant les autorisations nécessaires pour effectuer un transfert.

    Si la tâche de transfert est configurée pour supprimer des objets sources, associez la règle AmazonS3FullAccess. Sinon, associez la règle AmazonS3ReadyOnlyAccess. Par exemple, la règle gérée AmazonS3FullAccess associée à un utilisateur via la console IAM est la suivante :

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. (Facultatif) Créez une règle plus restrictive que les règles gérées.

    Il peut s'agir, par exemple, d'une règle qui limite l'accès au bucket Amazon S3 uniquement. Pour en savoir plus, consultez la page Exemples de stratégie de bucket.

Étape suivante

Découvrez comment travailler avec Cloud Storage.