Créer et gérer des transferts de données à l'aide de la console

Cette page explique comment utiliser Google Cloud Console pour configurer et gérer des tâches de transfert. Pour utiliser le service de transfert de stockage de façon automatisée, consultez les pages Créer un client de service de transfert de stockage et Créer et gérer des transferts de façon automatisée.

Avant de commencer

Effectuez les opérations suivantes avant de créer une tâche de transfert :

  1. Vérifiez que vous disposez d'un accès au service de transfert de stockage en vous assurant que l'un des rôles suivants vous est attribué :

    • roles/owner
    • roles/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Un rôle personnalisé incluant, au minimum, les autorisations roles/storagetransfer.user

      Pour en savoir plus sur l'ajout et la visualisation des autorisations au niveau du projet, consultez la page Utiliser des autorisations Cloud IAM.

    Pour en savoir plus, consultez la section Dépannage.

    Pour en savoir plus sur les rôles et les autorisations IAM dans le service de transfert de stockage, consultez la page Contrôle d'accès à l'aide de rôles et d'autorisations IAM.

  2. Configurez l'accès aux sources et aux récepteurs de données.

Transférer des données sur site

Nous vous proposons les solutions suivantes pour transférer des données sur site :

  • Pour les petits ensembles de données, vous pouvez utiliser gsutil rsync. Utilisez gsutil rsync pour transférer des données entre Cloud Storage et d'autres fournisseurs de stockage cloud, ou entre Cloud Storage et vos données sur site.

  • Pour les ensembles de données volumineux, vous pouvez utiliser le service de transfert des données sur site. Utilisez le service de transfert des données sur site pour transférer des données entre Cloud Storage et votre espace de stockage sur site.

    Pour en savoir plus, consultez les ressources suivantes :

Configurer une tâche de transfert

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur Créer une tâche de transfert.

  3. Choisissez une source :

    Cloud Storage

    Votre compte utilisateur doit disposer de l'autorisation storage.buckets.get pour sélectionner les buckets source et de destination. Vous pouvez également saisir directement le nom du bucket. Pour en savoir plus, consultez la page Résoudre les problèmes d'accès.

    1. Sous Type de source, sélectionnez Bucket Google Cloud Storage.

    2. Sélectionnez un bucket en effectuant l'une des opérations suivantes :

      • Saisissez un nom de bucket Cloud Storage existant dans le champ Nom du bucket sans le préfixe gs://. Pour spécifier un bucket Cloud Storage d'un autre projet, saisissez le nom exact dans le champ Nom du bucket.

      • Pour sélectionner une liste de buckets existants dans vos projets, cliquez sur Parcourir, puis sélectionnez un bucket.

        Lorsque vous cliquez sur Parcourir, vous pouvez sélectionner les buckets d'autres projets en cliquant sur l'ID du projet, puis en sélectionnant le nouvel ID de projet et le bucket.

      • Pour créer un bucket, cliquez sur  Créer un bucket.

    3. Facultatif : Pour ajouter des fichiers dans un chemin d'accès particulier, saisissez le chemin d'accès dans le champ Chemin d'accès au dossier.

    4. Facultatif : Pour inclure un sous-ensemble de fichiers dans la source, cliquez sur Ajouter un préfixe. Vous pouvez inclure des fichiers en fonction du préfixe du nom de fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.
    5. Facultatif : Pour appliquer d'autres filtres à votre transfert, cliquez sur Filtres avancés. Les éléments suivants s'affichent :
      • Exclure les fichiers commençant par : exclut les fichiers du transfert en fonction d'un préfixe de nom que vous spécifiez. Pour spécifier un préfixe, cliquez sur Ajouter un préfixe.
      • Inclure uniquement les derniers fichiers modifiés : inclut les fichiers dans le transfert en fonction de la date de la dernière modification avant le transfert.

        Vous pouvez spécifier une période absolue et une période relative. Une période relative commence à partir de l'heure de début du transfert.

    6. Cliquez sur Next step (Étape suivante).

    Amazon S3

    1. Sous Sélectionner une source, sélectionnez Bucket Amazon S3.

    2. Dans le champ Nom du bucket, saisissez le nom du bucket source.

      Le nom du bucket est celui qui apparaît dans AWS Management Console.

    3. Sélectionnez votre méthode d'authentification Amazon Web Services (AWS). Vous pouvez fournir une clé d'accès AWS ou un nom de ressource Amazon (ARN) pour la fédération d'identité:

      • Clé d'accès: saisissez votre clé d'accès dansID de clé d'accès et le secret associé à votre clé d'accès dans le champs Clé d'accès du secret.

      • ARN: saisissez votre ARN dans le champ AWS IAM role ARN avec la syntaxe suivante:

        arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
        

        Où :

        • ACCOUNT: ID du compte AWS sans tiret.
        • ROLE-NAME-WITH-PATH: nom du rôle AWS incluant le chemin d'accès.

        Pour en savoir plus sur les ARN, consultez la page ARN d'IAM.

      Pour en savoir plus sur les clés d'accès Amazon, consultez la page Créer des clés d'accès Amazon S3.

    4. Cliquez sur Next step (Étape suivante).

    5. Facultatif : Pour inclure un sous-ensemble de fichiers dans la source, cliquez sur Ajouter un préfixe. Vous pouvez inclure des fichiers en fonction du préfixe du nom de fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.
    6. Facultatif : Pour appliquer d'autres filtres à votre transfert, cliquez sur Filtres avancés. Les éléments suivants s'affichent :
      • Exclure les fichiers commençant par : exclut les fichiers du transfert en fonction d'un préfixe de nom que vous spécifiez. Pour spécifier un préfixe, cliquez sur Ajouter un préfixe.
      • Inclure uniquement les derniers fichiers modifiés : inclut les fichiers dans le transfert en fonction de la date de la dernière modification avant le transfert.

        Vous pouvez spécifier une période absolue et une période relative. Une période relative commence à partir de l'heure de début du transfert.

    Microsoft Azure Blob Storage

    1. Sous Sélectionner une source, sélectionnez Conteneur Azure Storage.

    2. Renseignez les champs suivants :

      1. Nom du compte de stockage : nom du compte Microsoft Azure Storage source.

        Le nom du compte de stockage s'affiche sur le portail Microsoft Azure Storage sous Tous les services > Stockage > Comptes de stockage.

      2. Nom du conteneur — le nom du conteneur Microsoft Azure Storage.

        Le nom du conteneur s'affiche sur le portail Microsoft Azure Storage sous Explorateur de stockage > Conteneurs d'objets blob.

      3. Signature d'accès partagé (SAP) — le jeton SAP Microsoft Azure Storage créé à partir d'une règle d'accès stockée. Pour en savoir plus, consultez la page Accorder un accès limité aux ressources Azure Storage à l'aide des signatures d'accès partagé (SAP).

        Le délai d'expiration par défaut pour les jetons SAP est de 8 heures. Lorsque vous créez votre jeton SAP, veillez à définir une durée d'expiration raisonnable vous permettant de finaliser votre transfert.
    3. Facultatif : Pour inclure un sous-ensemble de fichiers dans la source, cliquez sur Ajouter un préfixe. Vous pouvez inclure des fichiers en fonction du préfixe du nom de fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.
    4. Facultatif : Pour appliquer d'autres filtres à votre transfert, cliquez sur Filtres avancés. Les éléments suivants s'affichent :
      • Exclure les fichiers commençant par : exclut les fichiers du transfert en fonction d'un préfixe de nom que vous spécifiez. Pour spécifier un préfixe, cliquez sur Ajouter un préfixe.
      • Inclure uniquement les derniers fichiers modifiés : inclut les fichiers dans le transfert en fonction de la date de la dernière modification avant le transfert.

        Vous pouvez spécifier une période absolue et une période relative. Une période relative commence à partir de l'heure de début du transfert.

    5. Cliquez sur Next step (Étape suivante).

    Liste d'URL

    1. Sous Sélectionner une source, sélectionnez Liste d'URL.

    2. Sous URL du fichier TSV, spécifiez l'URL d'un fichier de valeurs séparées par des tabulations (TSV). Pour en savoir plus sur la création d'un fichier TSV, consultez la page Créer une liste d'URL.

    3. Facultatif : Pour inclure un sous-ensemble de fichiers dans la source, cliquez sur Ajouter un préfixe. Vous pouvez inclure des fichiers en fonction du préfixe du nom de fichier. Pour en savoir plus, consultez la section Sélectionner des objets sources à transférer.
    4. Facultatif : Pour appliquer d'autres filtres à votre transfert, cliquez sur Filtres avancés. Les éléments suivants s'affichent :
      • Exclure les fichiers commençant par : exclut les fichiers du transfert en fonction d'un préfixe de nom que vous spécifiez. Pour spécifier un préfixe, cliquez sur Ajouter un préfixe.
      • Inclure uniquement les derniers fichiers modifiés : inclut les fichiers dans le transfert en fonction de la date de la dernière modification avant le transfert.

        Vous pouvez spécifier une période absolue et une période relative. Une période relative commence à partir de l'heure de début du transfert.

    5. Cliquez sur Next step (Étape suivante).

  4. Choisissez une destination en procédant comme suit :

    1. Dans le champ Nom du bucket, saisissez le nom du bucket de destination ou cliquez sur Parcourir pour sélectionner un bucket dans la liste des buckets existants de votre projet actuel. Pour créer un bucket, cliquez sur  Créer un bucket.

    2. Facultatif : Pour transférer des fichiers vers un chemin d'accès particulier, saisissez le chemin d'accès dans le champ Chemin d'accès au dossier.

  5. Choisissez les paramètres de la tâche de transfert en procédant comme suit :

    1. Dans le champ Décrire la tâche de transfert, saisissez la description du transfert. Nous vous recommandons de saisir une description pertinente et unique afin de pouvoir différencier les tâches.

    2. Sous Écrasement, sélectionnez l'une des options suivantes :

      • S'ils sont différents : écrase les fichiers de destination si le fichier source du même nom contient d'autres ETags ou valeurs de somme de contrôle.

      • Toujours : écrit toujours les fichiers de destination lorsque le fichier source porte le même nom, même s'ils sont identiques.

    3. Sous Dans quel contexte effectuer des suppressions, sélectionnez l'une des options suivantes :

      • Jamais : ne supprime jamais les fichiers de la source ou de la destination.

      • Supprimer les fichiers de la source après leur transfert : supprime les fichiers de la source après leur transfert vers la destination.

      • Supprimer les fichiers de la destination s'ils ne figurent pas dans la source : si les fichiers du bucket Cloud Storage de destination ne figurent pas dans la source, supprimez-les du bucket.

        Cette option garantit que le bucket Cloud Storage de destination correspond exactement à votre source.

    4. Cliquez sur Next step (Étape suivante).

  6. Choisissez vos options de planification :

    1. Dans la liste déroulante Exécuter une fois, sélectionnez l'une des options suivantes :

      • Exécuter une fois : exécute un seul transfert, à partir de l'heure que vous sélectionnez.

      • Exécuter tous les jours : exécute un transfert tous les jours, à l'heure que vous sélectionnez.

        Vous pouvez saisir une date de fin ou laisser le champ Date de fin vide pour exécuter continuellement le transfert.

      • Exécuter toutes les semaines : exécute un transfert toutes les semaines, à partir de l'heure que vous sélectionnez.

      • Exécuter avec une fréquence personnalisée : exécute un transfert à la fréquence que vous sélectionnez. Vous pouvez choisir de répéter le transfert à des intervalles réguliers d'heures, de jours ou de semaines.

        Vous pouvez saisir une date de fin ou laisser le champ Date de fin vide pour exécuter continuellement le transfert.

    2. Dans la liste déroulante À partir de maintenant, sélectionnez l'une des options suivantes :

      • À partir de maintenant : lance le transfert lorsque vous cliquez sur Créer.

      • À partir de : lance le transfert à la date et à l'heure que vous sélectionnez. Cliquez sur Calendrier pour afficher un calendrier et sélectionner la date de début.

    3. Pour créer votre tâche de transfert, cliquez sur Créer.

Afficher les détails d'une tâche de transfert

Vous pouvez afficher les informations suivantes sur une tâche dans Cloud Console :

  • Description et nom de la tâche
  • Type de source et emplacement
  • Emplacement de destination
  • Fréquence de la tâche
  • Statistiques de tâche

Pour afficher les détails d'une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

Exécuter une tâche de transfert à partir d'une configuration existante

Vous pouvez exécuter une tâche de transfert à partir d'une configuration de transfert existante, ce qui vous permet de réexécuter une tâche de transfert avec les paramètres que vous avez utilisés précédemment.

Pour exécuter un transfert à partir d'une configuration existante, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

  3. Pour démarrer une tâche de transfert, cliquez sur Lancer une exécution.

Vous pouvez également modifier une configuration de transfert existante afin d'utiliser de nouveaux paramètres. Pour en savoir plus, consultez la section Modifier une configuration de transfert existante.

Modifier une configuration de transfert existante

Vous pouvez modifier une configuration de transfert existante afin d'adapter un transfert à vos besoins. Vous pouvez modifier les éléments suivants d'une configuration de transfert existante :

  • Description de la tâche de transfert
  • Identifiants de la source Microsoft Azure Blob Storage ou Amazon S3
  • Tous les filtres appliqués à la tâche de transfert
  • Options d'écrasement ou de suppression des fichiers
  • Calendrier de la tâche de transfert

Pour modifier une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

  3. Cliquez sur Configuration

    La configuration de la tâche de transfert s'affiche.

  4. Pour modifier un élément, cliquez sur  Modifier à côté de l'élément.

  5. Pour démarrer une tâche avec les modifications, cliquez sur Lancer une exécution.

Supprimer une tâche de transfert

Vous pouvez supprimer les tâches de transfert dont vous n'avez plus besoin. La suppression d'une tâche entraîne les actions suivantes :

  • Arrêt de tous les transferts existants de la tâche
  • Arrêt de tous les transferts récurrents de la tâche
  • Suppression des détails de la configuration de la tâche

La suppression d'une tâche est définitive. Une fois la tâche de transfert supprimée, elle est supprimée de la liste des tâches de transfert. Les informations sur la tâche de transfert sont complètement supprimées du service de transfert de stockage au bout de 30 jours.

Vous pouvez également désactiver la tâche de transfert. Elle reste ainsi répertoriée sur la page Tâches, et vous pouvez la réactiver ou la modifier.

Pour supprimer une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cochez la case à côté de la tâche de transfert à supprimer.

  3. Cliquez sur Supprimer la tâche.

    La boîte de dialogue Supprimer la tâche de transfert ? s'affiche.

  4. Lisez la boîte de dialogue, confirmez la suppression de la tâche en saisissant le nom qui lui a été attribué automatiquement dans le champ, puis cliquez sur Supprimer.

    La tâche est supprimée de la page Tâches.

Désactiver une tâche de transfert

La désactivation d'une tâche de transfert l'empêche de lancer d'autres opérations de transfert, y compris les futures opérations planifiées ou les opérations manuelles lancées manuellement à partir du bouton Lancer une exécution.

Pour désactiver une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

  3. Cliquez sur Désactiver la tâche. La boîte de dialogue Désactiver la tâche de transfert ? s'affiche.

  4. Lisez la boîte de dialogue, puis confirmez la désactivation de la tâche en cliquant sur Confirmer.

    Une notification en haut de la page Informations sur la tâche s'affiche pour vous rappeler que la tâche est désactivée.

Suspendre une tâche de transfert

Vous pouvez suspendre un transfert en cours d'exécution. Lorsque vous suspendez le transfert, l'état de la tâche est conservé et vous pouvez réactiver le transfert ultérieurement. Lorsqu'un transfert est suspendu, la planification ne déclenche pas une nouvelle exécution de la tâche.

Pour suspendre une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

  3. Cliquez sur Suspendre l'exécution.

    L'état de l'opération en cours est défini sur Suspendu.

Redémarrer une tâche de transfert suspendue

Vous pouvez réactiver une tâche de transfert précédemment suspendue afin de la relancer là où elle en était avant sa suspension.

Pour réactiver une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

  3. Cliquez sur Reprendre l'exécution.

    L'état de l'opération en cours est défini sur En cours.

Afficher les informations sur l'état historique d'une tâche

Vous pouvez afficher les informations sur l'état historique des exécutions de tâches de transfert. Voici les informations disponibles sur la tâche :

  • État du transfert
  • Heures de début et de fin
  • Durée
  • Progression
  • Données transférées
  • Nombre d'erreurs
  • Données ignorées
  • Estimation de la vitesse moyenne

Pour afficher les informations sur l'état historique d'une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

  3. Pour afficher les détails d'une exécution spécifique, cliquez sur Heure de début de l'exécution de la tâche.

    La page Détails de l'exécution s'affiche.

Afficher les détails d'une erreur de tâche

Si vous rencontrez des erreurs pendant l'exécution d'un transfert, vous pouvez afficher leurs détails pour vous aider à les corriger.

Pour afficher les détails d'une erreur de l'exécution d'une tâche de transfert, procédez comme suit :

  1. Dans Cloud Console, accédez à la page Service de transfert des données cloud.

    Accéder à la page "Service de transfert des données cloud"

  2. Cliquez sur la description de la tâche de transfert.

    La page Détails de la tâche s'affiche.

  3. Effectuez l'une des opérations suivantes pour afficher les détails de la tâche :

    • Dernière tâche exécutée :

      1. Cliquez sur le bouton Afficher les détails de l'erreur ou sur le lien Afficher les détails de l'erreur.

        La page Détails de l'erreur s'affiche.

    • Historique des tâches exécutées : Procédez comme suit :

      1. Cliquez sur l'heure de début de l'exécution de la tâche.

        La page Détails de l'exécution s'affiche.

      2. Cliquez sur le lien Afficher les détails de l'erreur.

        La page Détails de l'erreur s'affiche.

  4. Pour afficher des informations supplémentaires sur chaque erreur affichée, cliquez sur  Développer.

  5. Pour filtrer les erreurs, saisissez les propriétés à filtrer dans le champ Saisir le nom ou la valeur de la propriété.

    Lorsque vous placez le curseur dans le champ, un menu déroulant s'affiche avec des options pertinentes pour vous aider à créer votre filtre.

Sélectionner des objets sources à transférer

Le service de transfert de stockage inclut des préfixes que vous pouvez utiliser pour sélectionner les fichiers à inclure ou à exclure de la source de données. En général, on peut considérer que les préfixes servent à limiter les objets à transférer. Vous avez la possibilité de n'utiliser que des préfixes d'inclusion, que des préfixes d'exclusion ou les deux. Les consignes suivantes s'appliquent aux sources de données Amazon S3, Microsoft Azure Blob Storage et Cloud Storage.

  • N'incluez pas de barre oblique au début d'un préfixe. Par exemple, pour inclure l'objet requests.gz dans un transfert depuis le chemin d'accès au bucket s3://my-aws-bucket/logs/y=2015/requests.gz, spécifiez le préfixe d'inclusion logs/y=2015/requests.gz.

  • Si vous utilisez les préfixes d'inclusion et d'exclusion ensemble, les préfixes d'exclusion doivent commencer par la valeur de l'un des préfixes d'inclusion. Par exemple, si vous spécifiez le préfixe d'inclusion a, les préfixes d'exclusion valides sont a/b, aaa et abc.

  • Si vous n'utilisez que des préfixes d'exclusion, il n'existe aucune restriction quant aux préfixes que vous pouvez utiliser.

  • Si vous ne spécifiez aucun préfixe, tous les objets du bucket seront transférés.

  • Ne spécifiez pas de chemin d'accès pour le nom de la source de données ou du bucket récepteur. Par exemple, s3://my-aws-bucket et gs://example-bucket sont valides, mais s3://my-aws-bucket/subfolder ou gs://example-bucket/files ne le sont pas. Pour inclure des chemins d'accès, utilisez les préfixes d'inclusion et d'exclusion.

  • Le service de transfert de stockage n'est pas compatible avec le remappage. En d'autres termes, vous ne pouvez pas copier le chemin d'accès files/2015 de la source de données dans le chemin files/2016 du récepteur de données.

Pour en savoir plus sur l'utilisation des préfixes d'inclusion et d'exclusion, consultez la description des champs includePrefixes et excludePrefixes dans l'API.

Pour plus d'informations générales sur les préfixes, consultez la page Liste hiérarchique de clés grâce au préfixe et au délimiteur dans la documentation d'Amazon S3 ou la méthode de création d'une liste d'objets pour Cloud Storage.

Créer une clé d'accès

Ces étapes donnent un aperçu du processus de création des identifiants de clé d'accès Amazon S3 pouvant être utilisés pour transférer des données d'un bucket Amazon S3 vers un bucket Cloud Storage. Pour en savoir plus, consultez les pages Créer un utilisateur IAM dans votre compte AWS et Exemples de stratégie de bucket.

Pour en savoir plus sur nos règles de conservation des données concernant les identifiants des utilisateurs, consultez la section Identifiants utilisateur.

  1. Créez un utilisateur dans la console AWS Identity and Access Management.

  2. Notez ou téléchargez les identifiants d'accès.

    Les identifiants téléchargés contiennent le nom d'utilisateur, l'ID de clé d'accès et la clé d'accès secrète. Lorsque vous configurez une tâche de transfert dans Cloud Storage, vous n'avez besoin que de l'ID de clé d'accès et de la clé d'accès secrète.

  3. Associez une règle gérée à l'utilisateur IAM, comprenant les autorisations nécessaires pour effectuer un transfert.

    Si la tâche de transfert est configurée pour supprimer des objets sources, associez la règle AmazonS3FullAccess. Sinon, associez la règle AmazonS3ReadyOnlyAccess. Par exemple, la règle gérée AmazonS3FullAccess associée à un utilisateur via la console IAM est la suivante :

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. (Facultatif) Créez une règle plus restrictive que les règles gérées.

    Il peut s'agir, par exemple, d'une règle qui limite l'accès au bucket Amazon S3 uniquement. Pour en savoir plus, consultez la page Exemples de stratégie de bucket.

Étape suivante

Découvrez comment travailler avec Cloud Storage.