Configurer l'accès aux sources de données et aux récepteurs

Cette page explique comment configurer l'accès à la source et au récepteur de données afin de transférer des données à l'aide du service de transfert de stockage.

Conditions préalables

Les autorisations de compte de service sont accordées au niveau du bucket. Vous devez avoir la possibilité d'accorder les autorisations suivantes à votre compte de service :

  • roles/storage.legacyBucketReader pour les buckets sources et de destination ;
  • roles/storage.objectAdmin pour les buckets de destination ou éventuellement la source si vous souhaitez supprimer les fichiers sources ;
  • roles/storage.objectViewer pour la source si vous ne souhaitez pas supprimer les fichiers sources.

Configurer l'accès à la source de données

Google Cloud Storage

Pour configurer l'accès à une source de données Cloud Storage, vous devez accorder l'autorisation d'accès à la source au compte de service associé au service de transfert de stockage :

  1. Obtenez l'adresse e-mail utilisée pour le compte de service.

    1. Accédez à la section Essayer cette API de la page de la méthode googleServiceAccounts.get.

    2. Dans le champ projectID, saisissez l'ID du projet où la tâche de transfert a été créée.

    3. Cliquez sur le bouton Exécuter.

    4. Dans la réponse qui apparaît, recherchez et copiez la valeur de accountEmail.

      La valeur de l'e-mail est spécifiée au format suivant : project-[$PROJECT_NUMBER]@storage-transfer-service.iam.gserviceaccount.com

  2. Attribuez à l'adresse e-mail de ce compte de service les rôles nécessaires pour accéder aux données.

    Pour les tâches de transfert de base, le rôle Lecteur des objets de l'espace de stockage attribue les autorisations nécessaires au compte de service. Pour les tâches de transfert avancées, consultez la page Autorisations IAM pour l'exécution des méthodes du service de transfert de stockage.

    Pour un guide par étapes sur l'attribution de rôles aux buckets, consultez la page Ajouter un membre à une stratégie au niveau du bucket.

Amazon S3

Pour configurer l'accès à un bucket Amazon S3, suivez les étapes ci-dessous :

  1. Créez un utilisateur AWS IAM (AWS Identity and Access Management) avec un nom facilement reconnaissable, tel que transfer-user. Vérifiez que le nom respecte bien les consignes relatives aux noms d'utilisateur AWS IAM (consultez la page Limitations des entités et objets IAM).

  2. Accordez à l'utilisateur AWS IAM la possibilité d'effectuer les opérations suivantes :

    • Afficher le bucket Amazon S3
    • Obtenir l'emplacement du bucket
    • Lire les objets du bucket
    • (Facultatif) Supprimer les objets de la source après le transfert de données (nécessite les autorisations "Supprimer des objets")
  3. Créez au moins une paire de clés d'accès/secrètes pour la tâche de transfert que vous souhaitez configurer. Vous pouvez également créer une paire de clés d'accès/secrètes distincte pour chaque tâche de transfert.

  4. Restaurez tous les objets archivés dans Amazon Glacier. Les objets Amazon S3 archivés dans Amazon Glacier ne seront pas accessibles tant qu'ils n'auront pas été restaurés. Pour en savoir plus, consultez le livre blanc Migration d'Amazon Glacier vers Google Cloud Storage Nearline.

Liste d'URL

Si votre source de données est une liste d'URL, vérifiez que chaque objet de la liste est accessible au public.

Configurer l'accès au récepteur de données

Le récepteur des données pour le transfert est toujours un bucket Cloud Storage. Pour utiliser un bucket en tant que récepteur de données, vous devez attribuer au compte de service associé au service de transfert de stockage l'autorisation d'accéder au récepteur :

  1. Obtenez l'adresse e-mail utilisée pour le compte de service.

    1. Accédez à la section Essayer cette API de la page de la méthode googleServiceAccounts.get.

    2. Dans le champ projectID, saisissez l'ID du projet où la tâche de transfert a été créée.

    3. Cliquez sur le bouton Exécuter.

    4. Dans la réponse qui apparaît, recherchez et copiez la valeur de accountEmail.

      La valeur de l'e-mail est spécifiée au format suivant : project-[$PROJECT_NUMBER]@storage-transfer-service.iam.gserviceaccount.com

  2. Attribuez à l'adresse e-mail de ce compte de service les rôles nécessaires pour accéder aux données.

    Le rôle Rédacteur des anciens ensembles de l'espace de stockage accorde au compte de service toutes les autorisations nécessaires. Pour en savoir plus sur les autorisations requises, consultez la page Autorisations IAM pour l'exécution des méthodes du service de transfert de stockage.

    Pour un guide par étapes sur l'attribution de rôles aux buckets, consultez la page Ajouter un membre à une stratégie au niveau du bucket.

Étapes suivantes

Cette page vous a-t-elle été utile ? Évaluez-la :

Envoyer des commentaires concernant…

Documentation sur le service de transfert de stockage Cloud Storage