Configurer l'accès aux sources et aux récepteurs de données

Cette page explique comment configurer l'accès à la source et au récepteur de données afin de transférer des données à l'aide du service de transfert de stockage.

Prérequis

Les autorisations de compte de service sont accordées au niveau du bucket. Vous devez avoir la possibilité d'accorder les autorisations suivantes à votre compte de service :

  • roles/storage.legacyBucketReader pour les buckets sources et de destination ;
  • roles/storage.objectAdmin pour les buckets de destination ou éventuellement la source si vous souhaitez supprimer les fichiers sources ;
  • roles/storage.objectViewer pour la source si vous ne souhaitez pas supprimer les fichiers sources.

Si vous prévoyez d'utiliser Pub/Sub pour les transferts, attribuez au compte de service le rôle IAM roles/pubsub.publisher pour le sujet Pub/Sub souhaité.

Configurer l'accès à la source de données

Google Cloud Storage

Pour configurer l'accès à une source de données Cloud Storage, vous devez accorder l'autorisation d'accès à la source au compte de service associé au service de transfert de stockage :

  1. Obtenez l'adresse e-mail utilisée pour le compte de service.

    1. Accédez à la section Essayer cette API de la page de la méthode googleServiceAccounts.get.

    2. Dans le champ projectID, saisissez l'ID du projet où la tâche de transfert a été créée.

    3. Cliquez sur le bouton Exécuter.

    4. Dans la réponse qui apparaît, recherchez et copiez la valeur de accountEmail.

      La valeur de l'adresse e-mail est spécifiée au format suivant : project-[$PROJECT_NUMBER]@storage-transfer-service.iam.gserviceaccount.com

  2. Attribuez à l'adresse e-mail de ce compte de service les rôles nécessaires pour accéder aux données.

    Pour les tâches de transfert de base, le rôle Lecteur des objets de l'espace de stockage attribue les autorisations nécessaires au compte de service. Pour les tâches de transfert avancées, consultez la page Autorisations IAM pour le service de transfert de stockage.

    Pour un guide par étapes sur l'attribution de rôles aux buckets, consultez la page Ajouter un membre à une stratégie au niveau du bucket.

Amazon S3

Pour configurer l'accès à un bucket Amazon S3, suivez les étapes ci-dessous :

  1. Créez un utilisateur AWS IAM (AWS Identity and Access Management) avec un nom facilement reconnaissable, tel que transfer-user. Vérifiez que le nom respecte bien les consignes concernant les noms d'utilisateur AWS IAM (consultez la page Limitations des entités et objets IAM).

  2. Accordez à l'utilisateur AWS IAM la possibilité d'effectuer les opérations suivantes :

    • Afficher le bucket Amazon S3
    • Obtenir l'emplacement du bucket
    • Lire les objets du bucket
    • Facultatif : Supprimer les objets de la source après le transfert de données (nécessite les autorisations "Supprimer des objets")
  3. Créez au moins une paire de clés d'accès/secrètes pour la tâche de transfert que vous souhaitez configurer. Vous pouvez également créer une paire de clés d'accès/secrètes distincte pour chaque tâche de transfert.

  4. Restaurez tous les objets archivés dans Amazon Glacier. Les objets Amazon S3 archivés dans Amazon Glacier ne seront pas accessibles tant qu'ils n'auront pas été restaurés. Pour en savoir plus, consultez le livre blanc Migration d'Amazon Glacier vers Google Cloud Storage Nearline.

Microsoft Azure Blob Storage

Pour configurer l'accès à un conteneur Microsoft Azure Storage, procédez comme suit :

  1. Créez un utilisateur Microsoft Azure Storage ou utilisez-en un existant pour accéder au compte de stockage de votre conteneur d'objets blob Microsoft Azure Storage.

  2. Créez un jeton SAP au niveau du conteneur. Consultez la page Accorder un accès limité aux ressources Azure Storage à l'aide de signatures d'accès partagé.

    Le délai d'expiration par défaut pour les jetons SAP est de 8 heures. Lorsque vous créez votre jeton SAP, veillez à définir une durée d'expiration raisonnable vous permettant de finaliser votre transfert.

Liste d'URL

Si votre source de données est une liste d'URL, vérifiez que chaque objet de la liste est accessible au public.

Configurer l'accès au récepteur de données

Le récepteur des données pour le transfert est toujours un bucket Cloud Storage. Pour utiliser un bucket en tant que récepteur de données, vous devez attribuer au compte de service associé au service de transfert de stockage l'autorisation d'accéder au récepteur :

  1. Obtenez l'adresse e-mail utilisée pour le compte de service.

    1. Accédez à la section Essayer cette API de la page de la méthode googleServiceAccounts.get.

    2. Dans le champ projectID, saisissez l'ID du projet où la tâche de transfert a été créée.

    3. Cliquez sur le bouton Exécuter.

    4. Dans la réponse qui apparaît, recherchez et copiez la valeur de accountEmail.

      La valeur de l'adresse e-mail est spécifiée au format suivant : project-[$PROJECT_NUMBER]@storage-transfer-service.iam.gserviceaccount.com

  2. Attribuez à l'adresse e-mail de ce compte de service les rôles nécessaires pour accéder aux données.

    Le rôle Rédacteur des anciens ensembles de l'espace de stockage accorde au compte de service toutes les autorisations nécessaires. Pour en savoir plus sur les autorisations requises, consultez la page Autorisations IAM pour le service de transfert de stockage.

    Pour un guide par étapes sur l'attribution de rôles aux buckets, consultez la page Ajouter un membre à une stratégie au niveau du bucket.

Étape suivante