Autorisations de transfert basées sur un agent

Avant de créer un transfert basé sur un agent, vous devez configurer des autorisations pour les entités suivantes:

  • Compte de service géré par l'utilisateur ou compte de service géré par l'utilisateur utilisé pour créer le transfert. Il s'agit du compte connecté à la console Google Cloud ou du compte spécifié lors de l'authentification auprès de la CLI gcloud. Il peut s'agir d'un compte utilisateur standard ou d'un compte de service géré par l'utilisateur.

  • Compte de service géré par Google, également appelé agent de service, utilisé par le service de transfert de stockage. Ce compte est généralement identifié par son adresse e-mail, qui utilise le format project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com.

  • Le compte d'agent de transfert qui fournit les autorisations Google Cloud aux agents de transfert. Pour s'authentifier, les comptes d'agent de transfert utilisent les identifiants de l'utilisateur qui les a installés ou ceux d'un compte de service géré par l'utilisateur.

Pour en savoir plus sur l'attribution de rôles IAM, consultez la section Accorder, modifier et révoquer les accès à des ressources.

Méthode la plus simple pour accorder des autorisations

La CLI gcloud permet d'accorder les autorisations requises à l'utilisateur / compte de service géré par l'utilisateur et au compte de service géré par Google. Ces autorisations permettent à l'utilisateur de créer, modifier et supprimer des tâches de transfert, et de définir ou modifier des limites de bande passante.

Si ces autorisations sont trop larges pour les règles de votre organisation, reportez-vous aux sections suivantes de ce document pour connaître les autorisations minimales requises par le service de transfert de stockage.

Pour inspecter les autorisations existantes et afficher les rôles manquants, exécutez la commande suivante:

gcloud transfer authorize

Pour appliquer automatiquement ces rôles, utilisez l'option --add-missing:

gcloud transfer authorize --add-missing

Pour accorder des autorisations à un compte de service géré par l'utilisateur, transmettez le fichier de clé de compte de service:

gcloud transfer authorize --add-missing --creds-file=path/to/key.json

Pour savoir comment créer un compte de service, consultez la page Créer et gérer des comptes de service.

La commande accorde les autorisations suivantes.

  • Pour le compte de service géré par l'utilisateur ou par l'utilisateur:

    • roles/owner
    • roles/storagetransfer.admin
    • roles/storagetransfer.transferAgent
    • roles/storage.objectAdmin
    • roles/pubsub.editor

  • Vers le compte de service géré par Google:

    • roles/storage.admin
    • roles/storagetransfer.serviceAgent

Pour obtenir des instructions sur l'installation de la CLI gcloud, consultez le guide de démarrage rapide de gcloud.

Autorisations de compte de service gérés par l'utilisateur ou par l'utilisateur

Cette section décrit les rôles requis pour les comptes qui gèrent et exécutent des transferts. Les exigences de votre organisation détermineront les rôles exacts de chaque persona. Cette section suppose que vous allez créer un administrateur et un utilisateur.

Comptes administrateur

Les comptes administrateur du service de transfert de stockage gèrent les agents de transfert, définissent des limites d'utilisation de la bande passante et suppriment des tâches de transfert.

Pour configurer un compte administrateur, attribuez les autorisations et les rôles IAM suivants :

Rôle/Autorisation Utilisation Notes
resourcemanager.projects.getIamPolicy Cette autorisation permet de vérifier que le compte de service géré par Google dispose des autorisations requises pour effectuer un transfert. Pour accorder cette autorisation, attribuez le rôle prédéfini Lecteur de rôle (roles/iam.roleViewer) ou créez un rôle personnalisé avec cette autorisation unique et accordez le rôle personnalisé.
Administrateur de transfert de stockage (roles/storagetransfer.admin) Permet d'effectuer des actions d'administration dans le projet de transfert, telles que la configuration du projet et la surveillance de l'agent. Pour obtenir la liste détaillée des autorisations accordées, consultez la section Rôles prédéfinis pour le service de transfert de stockage.

Comptes utilisateur

Les comptes utilisateur du service de transfert de stockage permettent de créer et d'exécuter des transferts. Ces comptes ne sont généralement pas autorisés à supprimer des tâches de transfert.

Un compte utilisateur peut être un utilisateur de la console Google Cloud ou un compte de service. Si vous utilisez un compte de service, la méthode employée pour transmettre les identifiants au service de transfert de stockage varie en fonction de l'interface que vous utilisez.

Pour configurer un compte utilisateur, attribuez-lui les autorisations et les rôles suivants:

Rôle/Autorisation Utilisation Notes
resourcemanager.projects.getIamPolicy Permet de vérifier que le compte de service géré par Google dispose des autorisations Pub/Sub requises pour effectuer un transfert. Pour accorder cette autorisation, attribuez le rôle prédéfini Lecteur de rôle (roles/iam.roleViewer) ou créez un rôle personnalisé avec cette autorisation unique et accordez le rôle personnalisé.
Utilisateur du transfert de stockage (roles/storagetransfer.user) Permet à l'utilisateur de créer, d'obtenir, de mettre à jour et de répertorier des transferts. Pour obtenir la liste détaillée des autorisations accordées, consultez la section Rôles prédéfinis pour le service de transfert de stockage.

Autorisations de compte de service géré par Google

Le service de transfert de stockage utilise un compte de service géré par Google pour déplacer vos données. Ce compte de service est automatiquement créé la première fois que vous créez une tâche de transfert, appelez googleServiceAccounts.get ou accédez à la page de création de tâche dans la console Google Cloud.

Le format du compte de service est le suivant : project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com. Pour récupérer l'identifiant de votre compte de service, utilisez l'appel d'API googleServiceAccounts.get.

Attribuer automatiquement des rôles

Il existe deux façons d'attribuer automatiquement les rôles appropriés au compte de service géré par Google:

Attribuer des rôles manuellement

Pour autoriser le compte de service géré par Google à accéder aux ressources nécessaires pour effectuer des transferts, attribuez-lui les rôles suivants ou des autorisations équivalentes.

Rôle/Autorisation Utilisation Notes
Créateur des objets Storage (roles/storage.objectCreator) Permet au service de transfert de stockage de créer des journaux de transfert dans le bucket Cloud Storage connecté à ce transfert. Ce rôle doit être accordé à tous les buckets Cloud Storage utilisés lors d'un transfert. Le cas échéant, vous pouvez l'accorder au projet à partir duquel le service de transfert de stockage est exécuté.

Pour obtenir la liste détaillée des autorisations attribuées par ces rôles, consultez la section Rôles prédéfinis pour Cloud Storage.
Lecteur des objets Storage (roles/storage.objectViewer) Permet au service de transfert de stockage de déterminer si un fichier a déjà été transféré vers ou depuis Cloud Storage.
Agent de service de transfert de stockage (roles/storagetransfer.serviceAgent) Permet au service de transfert de stockage de créer et de modifier automatiquement des sujets Pub/Sub pour communiquer de Google Cloud vers les agents de transfert. Doit être appliqué au niveau du projet au projet à partir duquel le service de transfert de stockage est exécuté.

Pour obtenir la liste détaillée des autorisations accordées par ce rôle, consultez la section Autorisations et rôles.
Lecteur des anciens buckets Storage (roles/storage.legacyBucketReader) Permet au service de transfert de stockage de lire les métadonnées d'un bucket Cloud Storage.

Doit être accordé à chaque bucket Cloud Storage utilisé lors d'un transfert.

Les rôles Cloud Storage legacy ne peuvent être accordés qu'au niveau du bucket.

Pour savoir comment procéder, consultez Accorder les autorisations requises.

Transférer les autorisations du compte d'agent

Les agents de transfert du service de transfert de stockage peuvent être exécutés avec le compte de l'utilisateur ou avec un compte de service.

Pour configurer un compte de service d'agent de transfert ou un compte utilisateur exécutant les agents de transfert, attribuez le rôle suivant :

Rôle/Autorisation Utilisation Notes
Agent de transfert de stockage (roles/storagetransfer.transferAgent) Attribue aux agents de transfert les autorisations requises pour effectuer un transfert à l'aide du service de transfert de stockage et de Pub/Sub. Attribuez ce rôle à l'utilisateur ou au compte de service utilisé par les agents.

Pour obtenir la liste détaillée des autorisations accordées par ce rôle, consultez la section Contrôle d'accès avec IAM.

Autorisations de la source et de la destination

Vous devez également vous assurer que le compte de l'agent dispose des autorisations appropriées pour accéder aux données sources et écrire sur la destination.

Système de fichiers, stockage compatible S3 ou HDFS vers Cloud Storage

Si votre destination de transfert est un bucket Cloud Storage, l'agent de transfert a besoin des autorisations suivantes sur le bucket de destination. Pour obtenir des instructions, consultez la section Ajouter un compte principal à une stratégie au niveau du bucket.

Autorisation Description
storage.objects.create Permet au compte de l'agent d'écrire des objets Cloud Storage pendant le transfert.
storage.objects.get Permet au compte de l'agent de lire les données et les métadonnées d'objets.
storage.objects.list Permet au compte d'agent de répertorier les objets du bucket Cloud Storage.
storage.objects.delete Obligatoire si le transfert est configuré pour écraser ou supprimer des objets dans le récepteur. Par exemple, si overwriteObjectsAlreadyExistingInSink ou deleteObjectsUniqueInSink sont définis dans la configuration transferOptions de votre transfert.

Pour accorder ces autorisations, attribuez le rôle suivant:

Vous pouvez également créer un rôle personnalisé avec les autorisations spécifiques et attribuer le rôle personnalisé.

Des autorisations supplémentaires sont requises pour activer les importations en plusieurs parties.

Cloud Storage vers système de fichiers

Si la source de votre transfert est un bucket Cloud Storage, l'agent de transfert doit disposer des autorisations suivantes sur le bucket source.

Autorisation Description
storage.objects.create Permet au compte d'agent d'écrire des journaux et des métadonnées liées au transfert dans le bucket source Cloud Storage.
storage.objects.get Permet au compte de l'agent de lire les données et les métadonnées d'objets.
storage.objects.list Permet au compte d'agent de répertorier les objets du bucket Cloud Storage.
storage.objects.delete Obligatoire si votre transfert est configuré pour supprimer des objets de la source. Consultez deleteObjectsFromSourceAfterTransfer.

Pour accorder cette autorisation, attribuez le rôle suivant:

Vous pouvez également créer un rôle personnalisé avec l'autorisation unique et accorder le rôle personnalisé.

Système de fichiers vers système de fichiers

Si votre transfert s'effectue entre deux systèmes de fichiers, l'agent de transfert doit disposer des autorisations suivantes sur le bucket intermédiaire.

Autorisation Description
storage.objects.create Permet au compte de l'agent d'écrire des objets Cloud Storage pendant le transfert.
storage.objects.get Permet au compte de l'agent de lire les données et les métadonnées d'objets.
storage.objects.list Permet au compte d'agent de répertorier les objets du bucket Cloud Storage.
storage.objects.delete Obligatoire si le transfert est configuré pour supprimer des objets dans le bucket intermédiaire une fois le transfert terminé.

Pour accorder ces autorisations, attribuez le rôle suivant:

Vous pouvez également créer un rôle personnalisé avec les autorisations spécifiques et attribuer le rôle personnalisé.

Des autorisations supplémentaires sont requises pour activer les importations en plusieurs parties.

Importations en plusieurs parties

Pour activer les importations en plusieurs parties pour les transferts du système de fichiers vers Cloud Storage ou entre les systèmes de fichiers, accordez également les autorisations suivantes à l'agent.

  • Pour les transferts vers Cloud Storage, attribuez les autorisations au bucket de destination.
  • Pour les transferts entre les systèmes de fichiers, attribuez les autorisations au bucket intermédiaire.
Nom de l'autorisation d'importation en plusieurs parties Description
storage.multipartUploads.create Importer des objets en plusieurs parties.
storage.multipartUploads.abort Annuler les sessions d'importation en plusieurs parties.
storage.multipartUploads.listParts Répertorier les parties d'objet importées dans une session d'importation en plusieurs parties.
storage.multipartUploads.list Répertorier les sessions d'importation en plusieurs parties dans un bucket.

Pour accorder ces autorisations, attribuez le rôle suivant:

Vous pouvez également créer un rôle personnalisé avec les autorisations spécifiques et attribuer le rôle personnalisé.