Utiliser l'application de configuration cloud de Transfer Appliance

Cet article décrit la configuration des autorisations Google Cloud et de Cloud Storage à l'aide de l'application de configuration cloud de Transfer Appliance.

L'application de configuration cloud Transfer Appliance vous demande des informations telles que l'ID de votre session de transfert, le bucket Cloud Storage de destination et vos préférences Cloud Key Management Service (Cloud KMS). À l'aide des informations fournies, l'application de configuration cloud Transfer Appliance configure vos autorisations Google Cloud, le bucket Cloud Storage préféré et la clé Cloud KMS pour votre transfert.

Avant de commencer

Assurez-vous de disposer des éléments suivants:

  • Nom du projet utilisé pour le transfert.

  • ID de session de l'e-mail de l'équipe Transfer Appliance intitulé Google Transfer Appliance Access Credentials. Vous remplirez le formulaire contenu dans cet e-mail que l'équipe Transfer Appliance utilisera pour configurer le transfert.

  • Les rôles IAM appropriés.

    Si vous êtes le propriétaire du projet, le rôle roles/owner est suffisant.

    Si vous ne disposez pas du rôle roles/owner et que vous créez un bucket Cloud Storage ainsi qu'une clé Cloud KMS via l'application de configuration cloud Transfer Appliance, vous devez disposer des rôles. Rôles/storage.admin et roles/cloudkms.admin pour le projet Google Cloud.

    Si ce n'est pas le casroles/owner (rôles/propriétaire) et que vous utilisez un bucket Cloud Storage et une clé Cloud KMS existants, vous devez disposer duroles/storage.admin sur le bucket Cloud Storage etroles/cloudkms.admin sur la clé Cloud KMS que vous utilisez pour le transfert.

    Pour afficher les rôles IAM de vos comptes principaux pour un projet et ses ressources, procédez comme suit:

    1. Dans Cloud Console, accédez à la page IAM.

      Accéder à la page "IAM"

    2. La page affiche tous les comptes principaux disposant de rôles IAM sur votre projet.

  • Agent de service lié au service de transfert des données sur site. Cet agent de service est répertorié dans un e-mail intitulé Google Transfer Appliance Préparer le bucket de destination et ressemble à l'exemple suivant:

    project-IDENTIFIER@storage-transfer-service.gserviceaccount.com

    Dans cet exemple, IDENTIFIER correspond à un nombre généré spécifique à ce projet particulier.

    Nous utilisons le service de transfert des données sur site pour transférer des données du système vers votre bucket Cloud Storage.

Accorder des autorisations à l'agent de service

Pour accorder des autorisations à l'agent de service, procédez comme suit:

Google Cloud Console

  1. Dans Google Cloud Console, accédez à la page du Navigateur Cloud Storage.

    Accéder à la page du navigateur

  2. Cliquez sur le menu déroulant () associé au bucket pour lequel vous attribuez un rôle principal.

  3. Choisissez Modifier les autorisations relatives au bucket.

  4. Cliquez sur le bouton Ajouter des membres.

  5. Dans le champ Nouveaux membres, saisissez l'agent de service. Voici à quoi cela ressemble:

    project-IDENTIFIER@storage-transfer-service.gserviceaccount.com

    Dans cet exemple, IDENTIFIER correspond à un nombre généré spécifique à ce projet particulier.

  6. Dans le menu déroulant Sélectionner un rôle, sélectionnez le rôle Administrateur de l'espace de stockage.

    Les rôles sélectionnés apparaissent dans le volet et sont accompagnés d'une brève description des autorisations auxquelles ils correspondent.

  7. Cliquez sur Enregistrer.

Ligne de commande

Exécutez la commande gsutil iam ch :

gsutil iam ch \
serviceAccount:project-IDENTIFIER@storage-transfer-service.gserviceaccount.com:storageAdmin \
gs://BUCKET_NAME

Dans cet exemple :

  • IDENTIFIER: nombre généré spécifique à ce projet.
  • BUCKET_NAME: nom du bucket que vous utilisez.

Télécharger l'application de configuration cloud de Transfer Appliance

Pour télécharger l'application de configuration cloud Transfer Appliance, procédez comme suit:

  1. Ouvrez le tableau de bord Cloud Console.

    Ouvrir le tableau de bord Cloud Console

  2. Vérifiez que le nom du projet utilisé pour le transfert s'affiche dans le sélecteur de projet. Le sélecteur de projet vous indique le projet dans lequel vous travaillez actuellement.

    Sélectionner un projet Google Cloud dans le sélecteur de projet

    Si vous ne voyez pas le nom du projet que vous utilisez pour le transfert, cliquez sur le sélecteur de projet, puis sélectionnez le projet approprié.

  3. Cliquez sur "Activer Cloud Shell".

    Démarrer le shell de développement depuis la barre de menu

  4. Dans Cloud Shell, utilisez la commande wget pour télécharger l'application de configuration cloud de Transfer Appliance:

    wget https://storage.googleapis.com/transferappliance/cloudsetup/ta_cloudsetup_x86_64-linux
    

Exécuter l'application de configuration cloud de Transfer Appliance

  1. Dans Cloud Shell, exécutez la commande suivante pour démarrer l'application de configuration cloud Transfer Appliance:

    chmod 0777 ta_cloudsetup_x86_64-linux && ./ta_cloudsetup_x86_64-linux
    
  2. L'application de configuration cloud de Transfer Appliance vous invite à effectuer les opérations suivantes:

    • L'agent de service lié au service de transfert des données sur site. Voici un exemple:

      project-IDENTIFIER@storage-transfer-service.gserviceaccount.com

      Dans cet exemple, IDENTIFIER correspond à un nombre généré spécifique à ce projet particulier.

    • L'ID de session, issu de l'e-mail de l'équipe Transfer Appliance intitulé Google Transfer Appliance Access Credentials

    • Indiquez si vous souhaitez utiliser un bucket existant:

      • Si vous sélectionnez Oui, une liste de buckets s'affiche.

      • Si vous sélectionnez Non, vous êtes invité à saisir un nom de bucket. La liste des emplacements de buckets s'affiche.

    • [Facultatif] Préfixe d'objet. Sans préfixe d'objet, les objets sont transférés vers Cloud Storage avec le chemin de la source, à l'exclusion du chemin racine, avant le nom du fichier sur le système de fichiers. Par exemple, si vous disposez des fichiers suivants :

      • /source_root_path/file1.txt
      • /source_root_path/dirA/file2.txt
      • /source_root_path/dirA/dirB/file3.txt
      Les noms d'objet dans Cloud Storage sont les suivants :
      • file1.txt
      • dirA/file2.txt
      • dirA/dirB/file3.txt
      Le préfixe d'objet est ajouté au nom de destination de l'objet dans Cloud Storage, après le caractère / du nom du bucket de destination et avant tout nom de chemin d'accès à partir duquel l'objet a été transféré, à l'exclusion du chemin racine de la source. Cela peut vous aider à faire la distinction entre les objets transférés et d'autres tâches de transfert.

      Le tableau suivant présente plusieurs exemples de préfixes d'objet et de noms d'objet résultant dans Cloud Storage, si le chemin de l'objet source est /source_root_path/sub_folder_name/object_name :
      Préfixe Nom de l'objet de destination
      Aucun /destination_bucket/sub_folder_name/object_name
      prefix/ /destination_bucket/prefix/sub_folder_name/object_name

    • Si vous souhaitez utiliser une clé Cloud KMS gérée par Google ou par le client:

      Si vous sélectionnez une clé Cloud KMS gérée par le client, l'application de configuration cloud Transfer Appliance vous invite à utiliser une clé Cloud KMS existante:

      • Si vous sélectionnez Oui, vous êtes invité à indiquer l'emplacement du trousseau de clés Cloud KMS, le trousseau de clés Cloud KMS et la clé Cloud KMS utilisées pour cette session.
      • Si vous sélectionnez Non, vous êtes invité à indiquer l'emplacement du trousseau de clés Cloud KMS. L'application de configuration cloud de Transfer Appliance crée la clé Cloud KMS à l'emplacement sélectionné.

    Exemple de session

    Voici un exemple de session:

    Please enter the session ID (The session ID is shared separately by the
    Transfer Appliance support team)
    CUS-1120-TEST
    
    [Optional] Please enter the Google-managed service account if it was
    shared by the Transfer Appliance support team:
    project-12345@storage-transfer-service.gserviceaccount.com
    
    Would you like to use an existing storage bucket where your data will
    arrive?
    
    Choose Yes or No:
        Yes
       ▸No
    
    Name your bucket. Pick a globally unique, permanent name. Naming guidelines:
    https://cloud.google.com/storage/docs/naming-buckets
    
    2021-05-transfer-set
    
    Please wait. Fetching the list of available locations, this can take a few
    seconds..
    
    Use the arrow keys to navigate: ↓ ↑ → ←
    ? Choose Cloud Storage Location:
      ▸ asia-east1
        asia-east2
        asia-northeast1
        asia-northeast2
    ↓   asia-northeast3
    
    [Optional] Enter an object prefix or press enter to skip:
    
    test
    
    Please select the encryption key type
    Use the arrow keys to navigate: ↓ ↑ → ←
    ? Choose Key Type:
        Google-managed encryption key
      ▸ Customer-managed encryption key
    
    Would you like to use an existing Cloud KMS key?
    Use the arrow keys to navigate: ↓ ↑ → ←
    ? Choose Yes or No:
        Yes
       ▸No
    
    Please wait. Fetching the list of available KMS locations, this can take a few seconds..
    Use the arrow keys to navigate: ↓ ↑ → ←
    ? Choose key ring location:
      ▸ asia
        asia-east1
        asia-east2
        asia-northeast1
    ↓   asia-northeast2
    
    Cloud Setup is complete.
    
    Next Steps..
    
    Please complete the form received in the email titled Google Transfer
    Appliance Access Credentials sent by the Transfer Appliance Team with the
    following information:
    
    Session ID:
    CUS-1120-TEST
    
    Google Cloud Platform Project ID:
    customer-test
    
    Encryption:
    Customer-managed encryption key
    
    Google Cloud Storage Destination Bucket Name:
    2021-05-tranfsfer-set
    
    Google Cloud Storage Destination Object Bucket Prefix (optional):
    
    Online Enabled:
    No
    

    Une fois terminée, l'application de configuration cloud de Transfer Appliance effectue les opérations suivantes:

    • Accorde des autorisations aux comptes de service Transfer Appliance utilisés pour transférer des données vers votre bucket Cloud Storage.
    • Accorde l'autorisation aux comptes de service Transfer Appliance afin d'accéder aux données de clé Cloud KMS nécessaires si vous avez choisi Clé gérée par le client.
    • Affiche les informations suivantes:

      • Le nom de ressource de la clé cryptographique Google Cloud si vous avez choisi d'utiliser une clé de chiffrement Cloud KMS gérée par le client.
      • Le nom du bucket de destination Google Cloud Storage.
      • Préfixe de bucket de destination Google Cloud Storage, le cas échéant.

      Les informations affichées sont également stockées dans le répertoire d'accueil de Cloud Shell, nommé SESSION_ID-output.txt, où SESSION_ID correspond à l'ID de session de ce transfert particulier.

      Les noms des comptes de service autorisés pour ce transfert particulier sont stockés dans le répertoire d'accueil sur Cloud Shell, nommé cloudsetup.log.

  3. Vous recevrez un e-mail de l'équipe Transfer Appliance intitulé Google Transfer Appliance Préparer les autorisations et le stockage. Remplissez le formulaire inclus dans cet e-mail avec les informations suivantes:

    • ID du projet Google Cloud Platform
    • Sélectionnez l'option de votre choixChiffrement :
      • Clé de chiffrement gérée par Google, si vous avez choisi de laisser Google gérer votre clé de chiffrement.
      • Clé de chiffrement gérée par le client, si vous avez choisi de gérer votre propre clé de chiffrement. Sélectionnez la clé de chiffrement souhaitée dans le menu déroulant Sélectionnez une clé de chiffrement gérée par le client.
    • Le nom du bucket de destination Google Cloud Storage utilisé pour ce transfert.
    • Facultatif: préfixe de bucket de destination Google Cloud Storage

Dépannage

Erreur 400: le compte de service n'existe pas

Problème:

L'application de configuration cloud de Transfer Appliance affiche le message suivant:

Service account SESSION_ID@transfer-appliance-zimbru.iam.gserviceaccount.com
does not exist.

SESSION_ID est l'ID de session fourni à l'application de configuration cloud de Transfer Appliance.

Solution :

Vérifiez l'ID de session de votre transfert. L'ID de session est unique pour chaque session de transfert et partagé par l'équipe Transfer Appliance. Si vous n'avez pas reçu d'ID de session, contactez data-support@google.com.

Erreur: Répertorier les emplacements KMS

Problème:

L'application de configuration cloud de Transfer Appliance affiche le message suivant:

Error: listing kms locations

Solution :

Procédez comme suit dans Cloud Shell:

  1. Ré-authentifiez-vous en exécutant gcloud auth login.

  2. Relancer l'application de configuration cloud de Transfer Appliance

Si l'erreur persiste, contactez l'équipe Transfer Appliance à l'adresse data-support@google.com.

Erreur: Création d'une erreur de contrainte de clé Cloud KMS

Problème:

L'application de configuration cloud de Transfer Appliance affiche un message semblable à celui-ci:

Error: creating cloud kms key violates constraint error: code = FailedPrecondition
desc= europe-west6 violates constraint 'constraints/gcp.resourceLocations' on
the resource 'projects/test/locations/europe-west6'

Solution :

Votre projet Google Cloud peut disposer de règles d'administration qui interdisent la création de clés Cloud Key Management Service dans certains emplacements. Voici les solutions possibles:

  • Choisissez un autre emplacement pour créer la clé Cloud Key Management Service.
  • Mettez à jour la règle d'administration pour autoriser la création de clés Cloud Key Management Service à l'emplacement souhaité.

Pour en savoir plus, consultez la page Restreindre les emplacements de ressources.