Se connecter aux buckets Cloud Storage

Cette page présente Cloud Storage, une solution de stockage des données de machine learning, et explique comment donner à votre ressource Cloud TPU l'accès aux objets de données sur Cloud Storage.

Avant de commencer

  1. Créez un compte de service Cloud TPU pour votre projet.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    La commande renvoie un compte de service Cloud TPU au format suivant :

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    
  2. Suivez les instructions du Guide de démarrage rapide Cloud TPU ou du document Créer et supprimer des ressources TPU pour configurer votre projet Google Cloud, créer une VM Compute Engine et créer une ressource Cloud TPU.

Écrire des données dans Cloud Storage

Console

  1. Accédez à la page "Cloud Storage" de Cloud Console.

    Accéder à la page Cloud Storage

  2. Créez un bucket en spécifiant les options suivantes :

    • Un nom unique de votre choix
    • Classe de stockage par défaut : Standard
    • Zone : us-central1

gsutil

  1. Exécutez la commande gsutil mb pour créer un bucket Cloud Storage :

    gsutil mb -l region gs://bucket-name/

    où :

    • region est la région dans laquelle vous avez créé le Cloud TPU. Exemple : us-central1. Cloud TPU est disponible dans les régions suivantes :

      US

      Cloud TPU v2 et TPU préemptif v2 us-central1
      Cloud TPU v3 et TPU préemptif v3 us-central1
      Pod Cloud TPU v2 (bêta) us-central1

      Europe

      Cloud TPU v2 et TPU préemptif v2 europe-west4
      Cloud TPU v3 et TPU préemptif v3 europe-west4
      Pod Cloud TPU v2 (bêta) europe-west4
      Pod Cloud TPU v3 (bêta) europe-west4

      Asie-Pacifique

      Cloud TPU v2 et TPU préemptif v2 asia-east1
    • bucket-name est le nom du bucket que vous souhaitez créer.

  2. Exécutez la commande gsutil cp pour écrire des fichiers dans le bucket Cloud Storage :

    gsutil cp -r local-data-dir gs://bucket-name

    local-data-dir est un chemin d'accès local à vos données. Par exemple :$HOME/your-data

Donner à la ressource Cloud TPU l'accès à Cloud Storage

Vous devez octroyer à votre Cloud TPU un accès en lecture/écriture à vos objets Cloud Storage. Pour ce faire, vous devez attribuer l'accès requis au compte de service Cloud TPU utilisé par Cloud TPU. Suivez ces étapes pour trouver le compte de service Cloud TPU et accorder l'accès nécessaire :

Autoriser le compte de service Cloud TPU

Si vous stockez des données d'entraînement sur Cloud Storage, le compte de service Cloud TPU doit disposer d'autorisations en lecture et en écriture sur le bucket.

Console

  1. Accédez à la page du navigateur Cloud Storage pour afficher les buckets que vous possédez.

    Accéder au navigateur Cloud Storage

  2. Accédez au bucket dont vous souhaitez modifier la liste de contrôle d'accès.

  3. Dans ce bucket, sélectionnez Edit Bucket Permissions.

  4. Si vous effectuez des opérations de lecture à partir de ce bucket, vous devez autoriser le compte de service TPU à lire des données à partir de cette ressource. Pour ce faire, attribuez le rôle Storage Legacy > Storage Legacy Bucket Reader au compte de service.

  5. Si vous effectuez des opérations d'écriture dans ce bucket, vous devez autoriser le compte de service TPU à écrire des données dans cette ressource. Pour ce faire, attribuez le rôle Storage Legacy > Storage Legacy Bucket Writer au compte de service.

gsutil

  1. Si vous effectuez des opérations de lecture à partir de ce bucket, octroyez une autorisation de lecture au compte de service Cloud TPU :

     gsutil acl ch -u tpu-service-account:READER gs://bucket-name

  2. Si vous effectuez des opérations d'écriture dans ce bucket, octroyez une autorisation d'écriture au compte de service Cloud TPU :

     gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name

Utiliser des autorisations IAM pour Cloud TPU (solution alternative)

Si vous souhaitez accorder des autorisations plus larges au lieu de définir explicitement l'accès à chaque bucket dans la liste blanche, vous pouvez attribuer le rôle IAM (Identity and Access Management) "Administrateur de l'espace de stockage" au compte de service Cloud TPU.

  1. Accédez à la page "Cloud IAM" de votre projet.

    Accéder à IAM

  2. Cliquez sur le bouton +Ajouter pour ajouter des membres au projet.

  3. Saisissez le nom du compte de service Cloud TPU dans la zone de texte Membres.

  4. Cliquez sur la liste déroulante Rôles.

  5. Activez les rôles suivants :

    • Projet > Lecteur

    • Cloud Storage > Administrateur de l'espace de stockage

Étape suivante