Se connecter aux buckets Cloud Storage
Cette page présente Cloud Storage, une solution de stockage des données de machine learning et des résultats d'entraînement, et explique comment accorder à votre Cloud TPU l'accès aux objets de données sur Cloud Storage.
Avant de commencer
Vous avez besoin d'un compte de service Cloud TPU pour accéder à un bucket Cloud Storage.
Créez un compte de service Cloud TPU pour votre projet.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
La commande renvoie un compte de service Cloud TPU au format suivant :
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Suivez les instructions du Guide de démarrage rapide pour Cloud TPU ou du document Créer et supprimer des TPU pour configurer votre projet Google Cloud et créer vos VM Cloud TPU et ressources TPU.
Écrire des données dans Cloud Storage
Console
Accédez à la page Cloud Storage de la console Google Cloud.
Créez un bucket en spécifiant les options suivantes :
- Un nom unique de votre choix
- Classe de stockage par défaut :
Standard
- Emplacement :
us-central1
CLI
Exécutez la commande
gcloud storage buckets create
pour créer un bucket Cloud Storage :gcloud storage buckets create gs://bucket-name --location region
où :
region est la région dans laquelle vous avez créé le Cloud TPU. Pour en savoir plus sur les régions et la disponibilité des TPU, consultez la page Régions et zones TPU.
bucket-name est le nom du bucket que vous souhaitez créer.
Exécutez la commande
gcloud storage cp
pour écrire des fichiers dans le bucket Cloud Storage :gcloud storage cp -r local-data-dir gs://bucket-name
où local-data-dir est un chemin d'accès local à vos données. Par exemple :
$HOME/your-data
Donner à la ressource Cloud TPU l'accès à Cloud Storage
Vous devez octroyer à votre Cloud TPU un accès en lecture et en écriture à votre Objets Cloud Storage. Pour ce faire, vous devez attribuer l'accès requis au compte de service Cloud TPU utilisé par Cloud TPU. Suivez ces étapes pour trouver le compte de service Cloud TPU et accorder l'accès nécessaire :
Autoriser le compte de service Cloud TPU
Utiliser des listes de contrôle d'accès détaillées pour Cloud TPU (solution recommandée)
Si vous stockez des données d'entraînement sur Cloud Storage, le compte de service Cloud TPU doit disposer d'autorisations en lecture et en écriture sur le bucket.
Console
Accédez à la page du navigateur Cloud Storage pour afficher les buckets que vous possédez.
Accédez à l'objet dont vous souhaitez modifier la liste de contrôle d'accès.
Sélectionnez l'onglet
Permissions
.Sélectionnez
Add
pour ajouter une autorisation et saisissez le nom complet du compte de service dans la zone de modificationNew Principals
.Si vous effectuez des opérations de lecture à partir de ce bucket, vous devez autoriser le compte de service TPU à lire des données à partir de cette ressource. Pour ce faire, attribuez le rôle
Storage Legacy > Storage Legacy Bucket Reader
au compte de service.Si vous effectuez des opérations d'écriture dans ce bucket, vous devez autoriser le compte de service TPU à écrire des données dans cette ressource. Pour ce faire, attribuez le rôle
Storage Legacy > Storage Legacy Bucket Writer
au compte de service.
CLI
Si vous effectuez des opérations de lecture à partir de ce bucket, octroyez une autorisation de lecture au compte de service Cloud TPU :
gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer
Si vous effectuez des opérations d'écriture dans ce bucket, octroyez une autorisation d'écriture au compte de service Cloud TPU :
gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator
Utiliser des autorisations IAM pour Cloud TPU (solution alternative)
Si vous souhaitez accorder des autorisations plus larges au lieu d'accorder l'accès vous pouvez accorder au Cloud Identity Access Management (IAM) d'administrateur au compte de service Cloud TPU.
Cliquez sur le bouton +Ajouter pour ajouter des comptes principaux au projet.
Saisissez le nom du compte de service Cloud TPU dans la zone de texte Comptes principaux.
Cliquez sur la liste déroulante Rôles.
Activez les rôles suivants :
Projet > Lecteur
Cloud Storage > Administrateur de l'espace de stockage
Cloud Storage FUSE
Cloud Storage FUSE vous permet installer des buckets Cloud Storage et y accéder en tant que systèmes de fichiers locaux. Cela permet applications de lecture et d'écriture d'objets dans votre bucket du système de fichiers.
Consultez la documentation Cloud Storage FUSE. pour en savoir plus sur le fonctionnement de Cloud Storage FUSE et découvrir comment Les opérations Cloud Storage FUSE correspondent aux opérations Cloud Storage. Vous trouverez des informations supplémentaires sur l'utilisation de Cloud Storage FUSE, telles que installer la CLI gcsfuse et installer des buckets GitHub.
Étape suivante
- Pour en savoir plus sur la création de buckets Cloud Storage et l'écriture de données dans consultez la documentation Créer des buckets Cloud Storage documentation.
- Pour en savoir plus sur les comptes de service, consultez la section Présentation de l'authentification.