Connessione ai bucket di Cloud Storage

Questa pagina introduce Cloud Storage come opzione per l'archiviazione dei tuoi di machine learning e output di addestramento e descrive come fornire Accesso di Cloud TPU agli oggetti dati in Cloud Storage.

Prima di iniziare

È necessario un account di servizio di Cloud TPU per accedere a Cloud Storage di sincronizzare la directory di una VM con un bucket.

Nota: una volta configurato un account di servizio per il progetto, questo rimane impostato mentre se il progetto è attivo. non è necessario configurare l'account di servizio volta che esegui un addestramento nello stesso progetto.

1. Crea un account di servizio Cloud TPU per il tuo progetto.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   Il comando restituisce un account di servizio Cloud TPU con il seguente formato:

   [e-mail]
   

   Importante: questo comando crea un'istanza un agente di servizio, un tipo speciale di account di servizio gestito da Google che non è elencato nel tuo pagina Account di servizio nella console Google Cloud.

2. Segui le istruzioni riportate nella Guida rapida per Cloud TPU oppure il documento Creazione ed eliminazione delle TPU per configurare il tuo progetto Google Cloud e creare la tua Cloud TPU delle risorse VM e TPU.

Scrittura di dati in Cloud Storage

Nota: configura il bucket Cloud Storage nella stessa località (regione) in cui hai configurato Cloud TPU. Consulta Crea bucket per tutte le opzioni disponibili per la gestione dei bucket.

Console

1. Vai alla pagina Cloud Storage nella console Google Cloud.

   Vai alla pagina di Cloud Storage

2. Crea un nuovo bucket, specificando le seguenti opzioni:

   • Un nome univoco a tua scelta.
   • Classe di archiviazione predefinita: Standard
   • Località: us-central1

interfaccia a riga di comando

1. Utilizza il comando gcloud storage buckets create per creare un bucket Cloud Storage:

   gcloud storage buckets create gs://bucket-name --location region

   dove:

   • region è la regione in cui hai creato la Cloud TPU. Per ulteriori informazioni su regioni e disponibilità di TPU, vedi Regioni e zone TPU.

   • bucket-name è il nome del bucket che vuoi creare.

2. Utilizza il comando gcloud storage cp per scrivere file nel bucket Cloud Storage:

   gcloud storage cp -r local-data-dir gs://bucket-name

   dove local-data-dir è un percorso locale verso i tuoi dati. Ad esempio:$HOME/your-data

Concedere l'accesso di Cloud TPU a Cloud Storage

Devi concedere a Cloud TPU l'accesso in lettura e scrittura al tuo oggetti Cloud Storage. Per farlo, devi concedere l'accesso richiesto a l'account di servizio Cloud TPU usato da Cloud TPU. Segui questi passaggi per trovare l'account di servizio Cloud TPU e concedi l'accesso necessario:

Autorizza l'account di servizio Cloud TPU

Utilizzo di ACL granulari per Cloud TPU (consigliato)

Se archivi i dati di addestramento su Cloud Storage, L'account di servizio deve disporre dell'autorizzazione di lettura e scrittura sul bucket.

Console

1. Vai alla pagina del browser di Cloud Storage per visualizzare i bucket di tua proprietà.

   Vai al browser di Cloud Storage

2. Seleziona il bucket di cui vuoi modificare l'ACL.

3. Seleziona la scheda Permissions.

4. Seleziona Add per aggiungere una nuova autorizzazione e digita l'account di servizio completo nome nella casella di modifica New Principals.

5. Se stai leggendo da questo bucket, devi autorizzare il servizio TPU Account per leggere dalla risorsa. Per farlo, concedi al servizio Considera il ruolo Storage Legacy > Storage Legacy Bucket Reader.

6. Se stai scrivendo in questo bucket, devi autorizzare il servizio TPU Account per scrivere nella risorsa. Per farlo, concedi al servizio Considera il ruolo Storage Legacy > Storage Legacy Bucket Writer.

interfaccia a riga di comando

1. Se stai leggindo da questo bucket, concedi l'autorizzazione di lettura per l'account di servizio Cloud TPU:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer
    

2. Se stai scrivendo in questo bucket, concedi l'autorizzazione di scrittura per l'account di servizio Cloud TPU:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Utilizzo delle autorizzazioni IAM per Cloud TPU (alternativa)

Se vuoi concedere autorizzazioni più ampie anziché concedere l'accesso a ogni puoi concedere allo spazio di archiviazione Identity Access Management (IAM) Ruolo Amministratore per l'account di servizio Cloud TPU.

1. Vai a IAM

2. Fai clic sul pulsante +Aggiungi per aggiungere entità al progetto.

3. Inserisci i nomi dell'account di servizio Cloud TPU nel campo Casella di testo Entità.

4. Fai clic sull'elenco a discesa Ruoli.

5. Abilita i seguenti ruoli:

   • Progetto > Visualizzatore

   • Spazio di archiviazione > Amministratore Storage

Cloud Storage FUSE

Cloud Storage FUSE consente di montare e accedere ai bucket Cloud Storage come file system locali. Ciò consente per leggere e scrivere oggetti nel bucket utilizzando la semantica del file system.

Consulta la documentazione di Cloud Storage FUSE per i dettagli sul funzionamento di Cloud Storage FUSE e per una descrizione di come Le operazioni di Cloud Storage FUSE sono mappate alle operazioni di Cloud Storage. Puoi visualizzare per ulteriori informazioni sull'utilizzo di Cloud Storage FUSE, ad esempio installare l'interfaccia a riga di comando gcsfuse e montare i bucket GitHub.

Passaggi successivi

• Per ulteriori informazioni sulla creazione di bucket Cloud Storage e sulla scrittura di dati in consulta la sezione Creare bucket di Cloud Storage documentazione.
• Per ulteriori informazioni sugli account di servizio, consulta panoramica dell'autenticazione.