Connessione ai bucket di Cloud Storage

Questa pagina presenta Cloud Storage come opzione per l'archiviazione dei dati di machine learning e dell'output di addestramento e descrive come concedere a Cloud TPU l'accesso agli oggetti di dati su Cloud Storage.

Prima di iniziare

Per accedere a un bucket Cloud Storage è necessario un account di servizio Cloud TPU.

  1. Crea un account di servizio Cloud TPU per il tuo progetto.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

    Il comando restituisce un account di servizio Cloud TPU con il formato seguente:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

  2. Segui le istruzioni riportate nella guida rapida di Cloud TPU o nel documento sulla creazione e l'eliminazione di TPU per configurare il tuo progetto Google Cloud e creare le risorse VM e TPU di Cloud TPU.

Scrittura dei dati in Cloud Storage

Console

  1. Vai alla pagina Cloud Storage nella console Google Cloud.

    Vai alla pagina di Cloud Storage

  2. Crea un nuovo bucket specificando le opzioni seguenti:

    • Un nome univoco a tua scelta.
    • Classe di archiviazione predefinita: Standard
    • Località: us-central1

gsutil

  1. Utilizza il comando gsutil mb per creare un bucket Cloud Storage:

    gsutil mb -l region gs://bucket-name/

    dove:

    • region è la regione in cui hai creato Cloud TPU. Ad esempio: us-central1. Cloud TPU è disponibile nelle seguenti regioni:

      US

      Cloud TPU v2 e Preemptible v2 us-central1
      Cloud TPU v3 e Preemptible v3 us-central1
      Cloud TPU v4 e Preemptible v4 us-central2
      Pod di Cloud TPU v2 us-central1
      Pod Cloud TPU v4 us-central2

      Europa

      Cloud TPU v2 e Preemptible v2 europe-west4
      Cloud TPU v3 e Preemptible v3 europe-west4
      Pod di Cloud TPU v2 europe-west4
      Pod di Cloud TPU v3 europe-west4

      Asia Pacifico

      Cloud TPU v2 e Preemptible v2 asia-east1

    • bucket-name è il nome del bucket che vuoi creare.

  2. Utilizza il comando gsutil cp per scrivere file nel bucket Cloud Storage:

    gsutil cp -r local-data-dir gs://bucket-name

    dove local-data-dir è un percorso locale verso i tuoi dati. Ad esempio:$HOME/your-data

Concedere a Cloud TPU l'accesso a Cloud Storage

Devi concedere a Cloud TPU l'accesso in lettura/scrittura agli oggetti Cloud Storage. Per farlo, devi concedere l'accesso richiesto all'account di servizio Cloud TPU utilizzato da Cloud TPU. Segui questi passaggi per trovare l'account di servizio Cloud TPU e concedere l'accesso necessario:

Autorizza l'account di servizio Cloud TPU

Se archivi i dati di addestramento su Cloud Storage, l'account di servizio Cloud TPU deve avere l'autorizzazione di lettura e scrittura per il bucket.

Console

  1. Vai alla pagina del browser Cloud Storage per visualizzare i bucket di tua proprietà.

    Vai al browser di Cloud Storage

  2. Seleziona il bucket di cui vuoi modificare l'ACL.

  3. Seleziona la scheda Permissions.

  4. Seleziona Add per aggiungere una nuova autorizzazione e digita il nome completo dell'account di servizio nella casella di modifica New Principals.

  5. Se stai leggendo da questo bucket, devi autorizzare l'account di servizio TPU a leggere dalla risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Reader.

  6. Se stai scrivendo in questo bucket, devi autorizzare l'account di servizio TPU a scrivere nella risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Writer.

gsutil

  1. Se stai leggendo da questo bucket, concedi l'autorizzazione di lettura all'account di servizio Cloud TPU:

     gsutil acl ch -u tpu-service-account:READER gs://bucket-name

  2. Se stai scrivendo in questo bucket, concedi l'autorizzazione di scrittura all'account di servizio Cloud TPU:

     gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name

Utilizzo delle autorizzazioni IAM per Cloud TPU (alternativa)

Se vuoi concedere autorizzazioni più ampie anziché autorizzare l'accesso a ciascun bucket in modo esplicito, puoi concedere il ruolo Amministratore Storage di Identity Access Management (IAM) all'account di servizio Cloud TPU.

  1. Vai alla pagina IAM del progetto.

    Vai a IAM

  2. Fai clic sul pulsante +Aggiungi per aggiungere entità al progetto.

  3. Inserisci i nomi dell'account di servizio Cloud TPU nella casella di testo Entità.

  4. Fai clic sull'elenco a discesa Ruoli.

  5. Abilita i seguenti ruoli:

    • Progetto > Visualizzatore

    • Archiviazione > Amministratore Storage

Cloud Storage FUSE

Cloud Storage FUSE ti consente di montare e accedere ai bucket Cloud Storage come file system locali. Ciò consente alle applicazioni di leggere e scrivere oggetti nel bucket utilizzando la semantica standard del file system.

Consulta la documentazione di Cloud Storage FUSE per maggiori dettagli sul funzionamento di Cloud Storage FUSE e una descrizione di come le operazioni di Cloud Storage FUSE vengono mappate alle operazioni di Cloud Storage. Puoi trovare ulteriori informazioni sull'utilizzo di Cloud Storage FUSE, ad esempio su come installare l'interfaccia a riga di comando gcsfuse e montare i bucket su GitHub.

Passaggi successivi