Connessione ai bucket di Cloud Storage

Questa pagina illustra Cloud Storage come opzione per l'archiviazione dei dati di machine learning e dell'output dell'addestramento e descrive come concedere a Cloud TPU l'accesso agli oggetti dati su Cloud Storage.

Prima di iniziare

Per accedere a un bucket Cloud Storage, hai bisogno di un account di servizio Cloud TPU.

  1. Crea un account di servizio Cloud TPU per il tuo progetto.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

    Il comando restituisce un account di servizio Cloud TPU con il seguente formato:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

  2. Segui le istruzioni riportate nella guida rapida di Cloud TPU o nel documento sulla creazione ed eliminazione di TPU per configurare il tuo progetto Google Cloud e creare le risorse VM e TPU di Cloud TPU.

Scrittura di dati in Cloud Storage

Console

  1. Vai alla pagina Cloud Storage nella console Google Cloud.

    Vai alla pagina Cloud Storage

  2. Crea un nuovo bucket specificando le seguenti opzioni:

    • Un nome univoco a tua scelta.
    • Classe di archiviazione predefinita: Standard
    • Località: us-central1

Interfaccia a riga di comando

  1. Utilizza il comando gcloud storage buckets create per creare un bucket Cloud Storage:

    gcloud storage buckets create gs://bucket-name --location region

    dove:

    • region è la regione in cui hai creato la Cloud TPU. Per saperne di più sulle regioni e sulla disponibilità delle TPU, consulta Regioni e zone delle TPU.

    • bucket-name è il nome del bucket che vuoi creare.

  2. Utilizza il comando gcloud storage cp per scrivere file nel bucket Cloud Storage:

    gcloud storage cp -r local-data-dir gs://bucket-name

    dove local-data-dir è un percorso locale per i dati. Ad esempio:$HOME/your-data

Concedere a Cloud TPU l'accesso a Cloud Storage

Devi concedere a Cloud TPU l'accesso in lettura e scrittura ai tuoi oggetti Cloud Storage. Per farlo, devi concedere l'accesso richiesto all'account di servizio Cloud TPU utilizzato da Cloud TPU. Per trovare l'account di servizio Cloud TPU e grante l'accesso necessario:

Autorizza l'account di servizio Cloud TPU

Utilizzo di ACL granulari per Cloud TPU (opzione consigliata)

Se archivi i dati di addestramento su Cloud Storage, l'account di servizio Cloud TPU deve disporre dell'autorizzazione di lettura e scrittura sul bucket.

Console

  1. Vai alla pagina del browser di Cloud Storage per visualizzare i bucket di tua proprietà.

    Vai al browser Cloud Storage

  2. Seleziona il bucket di cui vuoi modificare l'ACL.

  3. Seleziona la scheda Permissions.

  4. Seleziona Add per aggiungere una nuova autorizzazione e digita il nome completo dell'account di servizio nella casella di modifica New Principals.

  5. Se leggi da questo bucket, devi autorizzare l'account di servizio TPU a leggere dalla risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Reader.

  6. Se stai scrivendo in questo bucket, devi autorizzare l'account di servizio TPU a scrivere nella risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Writer.

Interfaccia a riga di comando

  1. Se stai leggendo da questo bucket, concedi l'autorizzazione di lettura per l'account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer

  2. Se scrivi in questo bucket, concedi l'autorizzazione in scrittura per l'account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Utilizzo delle autorizzazioni IAM per Cloud TPU (alternativa)

Se vuoi concedere autorizzazioni più ampie anziché concedere esplicitamente l'accesso a ogni bucket, puoi concedere il ruolo Amministratore Storage di Identity Access Management (IAM) all'account di servizio Cloud TPU.

  1. Vai a IAM

  2. Fai clic sul pulsante +Aggiungi per aggiungere entità al progetto.

  3. Inserisci i nomi dell'account di servizio Cloud TPU nella casella di testo Principali.

  4. Fai clic sull'elenco a discesa Ruoli.

  5. Attiva i seguenti ruoli:

    • Progetto > Visualizzatore

    • Spazio di archiviazione > Amministratore archiviazione

Cloud Storage FUSE

Cloud Storage FUSE ti consente di montare e accedere ai bucket Cloud Storage come file system locali. In questo modo, le applicazioni possono leggere e scrivere oggetti nel bucket utilizzando la semantica del filesystem standard.

Consulta la documentazione di Cloud Storage FUSE per informazioni dettagliate sul funzionamento di Cloud Storage FUSE e una descrizione di come le operazioni di Cloud Storage FUSE vengono mappate alle operazioni di Cloud Storage. Puoi trovare altre informazioni su come utilizzare Cloud Storage FUSE, ad esempio su come installare l'interfaccia a riga di comando gcsfuse e montare i bucket su GitHub.

Passaggi successivi