Connessione ai bucket di Cloud Storage

Questa pagina presenta Cloud Storage come opzione per l'archiviazione dei dati di machine learning e dell'output di addestramento e descrive come concedere a Cloud TPU l'accesso agli oggetti dati su Cloud Storage.

Prima di iniziare

Per accedere a un bucket Cloud Storage, è necessario un account di servizio Cloud TPU.

  1. Crea un account di servizio Cloud TPU per il tuo progetto.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

    Il comando restituisce un account di servizio Cloud TPU con il seguente formato:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

  2. Segui le istruzioni riportate nella guida rapida per Cloud TPU o nel documento Creazione ed eliminazione di TPU per configurare il tuo progetto Google Cloud e creare le tue risorse VM e TPU per Cloud TPU.

Scrittura dei dati in Cloud Storage

Console

  1. Vai alla pagina di Cloud Storage nella console Google Cloud.

    Vai alla pagina di Cloud Storage

  2. Crea un nuovo bucket specificando le opzioni seguenti:

    • Un nome univoco di tua scelta.
    • Classe di archiviazione predefinita: Standard
    • Località: us-central1

CLI

  1. Usa il comando gcloud storage buckets create per creare un bucket Cloud Storage:

    gcloud storage buckets create gs://bucket-name --location region

    dove:

    • region è la regione in cui hai creato la Cloud TPU. Per ulteriori informazioni sulle regioni e sulla disponibilità di TPU, consulta Regioni e zone TPU.

    • bucket-name è il nome del bucket che vuoi creare.

  2. Utilizza il comando gcloud storage cp per scrivere file nel bucket Cloud Storage:

    gcloud storage cp -r local-data-dir gs://bucket-name

    dove local-data-dir è un percorso locale per i tuoi dati. Ad esempio:$HOME/your-data

Concedere l'accesso di Cloud TPU a Cloud Storage

Devi concedere a Cloud TPU l'accesso in lettura e scrittura agli oggetti Cloud Storage. Per farlo, devi concedere l'accesso richiesto all'account di servizio Cloud TPU utilizzato da Cloud TPU. Segui questi passaggi per trovare l'account di servizio Cloud TPU e concedere l'accesso necessario:

Autorizza l'account di servizio Cloud TPU

Utilizzo di ACL granulari per Cloud TPU (consigliato)

Se archivi dati di addestramento su Cloud Storage, l'account di servizio Cloud TPU deve disporre dell'autorizzazione di lettura e scrittura sul bucket.

Console

  1. Vai alla pagina del browser di Cloud Storage per visualizzare i bucket di tua proprietà.

    Vai al browser di Cloud Storage

  2. Seleziona il bucket di cui vuoi modificare l'ACL.

  3. Seleziona la scheda Permissions.

  4. Seleziona Add per aggiungere una nuova autorizzazione e digita il nome completo dell'account di servizio nella casella di modifica New Principals.

  5. Se stai leggendo da questo bucket, devi autorizzare l'account di servizio TPU a leggere dalla risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Reader.

  6. Se stai scrivendo in questo bucket, devi autorizzare l'account di servizio TPU a scrivere nella risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Writer.

CLI

  1. Se stai leggendo da questo bucket, concedi l'autorizzazione di lettura per l'account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer

  2. Se stai scrivendo in questo bucket, concedi l'autorizzazione di scrittura all'account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Utilizzo delle autorizzazioni IAM per Cloud TPU (alternativa)

Se vuoi concedere autorizzazioni più ampie anziché concedere esplicitamente l'accesso a ogni bucket, puoi concedere il ruolo Amministratore Storage Management (IAM) di Identity Access Management (IAM) all'account di servizio Cloud TPU.

  1. Vai a IAM

  2. Fai clic sul pulsante +Aggiungi per aggiungere entità al progetto.

  3. Inserisci i nomi dell'account di servizio Cloud TPU nella casella di testo Entità.

  4. Fai clic sull'elenco a discesa Ruoli.

  5. Abilita i seguenti ruoli:

    • Progetto > Visualizzatore

    • Storage > Amministratore Storage

Cloud Storage FUSE

Cloud Storage FUSE ti consente di montare e accedere ai bucket Cloud Storage come file system locali. Ciò consente alle applicazioni di leggere e scrivere oggetti nel bucket utilizzando la semantica standard del file system.

Consulta la documentazione di Cloud Storage FUSE per i dettagli sul funzionamento di Cloud Storage FUSE e una descrizione di come le operazioni di Cloud Storage FUSE vengono mappate alle operazioni di Cloud Storage. Puoi trovare ulteriori informazioni sull'utilizzo di Cloud Storage FUSE, ad esempio su come installare l'interfaccia a riga di comando gcsfuse e montare i bucket su GitHub.

Passaggi successivi