Utilizzo di Cloud Storage

AI Platform Training legge i dati dalle località di Cloud Storage in cui si trovano hai ottenuto l'accesso al tuo progetto AI Platform Training. Questa pagina fornisce una breve guida all'utilizzo di Cloud Storage con AI Platform Training.

Panoramica

L'utilizzo di Cloud Storage è obbligatorio o consigliato per i seguenti aspetti di Servizi di AI Platform Training:

  • Gestione temporanea dell'applicazione di addestramento e delle dipendenze personalizzate.
  • Archiviazione dei dati di input di addestramento, ad esempio dati tabulari o di immagine.
  • Archiviazione dei dati di output di addestramento.

Considerazioni sulle regioni

Quando crei un bucket Cloud Storage da utilizzare con AI Platform Training devono:

  • Assegnalo a una regione di computing specifica, non a un valore multiregionale.
  • Utilizza la stessa regione in cui esegui i job di addestramento.

Scopri di più sulle Regioni in cui è disponibile AI Platform Training.

Configurazione dei bucket Cloud Storage

Questa sezione mostra come creare un nuovo bucket. Puoi utilizzare un modello esistente ma deve trovarsi nella stessa regione in cui prevedi di eseguire AI Platform di lavoro. Inoltre, se non fa parte del progetto che utilizzi per eseguire AI Platform Training, devi esplicitamente concedere agli account di servizio AI Platform Training.

  1. Specifica un nome per il nuovo bucket. Il nome deve essere univoco in tutti in Cloud Storage.

    BUCKET_NAME="YOUR_BUCKET_NAME"

    Ad esempio, utilizza il nome del progetto con -aiplatform aggiunto: 

    PROJECT_ID=$(gcloud config list project --format "value(core.project)")
BUCKET_NAME=${PROJECT_ID}-aiplatform

  2. Controlla il nome del bucket che hai creato.

    echo $BUCKET_NAME

  3. Seleziona una regione per il bucket e imposta una variabile di ambiente REGION.

    Utilizza la stessa regione in cui prevedi di eseguire AI Platform Training di lavoro. Consulta le regioni disponibili per i servizi AI Platform Training.

    Ad esempio, il seguente codice crea REGION e lo imposta su us-central1: 

    REGION=us-central1

  4. Crea il nuovo bucket:

    gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION

Organizzazione del modello nei bucket

Organizza la struttura di cartelle nel tuo bucket in modo da adattarla a molte iterazioni del modello.

  • Posiziona ogni modello salvato nella propria directory separata all'interno del tuo bucket.
  • Valuta la possibilità di utilizzare i timestamp per assegnare un nome alle directory nel tuo bucket.

Ad esempio, puoi posizionare il tuo primo modello in una struttura simile alla gs://your-bucket/your-model-DATE1/your-saved-model-file. Per assegnare un nome a per ogni iterazione successiva del modello, utilizza un modello timestamp (gs://your-bucket/your-model-DATE2/your-saved-model-file e e così via).

Accesso a Cloud Storage durante l'addestramento

Utilizza un modulo Python in grado di leggere da Cloud Storage durante l'addestramento come il client Python per Google Cloud spazio di archiviazione, di TensorFlow tf.io.gfile.GFile o pandas 0.24.0 o versioni successive. AI Platform Training si occupa dell'autenticazione.

Utilizzo di un bucket Cloud Storage di un progetto diverso

Questa sezione descrive come configurare i bucket Cloud Storage dall'esterno del tuo progetto in modo che AI Platform Training possa accedervi.

Se configuri il bucket Cloud Storage nello stesso progetto in cui ti trovi usando AI Platform Training, i tuoi account di servizio AI Platform Training disporre già delle autorizzazioni necessarie per accedere a Cloud Storage di sincronizzare la directory di una VM con un bucket.

Queste istruzioni sono fornite per i seguenti casi:

  • Non puoi utilizzare un bucket dal tuo progetto, ad esempio quando un set di dati di grandi dimensioni viene condiviso tra più progetti.
  • Se utilizzi più bucket con AI Platform Training, devi concedere l'accesso agli account di servizio AI Platform Training separatamente per ciascuno.

Passaggio 1: ottieni le informazioni richieste dal tuo progetto cloud

Console

  1. Apri la pagina IAM nella console Google Cloud.

    Apri la pagina IAM

  2. La pagina IAM mostra un elenco di tutte le entità che hanno accesso al tuo progetto, insieme ai ruoli associati. Il tuo Il progetto AI Platform Training ha più account di servizio. Individua nell'elenco l'account di servizio con il ruolo Agente di servizio Cloud ML e copia l'ID account di servizio, che ha il seguente aspetto:

    "service-111111111111@cloud-ml.google.com.iam.gserviceaccount.com".

    Devi incollare questo ID account di servizio in un'altra pagina in la console Google Cloud nei passaggi successivi.

Riga di comando

I passaggi in questa sezione contengono informazioni sul tuo Google Cloud progetto al fine di utilizzarli per modificare il controllo dell'accesso Account di servizio AI Platform Training. Devi archiviare i valori per per utilizzarlo nelle variabili di ambiente.

  1. Ottieni l'identificatore del progetto utilizzando Google Cloud CLI con il progetto selezionato:

    PROJECT_ID=$(gcloud config list project --format "value(core.project)")

  2. Per ottenere il token di accesso per il tuo progetto, utilizza gcloud:

    AUTH_TOKEN=$(gcloud auth print-access-token)

  3. Recupera le informazioni dell'account di servizio richiedendo la configurazione del progetto dal servizio REST:

    SVC_ACCOUNT=$(curl -X GET -H "Content-Type: application/json" \
    -H "Authorization: Bearer $AUTH_TOKEN" \
    https://ml.googleapis.com/v1/projects/${PROJECT_ID}:getConfig \
    | python3 -c "import json; import sys; response = json.load(sys.stdin); \
    print(response['serviceAccount'])")

Passaggio 2: configura l'accesso al bucket Cloud Storage

Console

  1. Apri la pagina Archiviazione nella console Google Cloud.

    Apri la pagina Spazio di archiviazione

  2. Seleziona il bucket Cloud Storage che utilizzi per il deployment dei modelli controllando la casella a sinistra del nome del bucket.

  3. Fai clic sul pulsante Mostra riquadro informazioni nell'angolo in alto a destra per visualizzare la scheda Autorizzazioni.

  4. Incolla l'ID dell'account di servizio nel campo Aggiungi entità. A destra di questo campo, seleziona i ruoli che ti interessano, ad esempio Lettura di bucket legacy di archiviazione.

    Se non sai quale ruolo selezionare, puoi selezionarne più di uno per visualizzarli sotto il campo Aggiungi entità, ciascuna con una breve descrizione delle relative autorizzazioni.

  5. Per assegnare i ruoli desiderati all'account di servizio, fai clic sul pulsante Aggiungi a destra del campo Aggiungi entità.

Riga di comando

Ora che hai le informazioni del tuo progetto e dell'account di servizio, aggiornare le autorizzazioni di accesso per il bucket Cloud Storage. Questi passaggi usano gli stessi nomi di variabili usati nella sezione precedente.

  1. Imposta il nome del bucket in una variabile di ambiente denominata BUCKET_NAME:

    BUCKET_NAME="your_bucket_name"

  2. Concedi all'account di servizio l'accesso in lettura agli oggetti nel bucket Cloud Storage:

    gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectReader

  3. Concedi l'accesso in scrittura:

    gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectWriter

Per scegliere un ruolo da concedere al tuo account di servizio AI Platform Training, consulta Ruoli IAM di Cloud Storage. Per per altre informazioni generali sull'aggiornamento dei ruoli IAM in Cloud Storage, consulta come concedere l'accesso a un account di servizio per una risorsa.

Passaggi successivi