Addestra un modello ML con PyTorch

Questo tutorial descrive come eseguire un job di addestramento che utilizza Framework di machine learning PyTorch. La il tutorial descrive come la configurazione del job per l'utilizzo di PyTorch differisce leggermente da utilizzando altri framework ML supportati da AI Platform Training. Poi ti mostra come di eseguire un job di addestramento utilizzando il codice PyTorch di esempio che addestra un modello in base dati di Viaggi in taxi a Chicago del set di dati.

Il tutorial mostra anche come utilizzare PyTorch con le GPU e con l'ottimizzazione degli iperparametri.

Container PyTorch

Versioni di runtime di AI Platform Training non includere PyTorch come dipendenza. Per eseguire invece un job di addestramento che utilizza PyTorch, specifica un container PyTorch predefinito per consentire ad AI Platform Training di per gli utilizzi odierni.

La configurazione di un container predefinito per l'addestramento utilizza una parte della stessa sintassi configurando un container personalizzato. Tuttavia, non devi creare un container Docker, specificare invece l'URI di un un'immagine container fornita da AI Platform e fornisce un addestramento Python personalizzato che hai creato.

AI Platform fornisce i seguenti container PyTorch predefiniti:

URI immagine container Versione PyTorch Processori supportati
gcr.io/cloud-ml-public/training/pytorch-xla.1-11 1,11 CPU, TPU
gcr.io/cloud-ml-public/training/pytorch-gpu.1-11 1,11 GPU
gcr.io/cloud-ml-public/training/pytorch-xla.1-10 1,10 CPU, TPU
gcr.io/cloud-ml-public/training/pytorch-gpu.1-10 1,10 GPU
gcr.io/cloud-ml-public/training/pytorch-xla.1-9 1.9 CPU, TPU
gcr.io/cloud-ml-public/training/pytorch-gpu.1-9 1.9 GPU
gcr.io/cloud-ml-public/training/pytorch-xla.1-7 1,7 CPU, TPU
gcr.io/cloud-ml-public/training/pytorch-gpu.1-7 1,7 GPU
gcr.io/cloud-ml-public/training/pytorch-xla.1-6 1.6 CPU, TPU
gcr.io/cloud-ml-public/training/pytorch-gpu.1-6 1.6 GPU
gcr.io/cloud-ml-public/training/pytorch-cpu.1-4 1.4 CPU
gcr.io/cloud-ml-public/training/pytorch-gpu.1-4 1.4 GPU

Queste immagini container derivano da Deep Learning Containers e includi le dipendenze fornita da Container di deep learning.

Se vuoi utilizzare una versione di PyTorch non disponibile in una delle di container, segui la guida all'utilizzo di una container.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the AI Platform Training & Prediction API.

    Enable the API

  5. Install the Google Cloud CLI.

  6. To initialize the gcloud CLI, run the following command: 

    gcloud init

  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Enable the AI Platform Training & Prediction API.

    Enable the API

  10. Install the Google Cloud CLI.

  11. To initialize the gcloud CLI, run the following command: 

    gcloud init

Download del codice di esempio

Esegui questi comandi per scaricare l'applicazione di addestramento PyTorch di esempio e passa alla directory con l'applicazione di addestramento:

git clone --depth=1 \
  https://github.com/GoogleCloudPlatform/ai-platform-samples.git

cd ai-platform-samples/training/pytorch/structured/python_package

Facoltativamente, esamina la struttura del codice di addestramento:

ls -pR

La directory trainer/ contiene l'applicazione di addestramento PyTorch e setup.py fornisce i dettagli di configurazione per pacchettizzare l'addestramento un'applicazione.

Creazione di un bucket Cloud Storage

Crea un bucket Cloud Storage per archiviare il codice di addestramento pacchettizzato e gli artefatti del modello creati dal job di addestramento. Esegui questo comando:

gcloud storage buckets create gs://BUCKET_NAME --location=us-central1

Sostituisci BUCKET_NAME con un nome univoco di tua scelta per il tuo di sincronizzare la directory di una VM con un bucket. Scopri di più sui requisiti per i nomi dei bucket.

In alternativa, puoi utilizzare un bucket Cloud Storage esistente nel tuo progetto Google Cloud. Per questo tutorial, assicurati di utilizzare un bucket Regione us-central1.

Addestramento di un modello PyTorch

Questo tutorial mostra diversi modi per addestrare un modello PyTorch su AI Platform Training:

  • Su un'istanza di una macchina virtuale (VM) con un processore CPU
  • Su una VM con un processore GPU
  • Utilizzo dell'ottimizzazione degli iperparametri (su una VM con un processore CPU)

Scegli subito una di queste modalità e segui le istruzioni nelle schede corrispondenti per il resto di questo tutorial. Poi puoi ripetere questa sezione se vuoi di provare ad eseguire l'addestramento con una delle altre configurazioni.

Preparazione per la creazione di un job di addestramento

Prima di creare un job di addestramento, assicurati che il codice di addestramento sia pronto specificare alcune opzioni di configurazione nel tuo ambiente locale.

CPU

Imposta diverse variabili Bash da utilizzare quando crei il job di addestramento:

BUCKET_NAME=BUCKET_NAME
JOB_NAME=getting_started_pytorch_cpu
JOB_DIR=gs://${BUCKET_NAME}/${JOB_NAME}/models

Sostituisci BUCKET_NAME con il nome dell'istanza di Cloud Storage che hai creato in una sezione precedente.

GPU

  1. Assicurati che il codice di addestramento PyTorch sia a conoscenza della GPU sulla VM che utilizzato dal job di addestramento, in modo che PyTorch sposti tensori e moduli GPU in modo appropriato.

    Se utilizzi il codice campione fornito, non devi fare nulla, perché il codice campione contiene la logica per rilevare se la macchina che esegue ha una GPU:

    cuda_availability = torch.cuda.is_available()
if cuda_availability:
  device = torch.device('cuda:{}'.format(torch.cuda.current_device()))
else:
  device = 'cpu'

    Se modifichi il codice di addestramento, leggi la guida di PyTorch a CUDA. semantica a per assicurarti che venga utilizzata la GPU.

  2. Imposta diverse variabili Bash da utilizzare quando crei il job di addestramento:

    BUCKET_NAME=BUCKET_NAME
JOB_NAME=getting_started_pytorch_gpu
JOB_DIR=gs://${BUCKET_NAME}/${JOB_NAME}/models

    Sostituisci BUCKET_NAME con il nome del bucket Cloud Storage che hai creato in una sezione precedente.

Ottimizzazione degli iperparametri

Il codice campione per questo tutorial ottimizza il tasso di apprendimento e la dimensione del batch parametri per ridurre al minimo la perdita di test.

  1. Assicurati che il codice di addestramento sia pronto per l'ottimizzazione degli iperparametri in AI Platform Training:

  2. Esegui il seguente comando per creare un file config.yaml che specifica le opzioni di ottimizzazione degli iperparametri:

    cat > config.yaml <<END
trainingInput:
  hyperparameters:
    goal: MINIMIZE
    hyperparameterMetricTag: test_loss
    maxTrials: 2
    maxParallelTrials: 2
    enableTrialEarlyStopping: True
    params:
    - parameterName: learning-rate
      type: DOUBLE
      minValue: 0.0001
      maxValue: 1
      scaleType: UNIT_LOG_SCALE
    - parameterName: batch-size
      type: INTEGER
      minValue: 1
      maxValue: 256
      scaleType: UNIT_LINEAR_SCALE
END

    Queste opzioni ottimizzano gli iperparametri --learning-rate e --batch-size per ridurre al minimo la perdita del modello.

  3. Imposta diverse variabili Bash da utilizzare quando crei il job di addestramento:

    BUCKET_NAME=BUCKET_NAME
JOB_NAME=getting_started_pytorch_hptuning
JOB_DIR=gs://${BUCKET_NAME}/${JOB_NAME}/models

    Sostituisci BUCKET_NAME con il nome del bucket Cloud Storage che hai creato in una sezione precedente.

Queste variabili Bash hanno i seguenti scopi:

  • JOB_NAME è un identificatore per il job AI Platform Training. Deve essere è univoco tra i job AI Platform Training nel tuo progetto Google Cloud.
  • JOB_DIR viene utilizzato da AI Platform Training per determinare dove esattamente per caricare la tua applicazione di addestramento. L'applicazione di addestramento utilizza anche JOB_DIR per determinare dove esportare gli artefatti del modello al termine dell'addestramento.

Creazione di un job di addestramento

Esegui il comando seguente per creare un job di addestramento:

CPU

gcloud ai-platform jobs submit training ${JOB_NAME} \
  --region=us-central1 \
  --master-image-uri=gcr.io/cloud-ml-public/training/pytorch-xla.1-10 \
  --scale-tier=BASIC \
  --job-dir=${JOB_DIR} \
  --package-path=./trainer \
  --module-name=trainer.task \
  -- \
  --train-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_train.csv \
  --eval-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_eval.csv \
  --num-epochs=10 \
  --batch-size=100 \
  --learning-rate=0.001

GPU

gcloud ai-platform jobs submit training ${JOB_NAME} \
  --region=us-central1 \
  --master-image-uri=gcr.io/cloud-ml-public/training/pytorch-gpu.1-10 \
  --scale-tier=CUSTOM \
  --master-machine-type=n1-standard-8 \
  --master-accelerator=type=nvidia-tesla-p100,count=1 \
  --job-dir=${JOB_DIR} \
  --package-path=./trainer \
  --module-name=trainer.task \
  -- \
  --train-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_train.csv \
  --eval-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_eval.csv \
  --num-epochs=10 \
  --batch-size=100 \
  --learning-rate=0.001

Ottimizzazione degli iperparametri

gcloud ai-platform jobs submit training ${JOB_NAME} \
  --region=us-central1 \
  --master-image-uri=gcr.io/cloud-ml-public/training/pytorch-xla.1-10 \
  --scale-tier=BASIC \
  --job-dir=${JOB_DIR} \
  --package-path=./trainer \
  --module-name=trainer.task \
  --config=config.yaml \
  -- \
  --train-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_train.csv \
  --eval-files=gs://cloud-samples-data/ai-platform/chicago_taxi/training/small/taxi_trips_eval.csv \
  --num-epochs=10

Leggi la guida ai job di formazione per informazioni sul di configurazione e come utilizzarli per personalizzare l'addestramento.

Il comando restituisce un messaggio simile al seguente:

Job [JOB_NAME] submitted successfully.
Your job is still active. You may view the status of your job with the command

  $ gcloud ai-platform jobs describe JOB_NAME

or continue streaming the logs with the command

  $ gcloud ai-platform jobs stream-logs JOB_NAME
jobId: JOB_NAME
state: QUEUED

Puoi monitorare lo stato del job con il seguente comando:

gcloud ai-platform jobs describe ${JOB_NAME}

Puoi trasmettere i log di addestramento del job con il seguente comando:

gcloud ai-platform jobs stream-logs ${JOB_NAME}

Al termine del job di addestramento, il modello ML addestrato viene salvato in un file denominato model.pth in una directory con timestamp all'interno della directory JOB_DIR Cloud Storage che hai specificato.

Passaggi successivi