Addestramento in un container utilizzando Google Kubernetes Engine

Questa pagina mostra come eseguire un job di addestramento in un'istanza di Deep Learning Containers e l'immagine container in un cluster Google Kubernetes Engine.

Prima di iniziare

Prima di iniziare, assicurati di aver completato i seguenti passaggi.

Completa i passaggi di configurazione nella sezione Prima di iniziare della Guida introduttiva a un container di deep learning locale.
Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud.

Scopri come abilitare la fatturazione
Abilita le API Google Kubernetes Engine, Compute Engine e Container Registry.

Abilita le API

Apri lo strumento a riga di comando

Puoi seguire questa guida utilizzando Cloud Shell o gli strumenti a riga di comando in locale. In Cloud Shell sono preinstallati gli strumenti a riga di comando gcloud, docker e kubectl utilizzati in questo tutorial. Se utilizzi Cloud Shell, non è necessario installare questi strumenti a riga di comando sulla workstation.

Cloud Shell

Per utilizzare Cloud Shell, completa i passaggi seguenti.

Vai alla console Google Cloud.
Fai clic sul pulsante Attiva Cloud Shell nella parte superiore della finestra della console.

All'interno di un nuovo frame nella parte inferiore della console si apre una sessione di Cloud Shell che mostra un prompt della riga di comando.

Riga di comando locale

Per utilizzare la riga di comando locale, completa i seguenti passaggi.

Utilizzando gcloud CLI, installa lo strumento a riga di comando Kubernetes. kubectl viene utilizzato per comunicare con Kubernetes, che è il sistema di orchestrazione dei cluster Deep Learning Containers:
```
gcloud components install kubectl
```
Hai già installato Google Cloud CLI e Docker dopo aver completato la procedura iniziali.

crea un cluster GKE

Esegui questo comando per creare un cluster a due nodi in GKE denominato pytorch-training-cluster:

gcloud container clusters create pytorch-training-cluster \
    --num-nodes=2 \
    --zone=us-west1-b \
    --accelerator="type=nvidia-tesla-p100,count=1" \
    --machine-type="n1-highmem-2" \
    --scopes="gke-default,storage-rw"

Per ulteriori informazioni su queste impostazioni, consulta la documentazione sulla creazione di cluster per l'esecuzione di container.

La creazione del cluster potrebbe richiedere diversi minuti.

In alternativa, invece di creare un cluster, puoi utilizzare un cluster esistente nel tuo progetto Google Cloud. Se lo fai, potresti dover eseguire il comando seguente per assicurarti che lo strumento a riga di comando kubectl disponga delle credenziali corrette per accedere al tuo cluster:

gcloud container clusters get-credentials YOUR_EXISTING_CLUSTER

Quindi, installa i driver del dispositivo GPU NVIDIA.

Crea il Dockerfile

Esistono molti modi per creare un'immagine container. Questi passaggi ti mostreranno come crearne uno per eseguire uno script Python denominato trainer.py.

Per visualizzare un elenco delle immagini container disponibili:

gcloud container images list \
  --repository="gcr.io/deeplearning-platform-release"

Per informazioni su come selezionare il contenitore, consulta Scelta di un contenitore.

L'esempio seguente mostra come inserire uno script Python denominato trainer.py in un tipo di container di deep learning PyTorch specifico.

Per creare il dockerfile, scrivi i seguenti comandi in un file denominato Dockerfile. Questo passaggio presuppone che tu disponga del codice per addestrare un modello di machine learning in una directory denominata model-training-code e che il modulo Python principale in quella directory sia denominato trainer.py. In questo scenario, il container verrà rimosso al termine del job, quindi lo script di addestramento deve essere configurato per l'output in Cloud Storage (vedi un esempio di script che esegue l'output in Cloud Storage) o per l'output in archiviazione permanente.

FROM gcr.io/deeplearning-platform-release/pytorch-gpu
COPY model-training-code /train
CMD ["python", "/train/trainer.py"]

Crea e carica l'immagine container

Per creare e caricare l'immagine container in Container Registry, utilizza questi comandi:

export PROJECT_ID=$(gcloud config list project --format "value(core.project)")
export IMAGE_REPO_NAME=pytorch_custom_container
export IMAGE_TAG=$(date +%Y%m%d_%H%M%S)
export IMAGE_URI=gcr.io/$PROJECT_ID/$IMAGE_REPO_NAME:$IMAGE_TAG

docker build -f Dockerfile -t $IMAGE_URI ./

docker push $IMAGE_URI

Esegui il deployment dell'applicazione

Crea un file denominato pod.yaml con i contenuti seguenti, sostituendo IMAGE_URI con l'URI dell'immagine.

apiVersion: v1
kind: Pod
metadata:
  name: gke-training-pod
spec:
  containers:
  - name: my-custom-container
    image: IMAGE_URI
    resources:
      limits:
        nvidia.com/gpu: 1

Utilizza lo strumento a riga di comando kubectl per eseguire il comando seguente ed eseguire il deployment dell'applicazione:

kubectl apply -f ./pod.yaml

Per monitorare lo stato del pod, esegui questo comando:

kubectl describe pod gke-training-pod