Addestramento di Resnet50 su Cloud TPU con PyTorch

---

Questo tutorial mostra come addestrare il modello ResNet-50 su un dispositivo Cloud TPU con PyTorch. Puoi applicare lo stesso pattern ad altri modelli di classificazione delle immagini ottimizzati per TPU che utilizzano PyTorch e il set di dati ImageNet.

Il modello in questo tutorial si basa sul Deep Residual Learning per il riconoscimento delle immagini, che introduce per la prima volta l'architettura della rete di residui (ResNet). Il tutorial utilizza la variante con 50 livelli, ResNet-50, e mostra l'addestramento del modello utilizzando PyTorch/XLA.

Avviso: questo tutorial utilizza un set di dati di terze parti. Google non fornisce dichiarazioni, assicurazioni o garanzie di alcun genere circa la validità o qualsiasi altro aspetto riguardante questo set di dati.

Obiettivi

• Prepara il set di dati.
• Esegui il job di addestramento.
• Verifica i risultati dell'output.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Compute Engine
• Cloud TPU

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi Google Cloud utenti potrebbero avere diritto a una prova gratuita.

Prima di iniziare

Prima di iniziare questo tutorial, controlla che il Google Cloud progetto sia configurato correttamente.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

Questa procedura dettagliata utilizza i componenti fatturabili di Google Cloud. Consulta la pagina Prezzi per Cloud TPU per stimare i costi. Una volta terminato il loro utilizzo, assicurati di eseguire la pulizia delle risorse create per evitare addebiti superflui.

Crea una VM TPU

1. Apri una finestra di Cloud Shell.

   Apri Cloud Shell

2. Crea una VM TPU

   gcloud compute tpus tpu-vm create your-tpu-name \
   --accelerator-type=v3-8 \
   --version=tpu-ubuntu2204-base \
   --zone=us-central1-a \
   --project=your-project

   Nota: la prima volta che esegui un comando in una nuova VM Cloud Shell, viene visualizzata una paginaAuthorize Cloud Shell. Fai clic su Authorize nella parte inferiore della pagina per consentire a gcloud di effettuare chiamate API con le tue credenziali.
   Google Cloud

3. Connettiti alla VM TPU tramite SSH:

   gcloud compute tpus tpu-vm ssh  your-tpu-name --zone=us-central1-a

4. Installa PyTorch/XLA sulla VM TPU:

   (vm)$ pip install torch torch_xla[tpu] torchvision -f https://storage.googleapis.com/libtpu-releases/index.html -f https://storage.googleapis.com/libtpu-wheels/index.html

5. Clona il repository GitHub di PyTorch/XLA

   (vm)$ git clone --depth=1 https://github.com/pytorch/xla.git

6. Esegui lo script di addestramento con dati falsi

   (vm) $ PJRT_DEVICE=TPU python3 xla/test/test_train_mp_imagenet.py --fake_data --batch_size=256 --num_epochs=1

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

1. Disconnettiti dalla VM TPU:

   (vm) $ exit

   Il tuo prompt dovrebbe ora essere username@projectname, a indicare che ti trovi in Cloud Shell.

2. Elimina la VM TPU.

   $ gcloud compute tpus tpu-vm delete your-tpu-name \
      --zone=us-central1-a

Passaggi successivi

• Addestramento dei modelli di diffusione con PyTorch
• Risoluzione dei problemi di PyTorch su TPU
• Documentazione di Pytorch/XLA