Questo tutorial mostra come addestrare un modello Keras ResNet su Cloud TPU utilizzando
tf.distribute.TPUStrategy
.
Se non hai familiarità con Cloud TPU, ti consigliamo vivamente di seguire la quickstart per il tuo framework per scoprire come creare una TPU e una VM di Compute Engine.
Obiettivi
- Crea un bucket Cloud Storage in cui inserire il set di dati e l'output del modello.
- Prepara un set di dati imagenet falso simile al set di dati ImageNet.
- Esegui il job di addestramento.
- Verifica i risultati dell'output.
Costi
In questo documento, utilizzi i seguenti componenti fatturabili di Google Cloud:
- Compute Engine
- Cloud TPU
- Cloud Storage
Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi.
Prima di iniziare
Prima di iniziare questo tutorial, verifica che il tuo progetto Google Cloud sia configurato correttamente.
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
Questa procedura dettagliata utilizza i componenti fatturabili di Google Cloud. Consulta la pagina dei prezzi di Cloud TPU per stimare i costi. Assicurati di pulire le risorse che hai creato quando hai finito di utilizzarle per evitare addebiti inutili.
Addestramento su singolo dispositivo Cloud TPU
Questa sezione fornisce informazioni sulla configurazione delle risorse Cloud Storage, VM, Cloud TPU e bucket Cloud Storage per l'addestramento di singoli dispositivi.
Apri una finestra di Cloud Shell.
Crea una variabile per l'ID del progetto.
$ export PROJECT_ID=project-id
Configura Google Cloud CLI per utilizzare il progetto in cui vuoi creare Cloud TPU.
$ gcloud config set project ${PROJECT_ID}
La prima volta che esegui questo comando in una nuova VM Cloud Shell, viene visualizzata una pagina
Authorize Cloud Shell
. Fai clic suAuthorize
in fondo alla pagina per consentire agcloud
di effettuare chiamate API con le tue credenziali.Creare un account di servizio per il progetto Cloud TPU.
Gli account di servizio consentono al servizio Cloud TPU di accedere ad altri servizi Google Cloud.
$ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
Il comando restituisce un account di servizio Cloud TPU con il seguente formato:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crea un bucket Cloud Storage utilizzando il comando seguente:
$ gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
Questo bucket Cloud Storage archivia i dati utilizzati per addestrare il modello e i risultati dell'addestramento. Il comando
gcloud
utilizzato in questo tutorial per configurare la TPU configura anche le autorizzazioni predefinite per l'account di servizio Cloud TPU che hai configurato nel passaggio precedente. Se vuoi autorizzazioni più granulari, rivedi le autorizzazioni a livello di accesso.Prepara il set di dati o utilizza fake_imagenet
ImageNet è un database di immagini. Le immagini nel database sono organizzate in una gerarchia, con centinaia e migliaia di immagini raffiguranti ogni nodo.
Questo tutorial utilizza una versione dimostrativa del set di dati completo ImageNet, definito fake_imagenet. Questa versione dimostrativa consente di testare il tutorial, riducendo al contempo i requisiti di spazio di archiviazione e di tempo normalmente associati all'esecuzione di un modello sull'intero database ImageNet.
Il set di dati finger_imagenet si trova in questa posizione su Cloud Storage:
gs://cloud-tpu-test-datasets/fake_imagenet
Il set di dati finger_imagenet è utile solo per capire come utilizzare una Cloud TPU e convalidare le prestazioni end-to-end. I valori relativi all'accuratezza e il modello salvato non saranno significativi.
Se vuoi utilizzare il set di dati ImageNet completo, consulta Download, pre-elaborazione e caricamento del set di dati ImageNet.
Avvia le risorse TPU utilizzando il comando
gcloud
. Il comando da utilizzare dipende dall'utilizzo di VM TPU o nodi TPU. Per ulteriori informazioni sull'architettura delle due VM, consulta Architettura di sistema.VM TPU
$ gcloud compute tpus tpu-vm create resnet-tutorial \ --zone=us-central2-b \ --accelerator-type=v4-8 \ --version=tpu-vm-tf-2.16.1-pjrt
Descrizioni flag comando
zone
- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type
- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per maggiori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
version
- La versione software di Cloud TPU.
Nodo TPU
gcloud compute tpus execution-groups create \ --project=${PROJECT_ID} \ --zoneus-central2-b \ --name=resnet-tutorial \ --disk-size=300 \ --machine-type=n1-standard-16 \ --accelerator-type=v3-8 \ --tf-version=2.12.0
Descrizioni flag comando
project
- L'ID del tuo progetto Google Cloud
zone
- La zona in cui prevedi di creare la Cloud TPU.
name
- Il nome della Cloud TPU da creare.
disk-size
- Le dimensioni del disco rigido in GB della VM creata dal comando
gcloud
. machine-type
- Il tipo di macchina della VM di Compute Engine da creare.
accelerator-type
- Il tipo di Cloud TPU da creare.
tf-version
- La versione di Tensorflow
gcloud
viene installata sulla VM.
Per maggiori informazioni sul comando
gcloud
, consulta la documentazione di riferimento gcloud.Se non hai eseguito automaticamente l'accesso all'istanza di Compute Engine, accedi eseguendo il comando
ssh
riportato di seguito. Quando hai eseguito l'accesso alla VM, il prompt della shell cambia dausername@projectname
ausername@vm-name
:VM TPU
$ gcloud compute tpus tpu-vm ssh resnet-tutorial --zone=us-central2-b
Nodo TPU
$ gcloud compute ssh resnet-tutorial --zone=us-central2-b
Mentre continui con queste istruzioni, esegui ogni comando che inizia con
(vm)$
nella finestra della sessione VM.Imposta la variabile del nome di Cloud TPU.
VM TPU
(vm)$ export TPU_NAME=local
Nodo TPU
(vm)$ export TPU_NAME=resnet-tutorial
Imposta le variabili dei bucket Cloud Storage
Configura le seguenti variabili di ambiente, sostituendo bucket-name con il nome del tuo bucket Cloud Storage:
(vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-2x (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
L'applicazione di addestramento prevede che i tuoi dati di addestramento siano accessibili in Cloud Storage. L'applicazione di addestramento usa anche il bucket Cloud Storage per archiviare i checkpoint durante l'addestramento.
Durante la creazione della TPU, se imposti il parametro
--version
su una versione che termina con-pjrt
, imposta le seguenti variabili di ambiente per abilitare il runtime PJRT:(vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
Installa i requisiti di TensorFlow.
Il comando da utilizzare varia a seconda che tu stia utilizzando VM TPU o nodi TPU.
VM TPU
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
Nodo TPU
(vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
Lo script di addestramento ResNet richiede un pacchetto aggiuntivo. Installalo ora:
(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3
Passa alla directory in cui è archiviato il modello:
VM TPU
(vm)$ cd /usr/share/tpu/tensorflow/resnet50_keras
Nodo TPU
(vm)$ cd /usr/share/models
Imposta la variabile di ambiente
PYTHONPATH
:VM TPU
(vm)$ /usr/share/tpu/tensorflow/resnet50_keras"
Nodo TPU
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
Esegui lo script di addestramento. Viene utilizzato un set di dati finger_imagenet e addestra ResNet per 100 passi.
VM TPU
(vm)$ resnet50.py --tpu=local --data=gs://cloud-tpu-test-datasets/fake_imagenet
Command flag descriptions
tpu
- The name of your TPU.
data
- Specifies the directory where checkpoints and summaries are stored
during model training. If the folder is missing, the program creates
one. When using a Cloud TPU, the
model_dir
must be a Cloud Storage path (gs://...
). You can reuse an existing folder to load current checkpoint data and to store additional checkpoints as long as the previous checkpoints were created using TPU of the same size and TensorFlow version.
Nodo TPU
(vm)$ python3 official/vision/train.py \ --tpu=${TPU_NAME} \ --experiment=resnet_imagenet \ --mode=train_and_eval \ --config_file=official/vision/configs/experiments/image_classification/imagenet_resnet50_tpu.yaml \ --model_dir=${MODEL_DIR} \ --params_override="task.train_data.input_path=${DATA_DIR}/train*, task.validation_data.input_path=${DATA_DIR}/validation*,task.train_data.global_batch_size=2048,task.validation_data.global_batch_size=2048,trainer.train_steps=100"
Descrizioni flag comando
tpu
- Il nome della tua TPU.
model_dir
- Specifica la directory in cui vengono archiviati i checkpoint e i riepiloghi
durante l'addestramento del modello. Se la cartella non è presente, il programma ne crea una. Quando utilizzi una Cloud TPU,
model_dir
deve essere un percorso Cloud Storage (gs://...
). Puoi riutilizzare una cartella esistente per caricare i dati dei checkpoint attuali e per archiviare checkpoint aggiuntivi, a condizione che questi siano stati creati utilizzando una TPU delle stesse dimensioni e della versione di TensorFlow.
Questa operazione addestrerà ResNet per 100 passaggi e verrà completata su un nodo TPU v3-8 entro circa 3 minuti. Al termine dei 100 passaggi, viene visualizzato un output simile al seguente:
I0624 17:04:26.974905 140457742666816 controller.py:290] eval | step: 100 | eval time: 23.3 sec | output: {'accuracy': 0.0010141226, 'top_5_accuracy': 0.0051457332, 'validation_loss': 8.448798} eval | step: 100 | eval time: 23.3 sec | output: {'accuracy': 0.0010141226, 'top_5_accuracy': 0.0051457332, 'validation_loss': 8.448798}
A questo punto hai completato l'esempio di addestramento su un singolo dispositivo. Segui questi passaggi per eliminare le risorse TPU attuali per un singolo dispositivo.
Disconnettiti dall'istanza Compute Engine:
(vm)$ exit
Il prompt dovrebbe ora essere
username@projectname
, a indicare che ti trovi in Cloud Shell.Elimina la risorsa TPU.
VM TPU
$ gcloud compute tpus tpu-vm delete resnet-tutorial \ --zone=us-central2-b
Descrizioni flag comando
zone
- La zona in cui si trovava la tua Cloud TPU.
Nodo TPU
$ gcloud compute tpus execution-groups delete resnet-tutorial \ --zone=us-central2-b
Descrizioni flag comando
zone
- La zona che contiene la TPU da eliminare.
A questo punto, puoi concludere questo tutorial ed eseguire la pulizia oppure puoi continuare ed esplorare l'esecuzione del modello sui pod di Cloud TPU.
Scalabilità del modello con i pod di Cloud TPU
L'addestramento del modello sui pod di Cloud TPU può richiedere alcune modifiche allo script di addestramento. Per informazioni, consulta Addestramento sui pod TPU.
Addestramento pod di TPU
Questa sezione fornisce informazioni sulla configurazione di un bucket Cloud Storage e risorse Cloud TPU per l'addestramento dei pod.
Apri una finestra di Cloud Shell.
Crea una variabile per l'ID del progetto.
export PROJECT_ID=project-id
Configura Google Cloud CLI per utilizzare il progetto in cui vuoi creare Cloud TPU.
gcloud config set project ${PROJECT_ID}
La prima volta che esegui questo comando in una nuova VM Cloud Shell, viene visualizzata una pagina
Authorize Cloud Shell
. Fai clic suAuthorize
in fondo alla pagina per consentire agcloud
di effettuare chiamate API Google Cloud con le tue credenziali.Creare un account di servizio per il progetto Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
Il comando restituisce un account di servizio Cloud TPU con il seguente formato:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crea un bucket Cloud Storage utilizzando il comando seguente o utilizza un bucket creato in precedenza per il tuo progetto:
gsutil mb -p ${PROJECT_ID} -c standard -l us-central2 gs://bucket-name
Questo bucket Cloud Storage archivia i dati utilizzati per addestrare il modello e i risultati dell'addestramento. Il comando
gcloud
utilizzato in questo tutorial configura le autorizzazioni predefinite per l'account di servizio Cloud TPU che hai configurato nel passaggio precedente. Se vuoi autorizzazioni più granulari, rivedi le autorizzazioni a livello di accesso.La località del bucket deve trovarsi nella stessa regione della VM TPU.
Prepara il set di dati o utilizza fake_imagenet
ImageNet è un database di immagini. Le immagini nel database sono organizzate in una gerarchia, con centinaia e migliaia di immagini raffiguranti ogni nodo.
L'addestramento predefinito dei pod accede a una versione dimostrativa del set di dati completo ImageNet, denominata fake_imagenet. Questa versione dimostrativa consente di testare l'addestramento dei pod, riducendo al contempo i requisiti di spazio di archiviazione e tempo generalmente associati all'addestramento di un modello sul database completo ImageNet.
Il set di dati finger_imagenet è utile solo per capire come utilizzare una Cloud TPU e convalidare le prestazioni end-to-end. I valori relativi all'accuratezza e il modello salvato non saranno significativi.
Se vuoi utilizzare il set di dati ImageNet completo, consulta Download, pre-elaborazione e caricamento del set di dati ImageNet.
Avvia le risorse Cloud TPU utilizzando il comando
gcloud
.Il comando da utilizzare varia a seconda che tu stia utilizzando una VM TPU o un nodo TPU. Per ulteriori informazioni sull'architettura delle due VM, consulta Architettura di sistema. Per maggiori informazioni sul comando
gcloud
, consulta la documentazione di riferimento gcloud. Questo tutorial specifica un pod v3-32. Per altre opzioni relative ai pod, consulta Versioni TPU.VM TPU
$ gcloud compute tpus tpu-vm create resnet-tutorial \ --zone=us-central2-b \ --accelerator-type=v4-32 \ --version=tpu-vm-tf-2.16.1-pod-pjrt
Descrizioni flag comando
zone
- La zona in cui prevedi di creare la Cloud TPU.
accelerator-type
- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per maggiori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, consulta Versioni TPU.
version
- La versione software di Cloud TPU.
Nodo TPU
$ gcloud compute tpus execution-groups create \ --zone=us-central2-b \ --name=resnet-tutorial \ --accelerator-type=v3-32 \ --tf-version=2.12.0
Se non hai eseguito automaticamente l'accesso all'istanza di Compute Engine, accedi eseguendo il comando
ssh
riportato di seguito. Quando hai eseguito l'accesso alla VM, il prompt della shell cambia dausername@projectname
ausername@vm-instance-name
:VM TPU
$ gcloud compute tpus tpu-vm ssh resnet-tutorial --zone=us-central2-b
Nodo TPU
$ gcloud compute ssh resnet-tutorial --zone=us-central2-b
Mentre continui con queste istruzioni, esegui ogni comando che inizia con
(vm)$
nella finestra della sessione VM.Esporta variabili di configurazione di Cloud TPU:
(vm)$ export ZONE=us-central2-b (vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export TPU_NAME=resnet-tutorial (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-2x-pod
L'applicazione di addestramento prevede che i tuoi dati di addestramento siano accessibili in Cloud Storage. L'applicazione di addestramento usa il tuo bucket Cloud Storage per archiviare i checkpoint durante l'addestramento.
Lo script di addestramento ResNet richiede un pacchetto aggiuntivo. Installalo ora.
VM TPU
(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3
Nodo TPU
(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3
Installa i requisiti di TensorFlow.
Il comando da utilizzare varia a seconda che tu stia utilizzando VM TPU o nodi TPU.
VM TPU
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
Nodo TPU
(vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
Imposta la variabile di ambiente
PYTHONPATH
:VM TPU
(vm)$ export PYTHONPATH="PYTHONPATH=/usr/share/tpu/tensorflow/resnet50_keras" (vm)$ export TPU_LOAD_LIBRARY=0
Nodo TPU
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
Passa alla directory in cui è archiviato il modello:
VM TPU
(vm)$ cd /usr/share/tpu/tensorflow/resnet50_keras
Nodo TPU
(vm)$ cd /usr/share/models
Addestrare il modello.
(vm)$ resnet50.py --tpu=${TPU_NAME} --data=gs://cloud-tpu-test-datasets/fake_imagenet
Descrizioni flag comando
tpu
- Il nome della tua TPU.
data
- Specifica la directory in cui vengono archiviati i checkpoint e i riepiloghi
durante l'addestramento del modello. Se la cartella non è presente, il programma ne crea una. Quando utilizzi una Cloud TPU,
model_dir
deve essere un percorso Cloud Storage (gs://...
). Puoi riutilizzare una cartella esistente per caricare i dati dei checkpoint attuali e per archiviare checkpoint aggiuntivi, a condizione che questi siano stati creati utilizzando Cloud TPU delle stesse dimensioni e versione di TensorFlow.
Questa procedura addestra il modello sul set di dati fake_imagenet a 100 passaggi di addestramento e a 13 passaggi di valutazione. Questo addestramento richiede circa 2 minuti su una Cloud TPU v3-32. Al termine dell'addestramento e della valutazione, vengono visualizzati messaggi simili ai seguenti:
{'accuracy': 0.0009716797, 'learning_rate': 0.10256411, 'top_5_accuracy': 0.0049560545, 'training_loss': 8.5587225} train | step: 100 | steps/sec: 1.2 | output: {'accuracy': 0.0009716797, 'learning_rate': 0.10256411, 'top_5_accuracy': 0.0049560545, 'training_loss': 8.5587225} eval | step: 100 | eval time: 24.8 sec | output: {'accuracy': 0.0010141226, 'top_5_accuracy': 0.004356971, 'validation_loss': 8.50038} eval | step: 100 | eval time: 24.8 sec | output: {'accuracy': 0.0010141226, 'top_5_accuracy': 0.004356971, 'validation_loss': 8.50038}
Esegui la pulizia
Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Disconnettiti dall'istanza di Compute Engine, se non lo hai già fatto:
(vm)$ exit
Il prompt dovrebbe ora essere
username@projectname
, a indicare che ti trovi in Cloud Shell.Elimina le risorse Cloud TPU e Compute Engine. Il comando da utilizzare per eliminare le risorse dipende dall'utilizzo di VM TPU o nodi TPU. Per ulteriori informazioni, consulta Architettura di sistema.
VM TPU
$ gcloud compute tpus tpu-vm delete resnet-tutorial \ --zone=us-central2-b
Nodo TPU
$ gcloud compute tpus execution-groups delete resnet-tutorial \ --zone=us-central2-b
Verifica che le risorse siano state eliminate eseguendo
gcloud compute tpus execution-groups list
. L'eliminazione potrebbe richiedere diversi minuti. L'output del comando seguente non deve includere nessuna delle risorse TPU create in questo tutorial:VM TPU
$ gcloud compute tpus tpu-vm list --zone=us-central2-b
Nodo TPU
$ gcloud compute tpus execution-groups list --zone=us-central2-b
Esegui
gsutil
come mostrato, sostituendo bucket-name con il nome del bucket Cloud Storage che hai creato per questo tutorial:$ gsutil rm -r gs://bucket-name
Passaggi successivi
I tutorial su TensorFlow Cloud TPU in genere addestrano il modello utilizzando un set di dati di esempio. I risultati di questo addestramento non sono utilizzabili per l'inferenza. Per utilizzare un modello per l'inferenza, puoi addestrare i dati su un set di dati disponibile pubblicamente o sul tuo set di dati. I modelli TensorFlow addestrati sulle Cloud TPU in genere richiedono che i set di dati siano in formato TFRecord.
Puoi utilizzare l'esempio dello strumento di conversione del set di dati per convertire un set di dati di classificazione delle immagini nel formato TFRecord. Se non utilizzi un modello di classificazione delle immagini, dovrai convertire manualmente il set di dati nel formato TFRecord. Per ulteriori informazioni, consulta TFRecord e tf.Example.
Ottimizzazione degli iperparametri
Per migliorare le prestazioni del modello con il set di dati, puoi ottimizzare gli iperparametri del modello. Puoi trovare informazioni sugli iperparametri comuni a tutti i modelli supportati da TPU su GitHub. Puoi trovare informazioni sugli iperparametri specifici nel codice sorgente di ciascun modello. Per ulteriori informazioni sull'ottimizzazione degli iperparametri, consulta Panoramica dell'ottimizzazione degli iperparametri e degli iperparametri.
Inferenza
Una volta addestrato il modello, puoi utilizzarlo per l'inferenza (detta anche previsione). Puoi utilizzare lo strumento di conversione di inferenza Cloud TPU per preparare e ottimizzare un modello TensorFlow per l'inferenza su Cloud TPU v5e. Per ulteriori informazioni sull'inferenza su Cloud TPU v5e, consulta l'introduzione all'inferenza di Cloud TPU v5e.
- Scopri come addestrare e valutare utilizzando i tuoi dati al posto dei set di dati fake_imagenet o ImageNet seguendo il tutorial sulla conversione del set di dati. Il tutorial spiega come utilizzare lo script di esempio del convertitore di dati per la classificazione delle immagini per convertire un set di dati non elaborato per la classificazione delle immagini in TFRecord utilizzabili dai modelli di Cloud TPU Tensorflow.
- Esegui una colab di Cloud TPU che dimostri come eseguire un modello di classificazione delle immagini utilizzando i tuoi dati delle immagini.
- Esplora gli altri tutorial su Cloud TPU.
- Scopri come utilizzare gli strumenti di monitoraggio TPU in TensorBoard.
- Scopri come addestrare ResNet con Cloud TPU e GKE.