Se non hai dimestichezza con Cloud TPU, ti consigliamo vivamente di passa attraverso guida rapida per scoprire come per creare una VM TPU.
Questo tutorial mostra come addestrare un modello Transformer su Cloud TPU. Transformer è un'architettura di rete neurale che risolve da sequenza a sequenza problemi usando i meccanismi di attenzione. A differenza dei tradizionali modelli seq2seq neurali, Il trasformatore non prevede connessioni ricorrenti. Il meccanismo di attenzione apprende le dipendenze tra i token in due sequenze. Poiché l'attenzione viene ponderata applicabili a tutti i token nelle sequenze, il modello Transformer è in grado di e acquisire dipendenze a lunga distanza.
La struttura complessiva del trasformatore segue il pattern encoder-decoder standard. L'encoder usa l'auto-attenzione per calcolare una rappresentazione dell'input sequenza. Il decoder genera la sequenza di output un token alla volta, prendendo l'output dell'encoder e i precedenti token decoder-output come input.
Il modello applica anche gli incorporamenti sui token di input e di output e aggiunge un codifica di posizionamento costante. La codifica posizionale aggiunge informazioni di ogni token.
Obiettivi
- Crea un bucket Cloud Storage in cui conservare il set di dati e l'output del modello.
- Scarica e pre-elabora il set di dati utilizzato per addestrare il modello.
- Esegui il job di addestramento.
- Verifica i risultati dell'output.
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
- Compute Engine
- Cloud TPU
Per generare una stima dei costi basata sull'utilizzo previsto,
utilizza il Calcolatore prezzi.
Prima di iniziare
Prima di iniziare questo tutorial, verifica che il tuo progetto Google Cloud sia corretto configurazione.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
Questa procedura dettagliata utilizza i componenti fatturabili di Google Cloud. Controlla il Pagina dei prezzi di Cloud TPU per stimare i costi. Assicurati di pulire che crei una volta terminato per evitare inutili addebiti.
Addestramento con un singolo dispositivo Cloud TPU
Questa sezione fornisce informazioni sulla configurazione di un bucket Cloud Storage una VM TPU per l'addestramento di un singolo dispositivo.
Apri una finestra di Cloud Shell.
Crea una variabile di ambiente per il tuo ID progetto.
export PROJECT_ID=project-id
Configura Google Cloud CLI in modo da utilizzare il progetto Google Cloud dove vuoi creare una Cloud TPU.
gcloud config set project ${PROJECT_ID}
La prima volta che esegui questo comando in una nuova VM Cloud Shell, viene visualizzata una pagina
Authorize Cloud Shell
. Fai clic suAuthorize
in fondo alla pagina per consentire agcloud
di effettuare chiamate API Google Cloud con le tue credenziali.Creare un account di servizio per il progetto Cloud TPU.
Gli account di servizio consentono al servizio Cloud TPU di accedere ad altri servizi Google Cloud i servizi di machine learning.
$ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
Il comando restituisce un account di servizio Cloud TPU con il seguente formato:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crea un bucket Cloud Storage utilizzando il comando seguente:
$ gcloud storage buckets create gs://bucket-name --project=${PROJECT_ID} --location=us-central2
Questo bucket Cloud Storage archivia i dati che utilizzi per addestrare il modello e i risultati dell'addestramento. Il comando
gcloud
utilizzato in questo tutorial per impostare La TPU configura anche le autorizzazioni predefinite per il servizio Cloud TPU Account che hai configurato nel passaggio precedente. Se vuoi autorizzazioni più granulari, consulta le autorizzazioni a livello di accesso.
Addestra il modello Transformer su una singola Cloud TPU
Avvia una VM Cloud TPU utilizzando il comando
gcloud
.$ gcloud compute tpus tpu-vm create transformer-tutorial \ --zone=us-central2-b \ --accelerator-type=v4-8 \ --version=tpu-vm-tf-2.17.0-pjrt
Descrizioni flag di comando
zone
- La zona in cui prevedi di creare la tua Cloud TPU.
accelerator-type
- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, vedi Versioni TPU.
version
- La versione software di Cloud TPU.
Connettiti alla VM Cloud TPU eseguendo questo
ssh
.gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
Esporta le variabili di ambiente.
(vm)$ export STORAGE_BUCKET=gs://bucket-name (vm)$ export SENTENCEPIECE_MODEL=sentencepiece (vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds (vm)$ export PARAM_SET=big (vm)$ export TPU_NAME=local (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET} (vm)$ export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"
Durante la creazione della TPU, se imposti il parametro
--version
su una versione che termina con-pjrt
, imposta le seguenti variabili di ambiente per abilitare il runtime PJRT:(vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
Installa i requisiti di Tensorflow.
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
Scarica e pre-elabora il set di dati
(vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)" (vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}
Copia il set di dati nel bucket Cloud Storage
(vm)$ gcloud storage cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET} (vm)$ gcloud storage cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET} (vm)$ gcloud storage cp tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate --recursive
Vai alla directory di addestramento
(vm)$ cd /usr/share/tpu/models/
esegui lo script di addestramento
(vm)$ python3 official/nlp/train.py \ --tpu=${TPU_NAME} \ --experiment=wmt_transformer/large \ --mode=train_and_eval \ --model_dir=${MODEL_DIR} \ --params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"
Descrizioni flag di comando
tpu
- Il nome della Cloud TPU. Viene impostato specificando
la variabile di ambiente (
TPU_NAME
). experiment
- Il modello da addestrare.
mode
- La modalità in cui eseguire lo script.
model_dir
- Il bucket Cloud Storage in cui vengono visualizzati i punti di controllo e i riepiloghi durante l'addestramento. Puoi utilizzare una cartella esistente per caricarla in precedenza i checkpoint generati creati su una TPU delle stesse dimensioni Versione TensorFlow.
params_override
- Imposta i parametri del modello.
Per impostazione predefinita, il modello viene valutato dopo 10.000 passi. Puoi aumenta il numero di passaggi di addestramento o specifica la frequenza di esecuzione delle valutazioni impostando questi parametri:
train.train_steps
: il numero totale di passaggi di addestramento da eseguire.trainer.validation_interval
: il numero di passaggi di addestramento da eseguire tra una valutazione e l'altra.
L'addestramento e la valutazione richiedono circa 20 minuti su una versione v4-8 con Cloud TPU. Al termine dell'addestramento e della valutazione, verrà visualizzato simile al seguente:
I0208 20:57:19.309512 140039467895872 controller.py:310] eval | step: 10000 | eval time: 69.2 sec | output: {'bleu_score': 19.204771518707275, 'sacrebleu_score': 18.307039308307356, 'validation_loss': 2.0654342} eval | step: 10000 | eval time: 69.2 sec | output: {'bleu_score': 19.204771518707275, 'sacrebleu_score': 18.307039308307356, 'validation_loss': 2.0654342}
Hai completato l'addestramento su un singolo dispositivo. Segui questi passaggi per le risorse TPU su un singolo dispositivo.
Disconnettiti dall'istanza Compute Engine:
(vm)$ exit
Il tuo prompt ora dovrebbe essere
username@projectname
, a indicare che ti trovi in in Cloud Shell.Elimina la risorsa TPU.
$ gcloud compute tpus tpu-vm delete transformer-tutorial \ --zone=us-central2-b
Descrizioni flag di comando
zone
- La zona in cui si trovava la tua Cloud TPU.
A questo punto, puoi concludere questo tutorial e ripulire, oppure continuare ed esplorare l'esecuzione del modello sui pod di Cloud TPU.
Scala il tuo modello con i pod di Cloud TPU
L'addestramento del modello sui pod di Cloud TPU può richiedere alcune modifiche lo script di addestramento. Per informazioni, consulta Addestramento sui pod TPU.
Addestramento dei pod di TPU
Apri una finestra di Cloud Shell.
Crea una variabile per l'ID progetto.
export PROJECT_ID=project-id
Configura Google Cloud CLI per utilizzare il progetto in cui vuoi creare un con Cloud TPU.
gcloud config set project ${PROJECT_ID}
La prima volta che esegui questo comando in una nuova VM Cloud Shell, viene visualizzata una pagina
Authorize Cloud Shell
. Fai clic suAuthorize
in fondo alla pagina per consentire agcloud
di effettuare chiamate API con le tue credenziali.Creare un account di servizio per il progetto Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
Il comando restituisce un account di servizio Cloud TPU con il seguente formato:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crea un bucket Cloud Storage utilizzando il comando seguente o un bucket che hai creato in precedenza per il tuo progetto:
gcloud storage buckets create gs://bucket-name --project=${PROJECT_ID} --location=us-central1
Questo bucket Cloud Storage archivia i dati che utilizzi per addestrare del modello e dei risultati dell'addestramento. Il comando
gcloud
utilizzato in questa il tutorial configura le autorizzazioni predefinite per l'account di servizio Cloud TPU che hai configurato nel passaggio precedente. Se vuoi autorizzazioni più granulari, consulta le autorizzazioni a livello di accesso.
Avvia le risorse VM TPU
Avvia un pod di VM TPU utilizzando il comando
gcloud
. Questo specifica un pod v4-32. Per altre opzioni di pod, vedi Tipi di TPU pagina dei tipi di TPU disponibili.$ gcloud compute tpus tpu-vm create transformer-tutorial \ --zone=us-central2-b \ --accelerator-type=v3-32 \ --version=tpu-vm-tf-2.17.0-pod-pjrt
Descrizioni flag di comando
zone
- La zona in cui prevedi di creare la tua Cloud TPU.
accelerator-type
- Il tipo di acceleratore specifica la versione e le dimensioni della Cloud TPU che vuoi creare. Per ulteriori informazioni sui tipi di acceleratori supportati per ogni versione di TPU, vedi Versioni TPU.
version
- La versione software di Cloud TPU.
Connettiti alla VM TPU eseguendo questo comando
ssh
. Dopo aver eseguito l'accesso alla VM, il prompt della shell cambia da Dausername@projectname
ausername@vm-name
:gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
Installa i requisiti di TensorFlow.
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
configura e avvia l'addestramento dei pod
Esporta le variabili di configurazione di Cloud TPU:
(vm)$ export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH" (vm)$ export STORAGE_BUCKET=gs://bucket-name (vm)$ export SENTENCEPIECE_MODEL=sentencepiece (vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds (vm)$ export TPU_NAME=transformer-tutorial (vm)$ export PARAM_SET=big (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET} (vm)$ export TPU_LOAD_LIBRARY=0
Scarica il set di dati
(vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)" (vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}
Copy the dataset to Cloud Storage bucket
(vm)$ gcloud storage cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET} (vm)$ gcloud storage cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET} (vm)$ gcloud storage cp tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate --recursive
Passa alla directory di addestramento:
(vm)$ cd /usr/share/tpu/models/
Esegui lo script di addestramento:
(vm)$ python3 official/nlp/train.py
--tpu=${TPU_NAME}
--experiment=wmt_transformer/large
--mode=train_and_eval
--model_dir=${MODEL_DIR}
--params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"Command flag descriptions
tpu
- The name of the Cloud TPU. This is set by specifying
the environment variable (
TPU_NAME
). experiment
- The model to train.
mode
- The mode in which to run the script.
model_dir
- The Cloud Storage bucket where checkpoints and summaries are stored during training. You can use an existing folder to load previously generated checkpoints created on a TPU of the same size and TensorFlow version.
params_override
- Set model parameters.
By default, the model will evaluate after every 10000 steps. In order to
train to convergence, change train_steps
to 200000.
You can increase the
number of training steps or specify how often to run evaluations by setting
these parameters:
trainer.train_steps
: Sets the total number of training steps to run.trainer.validation_interval
: Sets the number of training steps to run between evaluations.
Training and evaluation takes approximately 14 minutes on a v4-32 Cloud TPU. When the training and evaluation complete, messages similar to the following appear:
I0209 22:19:49.143219 139751309618240 controller.py:310] eval | step: 10000 | eval time: 73.6 sec | output: {'bleu_score': 19.401752948760986, 'sacrebleu_score': 18.442741330886378, 'validation_loss': 2.0558002} eval | step: 10000 | eval time: 73.6 sec | output: {'bleu_score': 19.401752948760986, 'sacrebleu_score': 18.442741330886378, 'validation_loss': 2.0558002}
Questo script di addestramento esegue l'addestramento per 20.000 passaggi ed esegue la valutazione ogni 2000 passaggi. Questo addestramento e valutazione richiede circa 8 minuti su una versione v3-32 di pod di Cloud TPU. Al termine dell'addestramento e della valutazione, verrà visualizzato simile al seguente:
INFO:tensorflow:Writing to file /tmp/tmpdmlanxcf I0218 21:09:19.100718 140509661046592 translate.py:184] Writing to file /tmp/tmpdmlanxcf I0218 21:09:28.043537 140509661046592 transformer_main.py:118] Bleu score (uncased): 1.799112930893898 I0218 21:09:28.043911 140509661046592 transformer_main.py:119] Bleu score (cased): 1.730366237461567
Per eseguire l'addestramento alla convergenza, cambia train_steps
in 200000. Tu
può aumentare il numero di passaggi di addestramento o specificare la frequenza di esecuzione
di valutazione impostando questi parametri:
--train_steps
: imposta il numero totale di passaggi di addestramento da eseguire.--steps_between_evals
: numero di passaggi di addestramento da eseguire tra una valutazione e l'altra.
Al termine dell'addestramento e della valutazione, viene visualizzato un messaggio simile al seguente: dell'immagine:
0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045 I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752
Esegui la pulizia
Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Disconnettiti dall'istanza Compute Engine, se non l'hai già fatto. Fatto:
(vm)$ exit
Il tuo prompt ora dovrebbe essere
username@projectname
, a indicare che ti trovi in in Cloud Shell.Elimina le tue risorse Cloud TPU e Compute Engine.
$ gcloud compute tpus tpu-vm delete transformer-tutorial \ --zone=us-central2-b
Esegui gcloud CLI come mostrato, sostituendo bucket-name con il nome del bucket Cloud Storage che hai creato per questo tutorial:
$ gcloud storage rm gs://bucket-name --recursive
Passaggi successivi
I tutorial su TensorFlow Cloud TPU in genere addestrano il modello utilizzando una un set di dati di esempio. I risultati di questo addestramento non sono utilizzabili per l'inferenza. A per l'inferenza, puoi addestrare i dati su una o il tuo set di dati. Modelli TensorFlow addestrati su Cloud TPU richiedono generalmente che i set di dati siano TFRecord.
Puoi utilizzare lo strumento di conversione dei set di dati sample per convertire un'immagine in formato TFRecord. Se non utilizzi un'immagine di classificazione, dovrai convertire il tuo set di dati in Formato TFRecord per te. Per ulteriori informazioni, vedi TFRecord e tf.Example.
Ottimizzazione degli iperparametri
Per migliorare le prestazioni del modello con il tuo set di dati, puoi ottimizzare e regolare gli iperparametri. Puoi trovare informazioni sugli iperparametri comuni a tutti Modelli supportati da TPU su GitHub. Puoi trovare informazioni sugli iperparametri specifici del modello nella fonte per ciascuno un modello di machine learning. Per ulteriori informazioni sull'ottimizzazione degli iperparametri, consulta la Panoramica delle ottimizzazione degli iperparametri e Tune e regolare gli iperparametri.
Inferenza
Una volta addestrato il modello, puoi utilizzarlo per l'inferenza (chiamato anche previsione). Puoi utilizzare il convertitore di inferenza di Cloud TPU strumento per preparare e ottimizzare Modello TensorFlow per l'inferenza su Cloud TPU v5e. Per maggiori informazioni informazioni sull'inferenza su Cloud TPU v5e, consulta Inferenza di Cloud TPU v5e introduzione.