Profilazione del modello con gli strumenti Cloud TPU

Importante: esistono due architetture TPU, VM TPU e nodi TPU. Le prestazioni dei modelli di profilazione variano tra le due architetture. Questo documento descrive come profilare il modello quando si utilizza l'architettura dei nodi TPU. Le due architetture TPU sono descritte in Architettura di sistema

.

La profilazione del modello consente di ottimizzare le prestazioni dell'addestramento su Cloud TPU. Per profilare il tuo modello, utilizza TensorBoard e il plug-in TensorBoard di Cloud TPU. Per istruzioni sull'installazione, consulta le istruzioni per l'installazione di TensorBoard.

Per ulteriori informazioni sull'utilizzo di TensorBoard con uno dei framework supportati, consulta i seguenti documenti:

• Guida alle prestazioni di TensorFlow
• Guida alle prestazioni di PyTorch
• Guida al rendimento della JAX

Prerequisiti

TensorBoard è installato come parte di TensorFlow. TensorFlow è installato per impostazione predefinita nei nodi di Cloud TPU. Puoi anche installare TensorFlow manualmente. In entrambi i casi, potrebbero essere necessarie alcune dipendenze aggiuntive. Installala eseguendo questo comando:

(vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt

Installa il plug-in TensorBoard di Cloud TPU

SSH nel tuo nodo TPU:

$ gcloud compute ssh your-vm --zone=your-zone

Esegui questi comandi:

  pip3 install --upgrade "cloud-tpu-profiler>=2.3.0"
  pip3 install --user --upgrade -U "tensorboard>=2.3"
  pip3 install --user --upgrade -U "tensorflow>=2.3"

Acquisizione di un profilo

Puoi acquisire un profilo utilizzando l'interfaccia utente di TensorBoard o in modo programmatico.

Acquisire un profilo utilizzando TensorBoard

Quando avvii TensorBoard, viene avviato un server web. Quando indirizzi il browser all'URL di TensorBoard, viene visualizzata una pagina web. La pagina web ti consente di acquisire manualmente un profilo e visualizzare i dati del profilo.

Avvia il server Profiler TensorFlow

Importante: se utilizzi un singolo dispositivo TPU (v2-8, v3-8 e così via), aggiungi il seguente codice allo script prima di iniziare il ciclo di addestramento. Se l'addestramento è su un pod di TPU (v2-32, v3-32 e così via), il software TPU apre automaticamente la porta 8472, che puoi utilizzare per la profilazione.

tf.profiler.experimental.server.start(6000)

Viene avviato il server del profiler TensorFlow sulla VM TPU.

Inizia lo script per l'addestramento

Esegui lo script di addestramento e attendi finché non viene visualizzato l'output che indica che il modello è attivamente in addestramento. L'aspetto dipende dal codice e dal modello. Cerca l'output come Epoch 1/100. In alternativa, puoi accedere alla pagina Cloud TPU nella console Google Cloud, selezionare la TPU e visualizzare il grafico di utilizzo della CPU. Anche se non mostra l'utilizzo di TPU, è una buona indicazione che la TPU sta addestrando il tuo modello.

Avvia il server TensorBoard

Apri una nuova finestra nel terminale e connettiti alla tua VM TPU con il port forwarding. In questo modo, il browser locale può comunicare con il server TensorBoard in esecuzione sulla VM TPU.

 gcloud compute tpus execution-groups ssh your-vm --zone=us-central1-a --ssh-flag="-4 -L 9001:localhost:9001"
 

Esegui TensorBoard nella finestra del terminale appena aperta e specifica la directory in cui TensorBoard può scrivere dati di profilazione con il flag --logdir. Ecco alcuni esempi:

TPU_LOAD_LIBRARY=0 tensorboard --logdir your-model-dir --port 9001

TensorBoard avvia un server web e visualizza il relativo URL:

Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all
TensorBoard 2.3.0 at http://localhost:9001/ (Press CTRL+C to quit)

Apri un browser web e vai all'URL visualizzato nell'output di TensorBoard. Assicurati che TensorBoard abbia caricato completamente i dati di profilazione facendo clic sul pulsante di ricaricamento nell'angolo in alto a destra della pagina TensorBoard. Per impostazione predefinita, nella pagina TensorBoard viene visualizzata la scheda Scalars selezionata.

Acquisisci un profilo sui nodi TPU

1. Seleziona PROFILO dal menu a discesa nella parte superiore dello schermo.
2. Seleziona il pulsante CAPTURE PROFILE (PROFILO DI ACQUISTO)
3. Seleziona il pulsante di opzione Nome TPU.
4. Digita il nome della TPU
5. Seleziona il pulsante ACQUISTA

Acquisizione di un profilo in modo programmatico

La modalità di acquisizione di un profilo in modo programmatico dipende dal framework di machine learning utilizzato.

Se utilizzi TensorFlow, avvii e arresti il profilo utilizzando rispettivamente tf.profiler.experimental.start() e tf.profiler.experimental.stop(). Per ulteriori informazioni, consulta la guida al rendimento di TensorFlow.

Se utilizzi JAX, utilizza jax.profiler.start_trace() e jax.profiler.stop_trace() per avviare e interrompere rispettivamente il Profiler. Per ulteriori informazioni, consulta Profilazione dei programmi JAX.

Acquisisci i problemi più comuni del profilo

A volte, quando provi a catturare una traccia, potresti vedere messaggi simili ai seguenti:

No trace event is collected after xx attempt(s). Perhaps, you want to try again
(with more attempts?).Tip: increase number of attempts with --num_tracing_attempts.

Failed to capture profile: empty trace result

Questo può accadere se la TPU non esegue attivamente i calcoli, un passaggio di addestramento sta richiedendo troppo tempo o per altri motivi. Se viene visualizzato questo messaggio, prova a procedere nel seguente modo:

• Prova ad acquisire un profilo dopo che sono stati eseguiti alcuni periodi.
• Prova ad aumentare la durata della profilazione nella finestra di dialogo Acquisisci profilo di TensorBoard. È possibile che un passaggio di formazione sia troppo lungo.
• Assicurati che sia la VM che la TPU abbiano la stessa versione TF.

Visualizzare i dati del profilo con TensorBoard

La scheda Profilo viene visualizzata dopo aver acquisito alcuni dati del modello. Potresti dover fare clic sul pulsante di ricaricamento nell'angolo in alto a destra della pagina TensorBoard. Una volta che i dati sono disponibili, facendo clic sulla scheda Profilo è disponibile una selezione di strumenti utili per l'analisi del rendimento:

• Pagina Panoramica
• Visualizzatore di tracce (solo browser Chrome)
• Visualizzatore di tracce in streaming (solo browser Chrome)

Visualizzatore Trace

Il visualizzatore Trace è uno strumento di analisi delle prestazioni di Cloud TPU disponibile in Profilo. Lo strumento utilizza il Visualizzatore profilazione degli eventi di traccia di Chrome, quindi funziona solo nel browser Chrome.

Il visualizzatore tracce mostra una sequenza temporale che mostra:

• La durata delle operazioni eseguite dal tuo modello TensorFlow .
• Quale parte del sistema (TPU o macchina host) ha eseguito un'operazione. In genere, la macchina host esegue operazioni di feed, che preelaborano i dati di addestramento e li trasferisce alla TPU, mentre la TPU esegue l'addestramento del modello effettivo.

Il visualizzatore di Trace consente di identificare i problemi di prestazioni nel modello, quindi di risolverli per risolverli. Ad esempio, a livello generale, puoi identificare se l'addestramento in-feed o di modello richiede la maggior parte del tempo. Se visualizzi in dettaglio, puoi identificare le operazioni TensorFlow che richiedono il tempo di esecuzione più lungo.

Tieni presente che il visualizzatore tracce è limitato a 1 milione di eventi per Cloud TPU. Se devi valutare più eventi, utilizza il visualizzatore di tracce in streaming.

Interfaccia visualizzatore di Trace

Per aprire il visualizzatore tracce, vai su TensorBoard, fai clic sulla scheda Profilo nella parte superiore dello schermo e scegli trace_viewer dal menu a discesa Strumenti. Viene visualizzato lo spettatore che visualizza la tua esecuzione più recente:

Questa schermata contiene i seguenti elementi principali (contrassegnati da numeri riportati sopra):

1. Esegui il menu a discesa. Contiene tutte le esecuzioni per le quali hai acquisito informazioni di traccia. La visualizzazione predefinita è l'esecuzione più recente, ma puoi aprire il menu a discesa per selezionare un'esecuzione diversa.
2. Elenco a discesa degli strumenti. Seleziona diversi strumenti di profilazione.
3. Menu a discesa Host Seleziona un host che contiene un set di Cloud TPU.
4. Riquadro Sequenza temporale. Mostra le operazioni eseguite da Cloud TPU e dalla macchina host nel tempo.
5. Riquadro dei dettagli. Mostra informazioni aggiuntive per le operazioni selezionate nel riquadro Timeline.

Vediamo più da vicino il riquadro della sequenza temporale:

Il riquadro Spostamenti contiene i seguenti elementi:

1. Barra superiore. Contiene vari controlli ausiliari.
2. Asse temporale. Mostra il tempo relativo all'inizio della traccia.
3. Etichette di sezioni e tracce. Ogni sezione contiene più tracce e presenta un triangolo a sinistra su cui puoi fare clic per espandere e comprimere la sezione. Nel sistema è presente una sezione per ogni elemento di elaborazione.
4. Selettore strumenti. Contiene vari strumenti per interagire con lo spettatore di Trace.
5. Eventi. Mostrano il tempo durante il quale è stata eseguita un'operazione o la durata dei meta-eventi, ad esempio i passaggi per l'addestramento.
6. Barra delle schede verticale. Questa operazione non ha uno scopo utile per Cloud TPU. La barra fa parte dello strumento di visualizzazione delle tracce per uso generico fornito da Chrome, che viene utilizzato per diverse attività di analisi delle prestazioni.

Sezioni e tracce

Il visualizzatore Trace contiene le seguenti sezioni:

• Una sezione per ogni nodo TPU, etichettata con il numero del chip TPU e il nodo TPU all'interno del chip (ad esempio "Chip 2: TPU Core 1"). Ogni sezione del nodo TPU contiene le seguenti tracce:
  • Passaggio. Mostra la durata dei passaggi di addestramento eseguiti sulla TPU.
  • Operazioni TensorFlow. Mostra le operazioni TensorFlow eseguite sulla TPU.
  • Ops XLA. Mostra le operazioni XLA eseguite sulla TPU. Ogni operazione viene tradotta in una o più operazioni XLA. Il compilatore XLA traduce le operazioni XLA in codice eseguito sulla TPU.
• Una sezione per i thread in esecuzione sulla CPU della macchina host,denominata "Thread host". La sezione contiene una traccia per ogni thread di CPU. Nota: puoi ignorare le informazioni visualizzate accanto alle etichette della sezione.

Selettore strumento Timeline

Puoi interagire con la visualizzazione della sequenza temporale utilizzando il selettore degli strumenti di cronologia in TensorBoard. Puoi fare clic su uno strumento della sequenza temporale o utilizzare le seguenti scorciatoie da tastiera per attivare ed evidenziare uno strumento. Per spostare il selettore dello strumento Cronologia, fai clic nell'area tratteggiata in alto e trascina il selettore dove preferisci.

Utilizza gli strumenti per la sequenza temporale come indicato di seguito:

	Strumento di selezione Fai clic su un evento per selezionarlo o trascinalo per selezionarlo. Nel riquadro dei dettagli verranno visualizzate ulteriori informazioni sull'evento o sugli eventi selezionati (nome, ora di inizio e durata).
	Strumento Panoramica Trascina per eseguire la panoramica della visualizzazione cronologia in orizzontale e in verticale.
	Strumento Zoom Trascina verso l'alto per aumentare lo zoom o verso il basso per diminuire lo zoom lungo l'asse orizzontale (tempo). La posizione orizzontale del cursore del mouse determina il centro intorno al quale viene eseguito lo zoom. Nota: lo strumento zoom presenta un bug noto per cui lo zoom rimane attivo se rilasci il pulsante del mouse mentre il cursore del mouse si trova all'esterno della visualizzazione della sequenza temporale. Se succede, basta fare clic brevemente sulla visualizzazione della sequenza temporale per interrompere lo zoom.
	Strumento Tempi Trascina orizzontalmente per contrassegnare un intervallo di tempo. La lunghezza dell'intervallo viene visualizzata sull'asse del tempo. Per regolare l'intervallo, trascina le estremità. Per cancellare l'intervallo, fai clic in un punto qualsiasi della visualizzazione della sequenza temporale. Tieni presente che l'intervallo rimane contrassegnato se selezioni uno degli altri strumenti.

Grafici

TensorBoard offre una serie di visualizzazioni o grafici del modello e delle sue prestazioni. Utilizza i grafici insieme al Visualizzatore di tracce o al visualizzatore di tracce in streaming per ottimizzare i tuoi modelli e migliorarne le prestazioni su Cloud TPU.

Grafico del modello

Il framework di modellazione può generare un grafico dal modello. I dati per il grafico sono archiviati nella directory MODEL_DIR nel bucket di archiviazione specificato con il parametro --logdir. Puoi visualizzare questo grafico senza eseguire capture_tpu_profile.

Per visualizzare il grafico di un modello, seleziona la scheda Grafici in TensorBoard.

Un singolo nodo nel grafico a struttura rappresenta una singola operazione.

Grafico sulla compatibilità con TPU

La scheda Grafici include un modulo di controllo della compatibilità che verifica e mostra le operazioni che possono causare problemi durante l'esecuzione di un modello.

Per visualizzare il grafico sulla compatibilità delle TPU di un modello, seleziona la scheda Grafici in TensorBoard e poi l'opzione Compatibilità TPU. Il grafico presenta le operazioni compatibili (valide) in verde e le operazioni incompatibili (non valide) in rosso.

Un determinato nodo può visualizzare entrambi i colori, ciascuno come percentuale delle operazioni di compatibilità di Cloud TPU per quel nodo. Per un esempio, consulta Interpretazione dei risultati della compatibilità.

Il riquadro di riepilogo della compatibilità visualizzato a destra del grafico mostra la percentuale di tutte le operazioni compatibili con Cloud TPU, i relativi attributi e un elenco di operazioni incompatibili per un nodo selezionato.

Fai clic su qualsiasi operazione nel grafico per visualizzare i relativi attributi nel riquadro di riepilogo.

Tieni presente che il controllo di compatibilità non valuta le operazioni assegnate esplicitamente a un dispositivo non TPU utilizzando il posizionamento manuale del dispositivo. Inoltre, il controllo non compila il modello per l'esecuzione, quindi assicurati di interpretare i risultati come stima della compatibilità.

Interpretazione dei risultati di compatibilità

Profilo

La scheda Profilo viene visualizzata dopo che hai acquisito alcuni dati del modello. Potresti dover fare clic sul pulsante di ricaricamento nell'angolo in alto a destra della pagina TensorBoard. Una volta che i dati sono disponibili, facendo clic sulla scheda Profilo è disponibile una selezione di strumenti utili per l'analisi del rendimento:

• Pagina Panoramica
• Analizzatore pipeline di input
• Profilo XLA Op
• Visualizzatore di tracce (solo browser Chrome)
• Visualizzatore dei ricordi
• Visualizzatore di pod
• Visualizzatore di tracce in streaming (solo browser Chrome)

Pagina Panoramica del profilo

La pagina Panoramica (overview_page), disponibile in Profilo, offre una visualizzazione di primo livello del rendimento del modello durante un'esecuzione di acquisizione. La pagina mostra una pagina di panoramica aggregata per tutte le TPU e un'analisi complessiva della pipeline di input. Nel menu a discesa Host è disponibile un'opzione per selezionare le singole TPU.

La pagina mostra i dati nei seguenti riquadri:

• Riepilogo del rendimento

  • Tempo di passi medio: la durata media dei passi rispetto a tutti i passi campionati
  • Tempo di inattività dell'host: la percentuale di tempo in cui l'host è stato inattivo
  • Tempo di inattività della TPU: la percentuale di tempo in cui la TPU è rimasta inattiva
  • Utilizzo FLOPS: l'utilizzo percentuale delle unità della matrice TPU
  • Utilizzo della larghezza di banda della memoria: la percentuale di larghezza di banda della memoria utilizzata.

• Grafico del passaggio. Mostra un grafico del tempo di passi del dispositivo (in millisecondi) su tutti i passaggi campionati. L'area blu corrisponde alla parte del tempo del passaggio in cui le TPU sono rimaste inattive in attesa dei dati di input dall'host. L'area rossa mostra per quanto tempo Cloud TPU è stato effettivamente funzionante.

• 10 operazioni principali di TensorFlow su TPU. Mostra le operazioni TensorFlow che hanno consumato più tempo:

  Ogni riga mostra il self-time di un'operazione (come percentuale di tempo impiegato da tutte le operazioni), il tempo cumulativo, la categoria, il nome e la frequenza FLOPS raggiunta.

• Ambiente di esecuzione

  • Numero di host utilizzati
  • Tipo di TPU utilizzato
  • Numero di core TPU
  • Dimensioni del batch di addestramento

• Consigli per i passaggi successivi. Report quando un modello è associato a un input e ogni volta che si verificano problemi con Cloud TPU. Ti suggerisce strumenti che puoi utilizzare per individuare i colli di bottiglia delle prestazioni.

Analizzatore pipeline di input

Lo strumento di analisi della pipeline di input fornisce insight sui risultati in termini di rendimento. Lo strumento mostra i risultati relativi alle prestazioni del file input_pipeline.json raccolto dallo strumento capture_tpu_profile.

Lo strumento indica immediatamente se il programma è vincolato all'input e può illustrarti l'analisi lato dispositivo e lato host per eseguire il debug di qualsiasi fase della pipeline che crea colli di bottiglia.

Consulta le indicazioni sulle prestazioni della pipeline di input per informazioni più dettagliate sull'ottimizzazione delle prestazioni della pipeline.

Pipeline di input

Quando un programma TensorFlow legge i dati da un file, viene visualizzato in cima al grafico TensorFlow in modo pipeline. Il processo di lettura è diviso in più fasi di elaborazione dei dati collegate in serie, in cui l'output di una fase è l'input di quella successiva. Questo sistema di lettura è chiamato pipeline di input.

Una pipeline tipica per la lettura dei record dai file prevede le seguenti fasi:

1. Lettura di file
2. Pre-elaborazione file (facoltativo)
3. Trasferimento di file dalla macchina host al dispositivo

Una pipeline di input inefficiente può rallentare gravemente l'applicazione. Un'applicazione è considerata vincolata all'input quando trascorre una parte significativa del suo tempo nella pipeline di input. Utilizza l'analizzatore pipeline di input per capire dove la pipeline di input non è efficiente.

Dashboard della pipeline di input

Per aprire l'analizzatore pipeline di input, seleziona Profilo e poi input_pipeline_analyzer nel menu a discesa Strumenti.

La dashboard contiene tre sezioni:

1. Riepilogo. Riepiloga la pipeline di input complessiva con informazioni sulla capacità dell'applicazione di essere vincolata all'input e, nel caso, in che misura.
2. Analisi lato dispositivo. Mostra i risultati dettagliati dell'analisi lato dispositivo, inclusi il tempo di passaggio del dispositivo e l'intervallo di tempo trascorso sul dispositivo in attesa di dati di input su più core.
3. Analisi lato host. Mostra un'analisi dettagliata sul lato host, inclusa un'analisi del tempo di elaborazione in ingresso sull'host.

Riepilogo pipeline di input

La prima sezione indica se il tuo programma è soggetto a input presentando la percentuale di tempo del dispositivo trascorso in attesa di input da parte dell'host. Se utilizzi una pipeline di input standard che è stata strumentata, lo strumento indica dove viene trascorsa la maggior parte del tempo di elaborazione in ingresso. Ecco alcuni esempi:

Analisi lato dispositivo

La seconda sezione mostra nel dettaglio l'analisi lato dispositivo, fornendo informazioni sul tempo trascorso sul dispositivo rispetto all'host e sulla quantità di tempo trascorso sul dispositivo in attesa dei dati di input dall'host.

1. Statistiche del tempo di passaggio del dispositivo. Riporta la media, la deviazione standard e l'intervallo (minimo, massimo) del tempo di passaggio del dispositivo.
2. Ora del passo. Mostra un grafico del tempo di passi del dispositivo (in millisecondi) su tutti i passaggi campionati. L'area blu corrisponde alla parte del passaggio che indica che i Cloud TPU sono rimasti inattivi in attesa dei dati di input dall'host. L'area rossa mostra per quanto tempo Cloud TPU è stato effettivamente funzionante.
3. Percentuale di tempo di attesa per i dati di input. Indica la deviazione standard media e l'intervallo (minimo, massimo) della frazione di tempo trascorso su un dispositivo in attesa che i dati di input vengano normalizzati sul tempo totale del passaggio del dispositivo.
4. Intervallo di tempo del dispositivo tra i core utilizzati in attesa dei dati di input, per numero di passi. Mostra un grafico a linee che mostra la quantità di tempo del dispositivo (espressa come percentuale del tempo di passaggio totale del dispositivo) trascorso in attesa dell'elaborazione dei dati di input. La frazione di tempo trascorso varia da core a core, quindi viene tracciato anche l'intervallo di frazioni per ciascun core per ogni passaggio. Poiché il tempo necessario per un passaggio è determinato dal core più lento, vuoi che l'intervallo sia il più piccolo possibile.

Analisi lato host

La sezione 3 mostra i dettagli dell'analisi lato host, riportando il tempo di elaborazione di input (il tempo trascorso sulle operazioni dell'API Dataset) sull'host suddiviso in diverse categorie:

• Mettere in coda i dati da trasferire al dispositivo Tempo di inserimento dei dati in una coda di feed prima del trasferimento dei dati al dispositivo.
• Pre-elaborazione dei dati. Tempo dedicato alle operazioni di pre-elaborazione, come la decompressione delle immagini.
• Leggere i dati dai file in anticipo Tempo di lettura dei file, inclusa la memorizzazione nella cache, il precaricamento e l'interleaving.
• Leggere i dati dai file on demand. Tempo dedicato alla lettura dei dati dai file senza memorizzazione nella cache, precaricamento e interleaving.
• Altre operazioni di lettura o trattamento dei dati. Tempo dedicato ad altre operazioni correlate agli input non utilizzando tf.data.

Per visualizzare le statistiche relative alle singole operazioni di immissione e alle relative categorie suddivise per tempo di esecuzione, espandi la sezione "Mostra statistiche Op di input".

Viene visualizzata una tabella di dati di origine come la seguente:

Ogni voce di tabella contiene le seguenti informazioni:

1. Input Op. Mostra il nome dell'operatore TensorFlow dell'operazione di input.
2. Conteggio: Mostra il numero totale di istanze dell'operazione eseguite durante il periodo di profilazione.
3. Tempo totale (in ms) Mostra la somma cumulativa del tempo trascorso su ogni istanza dell'operazione.
4. %tempo totale. Mostra il tempo totale trascorso su un'operazione come frazione del tempo totale trascorso nell'elaborazione dell'input.
5. Tempo di auto totale (in ms) Mostra la somma cumulativa del tempo dedicato a ogni istanza. Il tempo personale misura il tempo trascorso all'interno del corpo della funzione, escluso il tempo trascorso nella funzione che chiama. Ad esempio, Iterator::PaddedBatch::Filter::ForeverRepeat::Map è chiamato da Iterator::PaddedBatch::Filter, quindi il suo tempo di autototale è escluso dal tempo totale totale di quest'ultimo.
6. %Autotime totale. Mostra il tempo di autonomia totale come frazione del tempo totale trascorso nell'elaborazione dell'input.
7. Categoria. Mostra la categoria di elaborazione dell'operazione di input.

Profilo operativo

Il profilo operativo è uno strumento Cloud TPU che mostra le statistiche sulle prestazioni delle operazioni XLA eseguite durante un periodo di profilazione. Il profilo operativo mostra:

• In che misura la tua applicazione utilizza Cloud TPU come percentuale di tempo trascorso sulle operazioni per categoria e dell'utilizzo dei FLOPS delle TPU.
• Le operazioni più lunghe. Queste operazioni sono potenziali obiettivi di ottimizzazione.
• Dettagli delle singole operazioni, tra cui forma, spaziatura interna ed espressioni che utilizzano l'operazione.

Puoi utilizzare il profilo operativo per trovare target ottimali per l'ottimizzazione. Ad esempio, se il tuo modello raggiunge solo il 5% dei FLOPS di picco TPU, puoi utilizzare lo strumento per identificare quali operazioni XLA richiedono il tempo di esecuzione più lungo e il numero di FLOPS TPU utilizzate.

Utilizzo del profilo operativo

Durante la raccolta del profilo, capture_tpu_profile crea anche un file op_profile.json contenente le statistiche sulle prestazioni delle operazioni XLA.

Puoi visualizzare i dati da op_profile in TensorBoard facendo clic sulla scheda Profilo nella parte superiore dello schermo e selezionando op_profile dal menu a discesa Strumenti. Verrà visualizzata una schermata come la seguente:

1. Sezione Panoramica. Mostra l'utilizzo di Cloud TPU e fornisce suggerimenti per l'ottimizzazione.
2. Pannello di controllo. Contiene controlli che ti consentono di impostare il numero di operazioni mostrate nella tabella, le operazioni da visualizzare e il modo in cui sono ordinate.
3. Tabella delle operazioni. Tabella che elenca le principali categorie di operazioni TensorFlow associate alle operazioni XLA. Queste operazioni sono ordinate in base alla percentuale di utilizzo di Cloud TPU.
4. Schede dei dettagli delle operazioni. Dettagli sull'operatrice visualizzati quando passi il mouse sopra l'opera nella tabella. Questi includono l'utilizzo dei FLOPS, l'espressione in cui viene utilizzato l'op e il layout op (fit).

Tabella Op XLA

La tabella delle operazioni elenca le categorie delle operazioni XLA in ordine decrescente, dalla percentuale più alta di utilizzo di Cloud TPU. Inizialmente, la tabella mostra la percentuale di tempo impiegato, il nome della categoria op, il nome dell'operatore TensorFlow associato e la percentuale di utilizzo FLOPS per la categoria. Per visualizzare (o nascondere) le 10 operazioni XLA che richiedono più tempo per una categoria, fai clic sul triangolo accanto al nome della categoria nella tabella.

1. Ora. Mostra la percentuale totale di tempo trascorso da tutte le operazioni in quella categoria. Puoi fare clic per espandere la voce e visualizzare la suddivisione del tempo trascorso da ogni singola operazione.
2. Principali 10 operazioni. Il pulsante di attivazione/disattivazione accanto al nome di una categoria mostra/nasconde le prime 10 operazioni che richiedono molto tempo all'interno della categoria. Se una voce di operazione di fusione è visualizzata nell'elenco delle operazioni, puoi espanderla per vedere le operazioni non di fusione e a livello di elementi contenuti.
3. TensorFlow Op. Mostra il nome dell'op TensorFlow associato all'operazione XLA.
4. FLOPS. Mostra l'utilizzo dei FLOPS, ovvero il numero misurato di FLOPS espresso come percentuale dei FLOPS di picco di Cloud TPU. Maggiore è la percentuale di utilizzo FLOPS, più rapidamente vengono eseguite operazioni. La cella della tabella è codificata a colori: verde per un elevato utilizzo FLOPS (buono) e rosso per un basso utilizzo FLOPS (cattivo).

Schede dettagli operazione

Quando selezioni la voce di una tabella, sulla sinistra viene visualizzata una scheda che mostra i dettagli relativi all'operazione XLA o alla categoria dell'operazione. Una scheda tipica ha questo aspetto:

• Nome e Categoria. Mostra la categoria e il nome dell'operazione XLA evidenziati.
• Utilizzo di FLOPS. Visualizza l'utilizzo FLOPS come percentuale del totale FLOPS possibile.
• Espressione. Mostra l'espressione XLA contenente l'operazione.
• Utilizzo della memoria. Mostra la percentuale di utilizzo massimo della memoria da parte del tuo programma.
• Layout (solo operazioni di convoluzione). Mostra la forma e il layout di un tensore, incluso se la forma del tensore è adatta perfettamente alle unità della matrice e come la matrice è riempita.

Interpretazione dei risultati

Per le operazioni di convoluzione, l'utilizzo dei FLOPS di TPU può essere ridotto a causa di uno o entrambi i seguenti motivi:

• spaziatura interna (le unità della matrice vengono utilizzate parzialmente)
• l'op di convoluzione è legata alla memoria

Questa sezione fornisce un'interpretazione di alcuni numeri di un modello diverso in cui le FLOP erano basse. In questo esempio, la fusione dell'output e la voluzione hanno dominato i tempi di esecuzione e c'è stata una lunga coda di operazioni vettoriali o scalari con FLOPS molto bassi.

Una strategia di ottimizzazione per questo tipo di profilo consiste nel trasformare le operazioni vettoriali o scalari in operazioni di convoluzione.

Nell'esempio seguente, %convolution.399 mostra un FLOPS e un utilizzo della memoria inferiori rispetto a %convolution.340 nell'esempio precedente.

Esamina il layout e nota che la dimensione del batch 16 viene aggiunta a 128 e la dimensione della funzionalità 3 viene aggiunta a 8, il che indica che solo il 5% delle unità della matrice viene utilizzato in modo efficace. Il calcolo per questa istanza dell'utilizzo percentuale è (((batch_time * num_of_features) / padding_size ) / num_of_cores". Confronta i FLOPS in questo esempio con la %convolution.340 nell'esempio precedente, che si adatta esattamente alla matrice.

Visualizzatore pod

Lo strumento Visualizzatore pod fornisce visualizzazioni delle prestazioni per ogni core in un pod e mostra lo stato dei canali di comunicazione tra i core in un pod. Visualizzatore di pod può identificare e individuare potenziali colli di bottiglia e aree che richiedono un'ottimizzazione. Lo strumento funziona per i pod completi e per tutte le sezioni dei pod v2 e v3.

Per visualizzare lo strumento Visualizzatore pod:

1. Seleziona Profilo dal pulsante del menu in alto a destra nella finestra di TensorBoard.
2. Fai clic sul menu Strumenti sul lato sinistro della finestra e seleziona pod_viewer.

L'interfaccia utente del Visualizzatore pod include:

1. Un dispositivo di scorrimento del passaggio, che consente di selezionare il passaggio da esaminare.
2. Un grafico di topologia, che mostra in modo interattivo i tuoi core TPU nell'intero sistema TPU.
3. Un grafico sui link di comunicazione che mostra i canali di invio e ricezione (recv) nel grafico della topologia.
4. Un grafico a barre della latenza dei canali di invio e ricezione. Passa il mouse sopra una barra del grafico attiva i link di comunicazione nel grafico dei link di comunicazione. Sulla barra a sinistra viene visualizzata una scheda dei dettagli del canale che fornisce informazioni dettagliate sul canale, come le dimensioni dei dati trasferiti, la latenza e la larghezza di banda.
5. Un grafico di analisi dei passaggi, che mostra un'analisi dettagliata di un passaggio per tutti i core. Può essere utilizzato per monitorare i colli di bottiglia del sistema e se un particolare core rallenta il sistema.

Dispositivo di scorrimento dei passaggi

Utilizza il dispositivo di scorrimento per selezionare un passaggio. Il resto dello strumento mostra le statistiche, come l'analisi dei passaggi e i link di comunicazione, per quel passaggio.

Grafico di topologia

Il grafico di topologia è organizzato in modo gerarchico per host, chip e core. I rettangoli più piccoli sono i core TPU. Due core indicano insieme un chip TPU e quattro chip insieme.

Il grafico di topologia è inoltre una mappa termica, codificata per colore per la percentuale di tempo in cui una specifica suddivisione (ad esempio computing flop elevato, incremento, invio e così via) richiede il passaggio selezionato. La barra appena sotto il grafico della topologia (mostrata nella figura seguente) mostra una codifica a colori per l'utilizzo di core e chip. Il colore dei core mostra l'utilizzo, dal giallo al blu. Per il calcolo dei Flop elevati, i numeri più grandi (colore più scuro) indicano più tempo utilizzato per il calcolo. Per tutte le altre analisi, numeri più piccoli (colori più chiari) indicano tempi di attesa più piccoli. Le aree con problemi potenziali, o hotspot, sono indicate quando un core è più scuro degli altri.

Fai clic sul selettore del menu a discesa accanto al nome del sistema (cerchiato nel diagramma) per scegliere il tipo specifico di analisi da esaminare.

Passa il mouse sopra uno qualsiasi dei piccoli rettangoli (singoli core) per visualizzare un suggerimento tecnico che mostra la posizione del core nel sistema, il relativo ID chip globale e il nome host. Il techtip include anche la durata della categoria di suddivisione selezionata, ad esempio High Flop, e la sua percentuale di utilizzo in un passaggio.

Canali di comunicazione

Questo strumento consente di visualizzare i link di invio e quelli ricevuti se il modello li utilizza per comunicare tra i core. Se il tuo modello contiene operazioni di invio e ricezione, puoi utilizzare un selettore di ID canale per selezionare un ID canale. Un link del core di origine (src) e del centro di destinazione (dst) rappresenta il canale di comunicazione. Per il rendering sul grafico di topologia, passa il mouse sopra le barre del grafico che mostrano la latenza dei canali di invio e ricezione.

Sulla barra a sinistra viene visualizzata una scheda che offre maggiori dettagli sul canale di comunicazione. Una scheda tipica ha il seguente aspetto:

1. Data Transfer, che mostra i dati trasferiti dal canale di invio e ricezione in memibyte (MiB).
2. Latenza, che mostra la durata, in microsecondi, dall'inizio dell'evento di invio alla fine dell'evento di ricezione.
3. BW, che mostra la quantità di dati trasferiti, in gibibit (GiB), dal core di origine al core di destinazione nel periodo di tempo.
4. Ritardo dell'invio, che corrisponde alla durata in microsecondi dall'inizio della ricezione all'inizio dell'invio. Se l'operazione consigliata viene avviata dopo l'inizio dell'operazione, il ritardo è pari a zero.
5. Nomi hero, che mostra i nomi delle operazioni XLA associati a questo canale. Questi nomi hlo sono associati alle statistiche visualizzate in altri strumenti TensorBoard come op_profile e memory_viewer.

Grafico della suddivisione dei passi

Questo grafico fornisce dettagli per ciascun passaggio di addestramento o valutazione.

L'asse X è l'ID chip globale e l'asse Y è il tempo in microsecondi. In questo grafico puoi vedere dove viene utilizzato il tempo in un determinato passaggio di addestramento, dove sono presenti colli di bottiglia e se è presente uno squilibrio del carico tra tutti i chip.

Sulla barra a sinistra viene visualizzata una scheda che fornisce ulteriori dettagli sulla suddivisione dei passaggi. Una scheda tipica ha il seguente aspetto:

I campi della scheda specificano quanto segue:

1. High Flops Compute, che indica il tempo dedicato alle operazioni di convoluzione o di fusione dell'output (operazioni).
2. Calcolo flop basso, che viene calcolato detraendo tutte le altre suddivisioni dalla durata totale.
3. Infeed, ovvero il tempo di utilizzo della TPU in attesa sull'host.
4. Outfeed, ovvero il tempo che l'host trascorre in attesa dell'output dalla TPU.
5. AllReduce Sync: la parte del tempo dedicato alle operazioni CrossReplicaSum Ops in attesa di sincronizzazione con altri core. Il metodo operativo CrossReplicaSum calcola la somma delle repliche.
6. AllReduce di computing, che è il tempo di calcolo effettivo trascorso sulle operazioni CrossReplicaSum.
7. Chip to chip send ops, ovvero il tempo impiegato per l'invio delle operazioni.
8. Chip per chip operazioni REC-fatto, ovvero il tempo dedicato alle operazioni RECV.

Visualizzatore Trace

Il visualizzatore Trace è uno strumento di analisi delle prestazioni di Cloud TPU disponibile in Profilo. Lo strumento utilizza il Visualizzatore profilazione degli eventi di traccia di Chrome, quindi funziona solo nel browser Chrome.

Il visualizzatore tracce mostra una sequenza temporale che mostra:

• La durata delle operazioni eseguite dal tuo modello TensorFlow .
• Quale parte del sistema (TPU o macchina host) ha eseguito un'operazione. In genere, la macchina host esegue operazioni di feed, che preelaborano i dati di addestramento e li trasferisce alla TPU, mentre la TPU esegue l'addestramento del modello effettivo.

Il visualizzatore di Trace consente di identificare i problemi di prestazioni nel modello, quindi di risolverli per risolverli. Ad esempio, a livello generale, puoi identificare se l'addestramento in-feed o di modello richiede la maggior parte del tempo. Se visualizzi in dettaglio, puoi identificare le operazioni TensorFlow che richiedono il tempo di esecuzione più lungo.

Tieni presente che il visualizzatore tracce è limitato a 1 milione di eventi per Cloud TPU. Se devi valutare più eventi, utilizza il visualizzatore di tracce in streaming.

Interfaccia visualizzatore di Trace

Per aprire il visualizzatore tracce, vai su TensorBoard, fai clic sulla scheda Profilo nella parte superiore dello schermo e scegli trace_viewer dal menu a discesa Strumenti. Viene visualizzato lo spettatore che visualizza la tua esecuzione più recente:

Questa schermata contiene i seguenti elementi principali (contrassegnati da numeri riportati sopra):

1. Esegui il menu a discesa. Contiene tutte le esecuzioni per le quali hai acquisito informazioni di traccia. La visualizzazione predefinita è l'esecuzione più recente, ma puoi aprire il menu a discesa per selezionare un'esecuzione diversa.
2. Elenco a discesa degli strumenti. Seleziona diversi strumenti di profilazione.
3. Menu a discesa Host Seleziona un host che contiene un set di Cloud TPU.
4. Riquadro Sequenza temporale. Mostra le operazioni eseguite da Cloud TPU e dalla macchina host nel tempo.
5. Riquadro dei dettagli. Mostra informazioni aggiuntive per le operazioni selezionate nel riquadro Timeline.

Vediamo più da vicino il riquadro della sequenza temporale:

Il riquadro Spostamenti contiene i seguenti elementi:

1. Barra superiore. Contiene vari controlli ausiliari.
2. Asse temporale. Mostra il tempo relativo all'inizio della traccia.
3. Etichette di sezioni e tracce. Ogni sezione contiene più tracce e presenta un triangolo a sinistra su cui puoi fare clic per espandere e comprimere la sezione. Nel sistema è presente una sezione per ogni elemento di elaborazione.
4. Selettore strumenti. Contiene vari strumenti per interagire con lo spettatore di Trace.
5. Eventi. Mostrano il tempo durante il quale è stata eseguita un'operazione o la durata dei meta-eventi, ad esempio i passaggi per l'addestramento.
6. Barra delle schede verticale. Questa operazione non ha uno scopo utile per Cloud TPU. La barra fa parte dello strumento di visualizzazione delle tracce per uso generico fornito da Chrome, che viene utilizzato per diverse attività di analisi delle prestazioni.

Sezioni e tracce

Il visualizzatore Trace contiene le seguenti sezioni:

• Una sezione per ogni nodo TPU, etichettata con il numero del chip TPU e il nodo TPU all'interno del chip (ad esempio "Chip 2: TPU Core 1"). Ogni sezione del nodo TPU contiene le seguenti tracce:
  • Passaggio. Mostra la durata dei passaggi di addestramento eseguiti sulla TPU.
  • Operazioni TensorFlow. Mostra le operazioni TensorFlow eseguite sulla TPU.
  • Ops XLA. Mostra le operazioni XLA eseguite sulla TPU. Ogni operazione viene tradotta in una o più operazioni XLA. Il compilatore XLA traduce le operazioni XLA in codice eseguito sulla TPU.
• Una sezione per i thread in esecuzione sulla CPU della macchina host,denominata "Thread host". La sezione contiene una traccia per ogni thread di CPU. Nota: puoi ignorare le informazioni visualizzate accanto alle etichette della sezione.

Selettore strumento Timeline

Puoi interagire con la visualizzazione della sequenza temporale utilizzando il selettore degli strumenti di cronologia in TensorBoard. Puoi fare clic su uno strumento della sequenza temporale o utilizzare le seguenti scorciatoie da tastiera per attivare ed evidenziare uno strumento. Per spostare il selettore dello strumento Cronologia, fai clic nell'area tratteggiata in alto e trascina il selettore dove preferisci.

Utilizza gli strumenti per la sequenza temporale come indicato di seguito:

	Strumento di selezione Fai clic su un evento per selezionarlo o trascinalo per selezionarlo. Nel riquadro dei dettagli verranno visualizzate ulteriori informazioni sull'evento o sugli eventi selezionati (nome, ora di inizio e durata).
	Strumento Panoramica Trascina per eseguire la panoramica della visualizzazione cronologia in orizzontale e in verticale.
	Strumento Zoom Trascina verso l'alto per aumentare lo zoom o verso il basso per diminuire lo zoom lungo l'asse orizzontale (tempo). La posizione orizzontale del cursore del mouse determina il centro intorno al quale viene eseguito lo zoom. Nota: lo strumento zoom presenta un bug noto per cui lo zoom rimane attivo se rilasci il pulsante del mouse mentre il cursore del mouse si trova all'esterno della visualizzazione della sequenza temporale. Se succede, basta fare clic brevemente sulla visualizzazione della sequenza temporale per interrompere lo zoom.
	Strumento Tempi Trascina orizzontalmente per contrassegnare un intervallo di tempo. La lunghezza dell'intervallo viene visualizzata sull'asse del tempo. Per regolare l'intervallo, trascina le estremità. Per cancellare l'intervallo, fai clic in un punto qualsiasi della visualizzazione della sequenza temporale. Tieni presente che l'intervallo rimane contrassegnato se selezioni uno degli altri strumenti.

Eventi

Gli eventi nella sequenza temporale vengono visualizzati in colori diversi; gli stessi colori non hanno alcun significato specifico.

Barra superiore Timeline

La barra superiore del riquadro Timeline contiene diversi controlli ausiliari:

1. Visualizzazione metadati. Non utilizzata per TPU.
2. Visualizza opzioni. Non utilizzata per TPU.
3. Casella di ricerca. Inserisci il testo per cercare tutti gli eventi il cui nome contiene il testo. Fai clic sui pulsanti freccia a destra della casella di ricerca per spostarti avanti e indietro negli eventi corrispondenti, selezionando ogni evento a turno.
4. Pulsante Console. Non utilizzata per TPU.
5. Pulsante Guida. Fai clic per visualizzare un riepilogo della guida.

Scorciatoie da tastiera

Di seguito sono riportate le scorciatoie da tastiera che puoi utilizzare nel visualizzatore tracce. Fai clic sul pulsante della guida (?) nella barra superiore per visualizzare altre scorciatoie da tastiera.

    w Zoom in
    s Zoom out
    a Pan left
    d Pan right
    f Zoom to selected event(s)
    m Mark time interval for selected event(s)
    1 Activate selection tool
    2 Activate pan tool
    3 Activate zoom tool
    4 Activate timing tool

La scorciatoia F può essere molto utile. Prova a selezionare un passaggio e premi F per ingrandire rapidamente il passaggio.

Eventi caratteristici

Di seguito sono riportati alcuni tipi di eventi che possono essere molto utili durante l'analisi delle prestazioni della TPU.

• InfeedDequeueTuple. Questa operazione TensorFlow viene eseguita su una TPU e riceve dati di input provenienti dall'host. Quando l'incremento richiede molto tempo, può significare che le operazioni di TensorFlow che preelaborano i dati sulla macchina host non possono tenere il passo con la percentuale di consumo dei dati TPU. Puoi visualizzare gli eventi corrispondenti nelle tracce host chiamate InfeedEnqueueTuple. Per visualizzare un'analisi più dettagliata della pipeline di input, utilizza lo strumento Analizzatore pipeline di input.

• CrossReplicaSum: Questa operazione TensorFlow viene eseguita su una TPU e calcola una somma tra le repliche. Poiché ogni replica corrisponde a un nodo TPU diverso, l'operazione deve attendere il completamento di tutti i nodi TPU con un passaggio. Se questa operazione richiede molto tempo, potrebbe non significare che l'operazione di somma stessa sia lenta, ma che un nodo TPU sia in attesa di un altro nodo TPU con un feed di dati lento.

• Operazioni set di dati. Il visualizzatore Trace mostra le operazioni del set di dati eseguite quando i dati vengono caricati utilizzando l'API Dataset. L'elemento Iterator::Filter::Batch::ForeverRepeat::Memory nell'esempio è compilato e corrisponde all'operazione dataset.map() . Utilizza il visualizzatore di tracce per esaminare le operazioni di caricamento durante il debug e la mitigazione dei colli di bottiglia delle pipeline di input.

• Precarica thread. L'utilizzo di dataset.prefetch() per eseguire il buffering dei dati di input può impedire rallentamenti sporadici nell'accesso ai file che creano colli di bottiglia nella pipeline di input.

Cosa non può andare

Di seguito sono riportati alcuni potenziali problemi da tenere presenti quando utilizzi il visualizzatore tracce:

• Limite di visualizzazione degli eventi. Il visualizzatore Trace mostra un massimo di 1 milione di eventi. Se hai acquisito più eventi, viene visualizzato solo il primo milione di eventi; gli eventi successivi vengono eliminati. Per acquisire più eventi TPU, puoi utilizzare il --include_dataset_ops=False flag per richiedere esplicitamentecapture_tpu_profile di escludere le operazioni del set di dati.
• Eventi molto lunghi. Gli eventi che iniziano prima o dopo un'acquisizione sono terminati dopo che un'acquisizione è terminata non sono visibili nel visualizzatore tracce. Di conseguenza, gli eventi molto lunghi possono essere persi.

• Quando avviare l'acquisizione della traccia. Assicurati di avviare l'acquisizione della traccia dopo aver verificato che Cloud TPU è in esecuzione. Se inizi prima di questo periodo, potresti vedere solo alcuni eventi o nessun evento nel visualizzatore tracce. Puoi aumentare la durata del profilo utilizzando il --duration_ms flag e puoi impostare nuovi tentativi automatici con il flag --num_tracing_attempts . Ecco alcuni esempi:

    (vm)$ capture_tpu_profile --tpu=$TPU_NAME
      --logdir=${MODEL_DIR} --duration_ms=60000 --num_tracing_attempts=10
      

Visualizzatore ricordi

Il visualizzatore memoria consente di visualizzare l'utilizzo massimo della memoria per il tuo programma e le tendenze di utilizzo della memoria per tutta la durata del programma.

L'interfaccia utente del visualizzatore di memoria ha il seguente aspetto:

1. Menu a discesa Host. Seleziona per un host TPU e i moduli XLA High Level Optimization (HLO) da visualizzare.
2. Panoramica della memoria. Mostra l'allocazione della memoria e le dimensioni massime senza spaziatura interna.
3. Grafico di uno spazio di lavoro. Mostra il picco di utilizzo della memoria e un grafico dell'utilizzo della memoria nel corso del ciclo di vita del programma. Passa il mouse sopra un buffer in uno dei grafici buffer per aggiungere un'annotazione relativa alla durata del buffer e alla scheda dei dettagli del buffer.
4. Grafici buffer. Due grafici che mostrano l'allocazione del buffer nel punto di picco dell'utilizzo della memoria, come indicato dalla linea verticale nel grafico dell'area di lavoro. Passando il mouse sopra un buffer in uno dei grafici buffer viene visualizzata la barra della durata del buffer nel grafico dell'area di lavoro e una scheda dei dettagli a sinistra.
5. Scheda Dettagli allocazione del buffer. Mostra i dettagli dell'allocazione di un buffer.

Riquadro panoramica della memoria

Il riquadro della panoramica della memoria (in alto) mostra il nome del modulo e l'allocazione massima della memoria impostata quando la dimensione totale di allocazione del buffer raggiunge il valore massimo. Viene mostrata anche la dimensione dei picchi di allocazione senza picchi.

Grafico dello spazio di lavoro

Questo grafico mostra l'utilizzo di memoria massimo e un grafico delle tendenze di utilizzo della memoria per tutta la durata del programma. La linea tracciata dall'alto verso il basso del grafico indica l'utilizzo massimo della memoria per il programma. Questo punto determina se un programma può essere inserito o meno nello spazio di memoria globale disponibile.

Ogni punto sul grafico sovrapposto rappresenta un "punto di programma" nel programma HLO di XLA pianificato dal compilatore. La linea fornisce un'idea del picco che porta a e dall'utilizzo di picco.

Interazione con gli elementi del grafico di buffer

Quando passi il mouse sopra un buffer visualizzato in uno dei grafici buffer sotto il grafico dell'area di lavoro, viene visualizzata una linea orizzontale per il buffer nel grafico dell'area di lavoro. La linea orizzontale è dello stesso colore del buffer evidenziato.

Lo spessore della linea orizzontale indica l'entità relativa della dimensione del buffer rispetto all'allocazione del picco di memoria. La lunghezza della riga corrisponde alla durata del buffer, a partire dal punto del programma in cui è stato allocato lo spazio buffer e terminando lo spazio liberato.

Grafici a buffer

Due grafici mostrano l'analisi della memoria utilizzata nel punto di utilizzo massimo (indicato dalla linea verticale nel grafico sopra i grafici).

• Per ordine del programma. Visualizza i buffer da sinistra a destra nell'ordine in cui erano attivi durante l'esecuzione del programma. I buffer attivi più a lungo si trovano sul lato sinistro del grafico.

• Per dimensione. Visualizza i buffer attivi durante l'esecuzione del programma in ordine di dimensione decrescente. Sulla sinistra sono presenti i buffer con l'impatto maggiore nel punto di utilizzo massimo della memoria.

Scheda dei dettagli di allocazione del buffer

Quando passi il mouse sopra un buffer visualizzato in uno dei grafici buffer, viene visualizzata una scheda dei dettagli dell'allocazione del buffer (oltre alla linea temporale visualizzata nel grafico di lavoro). Una scheda dei dettagli tipica ha il seguente aspetto:

1. Nome. Nome dell'operazione XLA.
2. Categoria. Categoria operazione.
3. Dimensioni. Dimensioni dell'allocazione del buffer (inclusa la spaziatura interna).
4. Dimensioni senza imbottitura. Dimensione dell'allocazione del buffer senza spaziatura interna.
5. Espansione. Magnitudo relativa delle dimensioni del buffer imbottito rispetto alle dimensioni imbottite.
6. Memoria extra. Indica la quantità di memoria supplementare utilizzata per la spaziatura interna.
7. Forma. Descrive il ranking, le dimensioni e il tipo di dati dell'array N-dimensionale.
8. Nome dell'operatore TensorFlow. Mostra il nome dell'operazione TensorFlow associata all'allocazione del buffer.
9. Tipo di allocazione. Indica la categoria di allocazione del buffer. I tipi sono: Parametro, Output, Locale nei thread e Temporaneo (ad esempio, allocazione del buffer all'interno di una fusione).

Errori "Memoria esaurita"

Se esegui un modello e ricevi un errore di memoria insufficiente, usa il seguente comando per acquisire un profilo di memoria e visualizzarlo nel visualizzatore della memoria. Assicurati di impostare la durata appropriata in modo che il periodo di profilazione si sovrapponga al tempo di compilazione del programma. L'output può aiutarti a capire cosa ha causato l'errore:

  (vm)$ capture_tpu_profile --tpu=$TPU_NAME --logdir=${MODEL_DIR} --duration_ms=60000
  

Visualizzatore di tracce in streaming

Il visualizzatore tracce in streaming (trace_viewer) è uno strumento di analisi delle prestazioni di Cloud TPU, disponibile per TensorFlow 2.13.0 o versioni successive, che fornisce il rendering dinamico delle tracce. Lo strumento utilizza il visualizzatore profilazione degli eventi di traccia di Chrome, in modo da funzionare solo nel browser Chrome.

Quando utilizzi capture_tpu_profile per acquisire un profilo, un file .tracetable viene salvato nel bucket di archiviazione di Google Cloud. Il file contiene un gran numero di eventi di traccia che possono essere visualizzati sia nel visualizzatore di tracce sia nel visualizzatore di flussi di dati.

Utilizzo del visualizzatore di tracce in streaming

Per utilizzare il visualizzatore tracce in streaming, trace_viewer, devi arrestare la sessione TensorBoard esistente, quindi riavviare TensorBoard utilizzando l'indirizzo IP della TPU che vuoi esaminare. Il visualizzatore tracce in streaming richiede che TensorBoard effettui una chiamata a procedura remota (GRPC) di Google a un indirizzo IP per Cloud TPU. Il canale GRPC non è criptato.

Puoi trovare l'indirizzo IP di un host Cloud TPU nella pagina di Cloud TPU. Trova il tuo Cloud TPU e cerca l'indirizzo IP nella colonna IP interno.

Nella VM, esegui TensorBoard come segue sostituendo tpu-ip con l'indirizzo IP della tua TPU:

  (vm)$ tensorboard --logdir=${MODEL_DIR} \
    --master_tpu_unsecure_channel=tpu-ip

Lo strumento TensorBoard viene visualizzato nell'elenco a discesa Strumenti.

Nella sequenza temporale, puoi aumentare e diminuire lo zoom per visualizzare gli eventi di traccia caricati dinamicamente nel tuo browser.

Monitoraggio del job Cloud TPU

Questa sezione descrive come utilizzare capture_tpu_profile per acquisire un singolo profilo o monitorare continuamente il tuo job Cloud TPU sull'interfaccia a riga di comando in tempo reale. Se imposti l'opzione --monitoring_level su 0 (valore predefinito), 1 o 2, ricevi un singolo profilo, monitoraggio di base o monitoraggio dettagliato, rispettivamente.

Nota: non puoi acquisire un profilo e monitorare il job contemporaneamente.

Apri un nuovo Cloud Shell e impostalo sulla tua VM (sostituisci vm-name nel comando con il nome della tua VM):

  (vm)$ gcloud compute ssh vm-name \
  --ssh-flag=-L6006:localhost:6006

Nel nuovo Cloud Shell, esegui capture_tpu_profile con il flag --monitoring_levelimpostato su 1 o 2, ad esempio:

  (vm)$ capture_tpu_profile --tpu=$TPU_NAME \
   --monitoring_level=1

L'impostazione di monitoring_level=1 genera un output simile al seguente:

    TPU type: TPU v2
    Utilization of TPU Matrix Units is (higher is better): 10.7%

L'impostazione monitoring_level=2 mostra informazioni più dettagliate:

    TPU type: TPU v2
    Number of TPU Cores: 8
    TPU idle time (lower is better): 0.091%
    Utilization of TPU Matrix Units is (higher is better): 10.7%
    Step time: 1.95 kms (avg), 1.90kms (minute), 2.00 kms (max)
    Infeed percentage: 87.5% (avg). 87.2% (min), 87.8 (max)

Flag di monitoraggio

• --tpu (obbligatorio) specifica il nome della Cloud TPU che vuoi monitorare.
• --monitoring_level. Cambia il comportamento di capture_tpu_profile dalla generazione di un singolo profilo al monitoraggio continuo di base o dettagliato. Sono disponibili tre livelli: Livello 0 (predefinito): genera un singolo profilo e poi esce. Livello 1: mostra la versione di TPU e l'utilizzo della TPU. Livello 2: mostra l'utilizzo delle TPU, il tempo di inattività delle TPU e il numero di core TPU utilizzati. Fornisce anche tempi di passaggio minimi, medi e massimi, insieme al contributo percentuale di incremento.
• --duration_ms (facoltativo, il valore predefinito è 1000 ms) specifica per quanto tempo profilare l'host TPU durante ogni ciclo. In genere, questo processo dovrebbe essere abbastanza lungo da acquisire almeno un passaggio di dati di addestramento. 1 secondo acquisisce un passaggio di addestramento nella maggior parte dei modelli, ma se il tempo di passaggio del modello è molto elevato, puoi impostare il valore su 2x step_time(in ms).
• --num_queries specifica quanti cicli di esecuzione di capture_tpu_profile. Per monitorare continuamente il job TPU, imposta il valore su un numero alto. Per controllare rapidamente il tempo di passaggio del modello, imposta il valore su un numero basso.