Inizia a utilizzare Vertex AI TensorBoard

Per poter visualizzare gli esperimenti, deve essere presente un'istanza Vertex AI TensorBoard, ovvero una risorsa regionalizzata per l'archiviazione dei tuoi esperimenti Vertex AI TensorBoard. Puoi creare più istanze in un progetto, ad esempio quelle create manualmente o per impostazione predefinita nell'SDK dell'esperimento.

Crea un'istanza Vertex AI TensorBoard

SDK Vertex AI per Python

Crea un'istanza Vertex AI TensorBoard utilizzando l'SDK Vertex AI per Python.

SDK Vertex AI per Python

Visualizza su GitHub Feedback

def create_tensorboard_sample(
    project: str,
    location: str,
    display_name: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    tensorboard = aiplatform.Tensorboard.create(
        display_name=display_name,
        project=project,
        location=location,
    )

    aiplatform.init(
        project=project,
        location=location,
        experiment_tensorboard=tensorboard
    )

    return tensorboard

• project: l'ID del tuo progetto. Puoi trovare questi ID nella pagina di benvenuto della console Google Cloud.
  
• display_name: specifica un nome per l'istanza TensorBoard.
• location: consulta l'elenco delle località disponibili Assicurati di utilizzare una regione che supporti TensorBoard se crei un'istanza TensorBoard.

Console Google Cloud

Segui questi passaggi per creare un'istanza Vertex AI TensorBoard utilizzando la console Google Cloud.

1. Se non hai mai utilizzato Vertex AI o stai iniziando un nuovo progetto, configura il progetto e l'ambiente di sviluppo.
2. Nella sezione Vertex AI della console Google Cloud, vai alla pagina Esperimenti.
   
   Vai alla pagina Esperimenti.
3. Vai alla scheda Istanze TensorBoard.
4. Fai clic su Crea nella parte superiore della pagina.
5. Seleziona una regione dall'elenco a discesa Regione.
6. Aggiungi una descrizione. (Facoltativo)
7. Fai clic su Crea per creare la tua istanza TensorBoard

Interfaccia a riga di comando gcloud

Utilizza Google Cloud CLI per creare un'istanza Vertex AI TensorBoard.

1. Installa gcloud CLI
2. Inizializza Google Cloud CLI eseguendo gcloud init.
3. Per confermare l'installazione, esplora i comandi.
   

    gcloud ai tensorboards --help 

   
   I comandi includono create, describe, list e delete. Se necessario, puoi seguire questi passaggi per impostare i valori predefiniti per il progetto e la regione prima di procedere.
   Ora puoi creare un'istanza di Vertex AI TensorBoard.
4. Esegui l'autenticazione in gcloud CLI.
   

   gcloud auth application-default login

5. Crea un'istanza Vertex AI TensorBoard fornendo un nome di progetto e un nome visualizzato. Per la prima volta in un progetto potrebbero essere necessari alcuni minuti. Prendi nota del nome dell'istanza di Vertex AI TensorBoard (ad esempio: projects/123/locations/us-central1/tensorboards/456) stampato alla fine del comando seguente. Ti servirà nei passaggi successivi.
   

   gcloud ai tensorboards create --display-name DISPLAY_NAME \
        --project PROJECT_NAME
      

   
   Sostituisci quanto segue:
   
   • PROJECT_NAME: il progetto in cui vuoi creare l'istanza TensorBoard
   • DISPLAY_NAME: un nome descrittivo per l'istanza TensorBoard

Log di TensorBoard

Vertex AI TensorBoard offre Google Cloud CLI e l'SDK Vertex AI per Python per il caricamento dei log di TensorBoard. Puoi caricare i log da qualsiasi ambiente in grado di connettersi a Google Cloud.

(Facoltativo) Crea un ambiente virtuale

Primo passaggio facoltativo, ma consigliato:

1. Crea un ambiente virtuale dedicato per installare l'interfaccia a riga di comando Python di Vertex AI TensorBoard Uploader.

python3 -m venv PATH/TO/VIRTUAL/ENVIRONMENT
source PATH/TO/VIRTUAL/ENVIRONMENT/bin/activate

1. Sostituisci PATH/TO/VIRTUAL/ENVIRONMENT con il percorso dell'ambiente virtuale dedicato.

Installa il pacchetto Vertex AI TensorBoard tramite l'SDK Vertex AI

Per essere installato correttamente, l'utente che ha caricato il video ha bisogno dell'ultima versione di pip.

pip install -U pip
pip install google-cloud-aiplatform[tensorboard]

Carica i log di Vertex AI TensorBoard

Nota: non caricare un intero bucket Cloud Storage o una cartella Cloud Storage con molte cartelle nidificate da più esecuzioni di addestramento in un unico esperimento. La best practice consiste nel caricare i log di addestramento appartenenti a un'analisi di addestramento, valutazione o ottimizzazione degli iperparametri in un esperimento Vertex AI TensorBoard nel cloud.

SDK Vertex AI per Python

Monitoraggio continuo

Chiama aiplatform.start_upload_tb_log all'inizio della formazione. L'SDK apre un nuovo thread per il caricamento. Questo thread continua a monitorare quando ci sono nuovi dati nella directory. Al termine dell'addestramento, chiama end_upload_tb_log e termina il thread che ha caricato il video. Se end_upload_tb_log non viene chiamato, un piano di timeout chiude il thread.

SDK Vertex AI per Python

Visualizza su GitHub Feedback

def upload_tensorboard_log_continuously_sample(
    tensorboard_experiment_name: str,
    logdir: str,
    tensorboard_id: str,
    project: str,
    location: str,
    experiment_display_name: Optional[str] = None,
    run_name_prefix: Optional[str] = None,
    description: Optional[str] = None,
) -> None:

    aiplatform.init(project=project, location=location)

    # Continuous monitoring
    aiplatform.start_upload_tb_log(
        tensorboard_id=tensorboard_id,
        tensorboard_experiment_name=tensorboard_experiment_name,
        logdir=logdir,
        experiment_display_name=experiment_display_name,
        run_name_prefix=run_name_prefix,
        description=description,
    )
    aiplatform.end_upload_tb_log()

• tensorboard_experiment_name: il nome dell'esperimento.
• logdir: la posizione dei log di TensorBoard nel file system locale o in Cloud Storage.
• tensorboard_id:
  • Per trovare tensorboard_id, vai alla sezione Vertex AI della pagina Esperimenti della console Google Cloud e seleziona la scheda Istanze TensorBoard.
    Vai alla pagina Esperimenti
    
    
  Se non viene configurato, viene utilizzato il valore tensorboard_id in aiplatform.init.
• project: l'ID del tuo progetto. Puoi trovare questi ID progetto nella pagina di benvenuto della console Google Cloud.
• location: consulta l'elenco delle località disponibili
• experiment_display_name: il nome visualizzato dell'esperimento.
• run_name_prefix: se presente, tutte le esecuzioni create da questa chiamata avranno il nome preceduto da questo valore.
• description: una descrizione della stringa da assegnare all'esperimento.

Registrazione una tantum

Chiamata a aiplatform.upload_tb_log per eseguire un caricamento una tantum dei log di TensorBoard. Carica solo i dati esistenti nella directory log e restituisce immediatamente il file.

SDK Vertex AI per Python

Visualizza su GitHub Feedback

def upload_tensorboard_log_one_time_sample(
    tensorboard_experiment_name: str,
    logdir: str,
    tensorboard_id: str,
    project: str,
    location: str,
    experiment_display_name: Optional[str] = None,
    run_name_prefix: Optional[str] = None,
    description: Optional[str] = None,
    verbosity: Optional[int] = 1,
) -> None:

    aiplatform.init(project=project, location=location)

    # one time upload
    aiplatform.upload_tb_log(
        tensorboard_id=tensorboard_id,
        tensorboard_experiment_name=tensorboard_experiment_name,
        logdir=logdir,
        experiment_display_name=experiment_display_name,
        run_name_prefix=run_name_prefix,
        description=description,
    )

• tensorboard_experiment_name: questo è il nome di questo esperimento TensorBoard. projects/{project}/locations/{location}/tensorboards/{tensorboard_id}
• logdir: la posizione dei log di TensorBoard nel file system locale o in Cloud Storage.
• tensorboard_id:
  • Per trovare tensorboard_id, vai alla sezione Vertex AI della pagina Esperimenti della console Google Cloud e seleziona la scheda Istanze TensorBoard.
    Vai alla pagina Esperimenti
    
    
  Se non viene configurato, viene utilizzato il valore tensorboard_id in aiplatform.init.
• project: l'ID del tuo progetto. Puoi trovare questi ID progetto nella pagina di benvenuto della console Google Cloud.
• location: consulta l'elenco delle località disponibili
• experiment_display_name: il nome visualizzato dell'esperimento.
• run_name_prefix: se presente, tutte le esecuzioni create da questa chiamata avranno il nome preceduto da questo valore.
• description: una descrizione della stringa da assegnare all'esperimento.
• verbosity: livello di dettaglio delle statistiche, un numero intero. Valore supportato: 0 - Non vengono stampate le statistiche di caricamento. 1 - Stampa le statistiche di caricamento durante il caricamento dei dati (impostazione predefinita).

Interfaccia a riga di comando gcloud

tb-gcp-uploader --tensorboard_resource_name \
  TENSORBOARD_INSTANCE_NAME \
  --logdir=LOG_DIR \
  --experiment_name=TB_EXPERIMENT_NAME --one_shot=True

• TENSORBOARD_INSTANCE_NAME: esistono due modi per identificare il nome istanza:
  • Il nome completo è stampato alla fine del comando gcloud ai tensorboards create utilizzato in precedenza.
  • Se l'istanza TensorBoard è stata creata utilizzando la console Google Cloud, TENSORBOARD_INSTANCE_NAME è projects/PROJECT_ID_OR_NUMBER/locations/REGION/tensorboards/TENSORBOARD_INSTANCE_ID
  • Per trovare TENSORBOARD_INSTANCE_ID, vai alla sezione Vertex AI della pagina Esperimenti della console Google Cloud e seleziona la scheda Istanze TensorBoard.
    Vai alla pagina Esperimenti
    
    
• LOG_DIR: la posizione dei log eventi che si trova nel file system locale o in Cloud Storage
• TB_EXPERIMENT_NAME: il nome dell'esperimento, ad esempio test-experiment. Il nome dell'esperimento deve essere univoco all'interno di una risorsa TensorBoard

Per impostazione predefinita, l'interfaccia a riga di comando dell'uploader è in esecuzione a tempo indeterminato, monitora le modifiche in LOG_DIR e carica i log appena aggiunti. --one_shot=True disabilita il comportamento. Esegui tb-gcp-uploader --help per ulteriori informazioni.

Visualizza un esperimento Vertex AI TensorBoard

Puoi accedere all'esperimento Vertex AI TensorBoard dalla console Google Cloud oppure, quando utilizzi il pacchetto Vertex AI TensorBoard, Google Cloud CLI genera un link all'istanza Vertex AI TensorBoard.

Accedere a Vertex AI TensorBoard utilizzando la console Google Cloud

Puoi accedere all'esperimento Vertex AI TensorBoard dalla console Google Cloud seguendo questi passaggi.

1. Nella sezione Vertex AI della console Google Cloud, vai alla pagina Esperimenti.

   Vai alla pagina Esperimenti

2. Nella scheda Esperimenti, scorri o filtra l'elenco degli esperimenti per trovare l'esperimento.

3. Per aprire la pagina dell'applicazione web Vertex AI TensorBoard, fai clic su Apri TensorBoard accanto all'esperimento.

Viene visualizzata la vista dell'applicazione web Vertex AI TensorBoard.

Puoi condividere il link a questa vista con altri utenti che dispongono dell'autorizzazione.

Se usi Vertex AI TensorBoard con l'addestramento personalizzato, seleziona l'esperimento dalla pagina di monitoraggio degli esperimenti. Nella parte superiore della pagina viene visualizzato un pulsante Apri TensorBoard. Allo stesso modo, se utilizzi Vertex AI TensorBoard in Vertex AI Pipelines, viene visualizzato il pulsante Apri TensorBoard quando selezioni il componente associato.

Usa il link dall'output di Google Cloud CLI

Inoltre, quando utilizzi il pacchetto Vertex AI TensorBoard, Google Cloud CLI genera un link all'istanza di Vertex AI TensorBoard nelle prime righe del log, dove puoi visualizzare l'esperimento. Ad esempio: View your TensorBoard at https://us-central1.tensorboard.googleusercontent.com/experiment/projects+123+locations+us-central1+tensorboards+4567+experiments+my-experiment-name

Blocchi note

Per scoprire di più, esegui i seguenti blocchi note Jupyter nell'ambiente che preferisci:

• "Vertex AI TensorBoard: elimina gli esperimenti TensorBoard obsoleti":

  Esegui in Colab | Apri nei blocchi note gestiti dall'utente di Vertex AI Workbench | Visualizza su GitHub

• "Integrazione di Vertex AI TensorBoard con Vertex AI Pipelines":

  Esegui in Colab | Apri nei blocchi note gestiti dall'utente di Vertex AI Workbench | Visualizza su GitHub

Passaggi successivi

• Consulta la documentazione relativa all'API TensorBoard.

• Consulta Utilizzare Vertex AI TensorBoard con l'addestramento personalizzato

• Consulta Prestazioni dell'addestramento del modello di profilo utilizzando Profiler