Confronta e analizza le esecuzioni

Puoi utilizzare l'SDK Vertex AI per Python per visualizzare gli esperimenti di Vertex AI esegue i dati e confronta le esecuzioni.

• Recuperare i dati delle esecuzioni
• Confrontare le esecuzioni

La console Google Cloud fornisce una visualizzazione dei dati associate a queste esecuzioni.

• Visualizzare i dati sull'esecuzione dell'esperimento
• Confrontare le esecuzioni dell'esperimento

Ottieni dati sulle esecuzioni dell'esperimento

Questi esempi includono il recupero di metriche di esecuzione, parametri di esecuzione e serie di runtime metriche, artefatti e metriche di classificazione per l'esecuzione di un determinato esperimento.

Metriche di riepilogo

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

• run_name: specifica il nome dell'esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.
• project: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Parametri

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

• run_name: specifica il nome dell'esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.
• project: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Metriche delle serie temporali

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

• run_name: specifica il nome dell'esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.
• project: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Artefatti

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

• run_name: specifica il nome dell'esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.
• project: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Metriche di classificazione

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

• run_name: specifica il nome dell'esecuzione appropriato per questa sessione.
• experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.
• project: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Confronta esecuzioni

Utilizzando l'SDK Vertex AI per Python, puoi recuperare i dati associati dell'esperimento. I dati relativi alle esecuzioni dell'esperimento vengono restituiti in un DataFrame.

Confronta esecuzioni

I dati relativi alle esecuzioni dell'esperimento vengono restituiti in un DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

• experiment_name: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella Console Google Cloud selezionando Esperimenti nella sezione di navigazione.
• project: il tuo ID progetto. Puoi trovare questi ID nella console Google Cloud pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Console Google Cloud

Utilizza la console Google Cloud per visualizzare i dettagli del tuo esecuzioni dell'esperimento e confronterai le esecuzioni dell'esperimento.

Visualizza i dati sull'esecuzione dell'esperimento

1. Nella console Google Cloud, vai alla pagina Esperimenti.
   Vai a Esperimenti.
   Viene visualizzato un elenco di esperimenti associati a un progetto.
2. Seleziona l'esperimento contenente l'esecuzione da verificare.
   un elenco di esecuzioni, vengono visualizzati grafici di dati con serie temporale e una tabella di dati su metriche e parametri. Nota che, in questo in questo caso, vengono selezionate tre esecuzioni, ma solo due righe vengono visualizzate nei grafici di dati della serie temporale. Non è presente una terza riga perché la terza esecuzione dell'esperimento non contiene dati della serie temporale da visualizzare.
   
   
3. Fai clic sul nome dell'esecuzione per andare alla relativa pagina dei dettagli.
   
   Vengono visualizzati la barra di navigazione e i grafici di dati della serie temporale.
   
4. Per visualizzare metriche, parametri, artefatti e dettagli dell'esecuzione selezionata: fai clic sui rispettivi pulsanti nella barra di navigazione.
   • Metriche
     
   • Parametri
     
   • Artefatti
     
     Per visualizzare la derivazione dell'artefatto, fai clic sul link Apri l'artefatto nell'archivio metadati. La e il grafico della derivazione associato all'esecuzione.
     
   • Dettagli
     

Per condividere i dati con altri utenti, utilizza gli URL associati alle viste. Ad esempio, condividi l'elenco delle esecuzioni dell'esperimento associate a un esperimento:

Confronta le esecuzioni dell'esperimento

Puoi selezionare le esecuzioni per eseguire un confronto sia all'interno di un esperimento sia tra esperimenti.

1. Nella console Google Cloud, vai alla pagina Esperimenti.
   Vai a Esperimenti.
   Viene visualizzato un elenco di esperimenti.
2. Seleziona l'esperimento contenente le esecuzioni da confrontare. Viene visualizzato un elenco delle esecuzioni.
3. Seleziona le esecuzioni dell'esperimento da confrontare. Fai clic su Confronta.
   
   Per impostazione predefinita, vengono visualizzati grafici che confrontano le metriche della serie temporale delle esecuzioni dell'esperimento selezionato.
4. Per aggiungere altre esecuzioni da qualsiasi esperimento nel tuo progetto, fai clic su Aggiungi esecuzione.

Per condividere i dati con altri utenti, utilizza gli URL associati alle viste. Ad esempio, condividi la visualizzazione comparativa dei dati delle metriche della serie temporale:

Consulta Creare e gestire le esecuzioni degli esperimenti su come aggiornare lo stato di un'esecuzione.

Passaggi successivi

• Monitorare esecuzioni e artefatti