Confronta e analizza le esecuzioni

Puoi usare l'SDK Vertex AI per Python per visualizzare i dati delle esecuzioni degli esperimenti Vertex AI e confrontarli.

La console Google Cloud fornisce una visualizzazione dei dati associati a queste esecuzioni.

Ottieni dati sulle esecuzioni dell'esperimento

Questi esempi prevedono il recupero di metriche di esecuzione, parametri di esecuzione, metriche delle serie di runtime, artefatti e metriche di classificazione per una determinata esecuzione di esperimento.

Metriche di riepilogo

Python

def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

run_name: specifica il nome esecuzione appropriato per questa sessione.
experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
project: il tuo ID progetto. Sono disponibili nella pagina di benvenuto della console Google Cloud.
location: consulta l'elenco delle località disponibili.

Parametri

Python

def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

run_name: specifica il nome esecuzione appropriato per questa sessione.
experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
project: il tuo ID progetto. Sono disponibili nella pagina di benvenuto della console Google Cloud.
location: consulta l'elenco delle località disponibili.

Metriche delle serie temporali

Python

def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

run_name: specifica il nome esecuzione appropriato per questa sessione.
experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
project: il tuo ID progetto. Sono disponibili nella pagina di benvenuto della console Google Cloud.
location: consulta l'elenco delle località disponibili.

Artefatti

Python

def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

run_name: specifica il nome esecuzione appropriato per questa sessione.
experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
project: il tuo ID progetto. Sono disponibili nella pagina di benvenuto della console Google Cloud.
location: consulta l'elenco delle località disponibili.

Metriche di classificazione

Python

def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

run_name: specifica il nome esecuzione appropriato per questa sessione.
experiment: il nome o l'istanza di questo esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
project: il tuo ID progetto. Sono disponibili nella pagina di benvenuto della console Google Cloud.
location: consulta l'elenco delle località disponibili.

Confronta esecuzioni

Con l'SDK Vertex AI per Python, puoi recuperare i dati associati all'esperimento. I dati delle esecuzioni dell'esperimento vengono restituiti in un DataFrame.

Confronta esecuzioni

I dati delle esecuzioni dell'esperimento vengono restituiti in un DataFrame.

Python

def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

experiment_name: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
project: il tuo ID progetto. Puoi trovare questi ID nella pagina di benvenuto della console Google Cloud.
location: consulta l'elenco delle località disponibili.

Console Google Cloud

Utilizza la console Google Cloud per visualizzare i dettagli delle esecuzioni dell'esperimento e confrontarle tra loro.

Visualizza i dati di esecuzione dell'esperimento

Nella console Google Cloud, vai alla pagina Esperimenti.
<a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3"Esperimenti.
Viene visualizzato un elenco di esperimenti associati a un progetto. </a{:>
Seleziona l'esperimento contenente l'esecuzione da verificare.
Viene visualizzato un elenco di esecuzioni, grafici relativi a serie temporali e una tabella di dati di metriche e parametri. Tieni presente che, in questo caso, vengono selezionate tre esecuzioni, ma nei grafici di dati della serie temporale vengono visualizzate solo due righe. Non esiste una terza riga perché la terza esecuzione dell'esperimento non contiene dati di serie temporali da visualizzare.
Fai clic sul nome dell'esecuzione per accedere alla relativa pagina dei dettagli.

Vengono visualizzati i grafici dei dati della barra di navigazione e della serie temporale.
Per visualizzare metriche, parametri, artefatti e dettagli per l'esecuzione selezionata, fai clic sui rispettivi pulsanti nella barra di navigazione.
- Metriche
- Parametri
- Artefatti
  
  Per visualizzare la derivazione degli artefatti, fai clic sul link Apri artefatto nell'archivio metadati. Viene visualizzato il grafico della derivazione associato all'esecuzione.
- Dettagli

Per condividere i dati con altri utenti, utilizza gli URL associati alle viste. Ad esempio, condividi l'elenco delle esecuzioni di un esperimento associate a un esperimento:

Elenco di condivisione delle esecuzioni di Vertex AI

Confronta le esecuzioni dell'esperimento

Puoi selezionare le esecuzioni da confrontare sia all'interno di un esperimento sia tra esperimenti.

Nella console Google Cloud, vai alla pagina Esperimenti.
<a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3"Esperimenti.
Viene visualizzato un elenco di esperimenti. </a{:>
Seleziona l'esperimento contenente le esecuzioni da confrontare. Viene visualizzato un elenco di esecuzioni.
Seleziona le esecuzioni dell'esperimento da confrontare. Fai clic su Confronta.

Per impostazione predefinita, i grafici vengono visualizzati confrontando le metriche della serie temporale delle esecuzioni dell'esperimento selezionate.
Per aggiungere altre esecuzioni da qualsiasi esperimento nel progetto, fai clic su Aggiungi esecuzione.

Per condividere i dati con altri utenti, utilizza gli URL associati alle viste. Ad esempio, condividi la visualizzazione di confronto dei dati delle metriche delle serie temporali:

Consulta Creare e gestire le esecuzioni di un esperimento per scoprire come aggiornare lo stato di un'esecuzione.

Passaggi successivi

Monitorare le esecuzioni e gli artefatti