Comparar e analisar execuções

É possível usar o SDK da Vertex AI para Python para ver dados de execuções de Experimentos da Vertex AI e comparar as execuções.

O console do Google Cloud fornece uma visualização dos dados associados a essas execuções.

Acessar dados de execuções do experimento

Essas amostras envolvem receber métricas de execução, parâmetros de execução, métricas de série de tempo de execução, artefatos e métricas de classificação para uma execução de experiência específica.

Métricas de resumo

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

run_name: especifique o nome de execução apropriado para esta sessão.
experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
location: Consulte a Lista de locais disponíveis.

Parâmetros

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

run_name: especifique o nome de execução apropriado para esta sessão.
experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
location: Consulte a Lista de locais disponíveis.

Métricas de série temporal

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

run_name: especifique o nome de execução apropriado para esta sessão.
experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
location: Consulte a Lista de locais disponíveis.

Artefatos

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

run_name: especifique o nome de execução apropriado para esta sessão.
experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
location: Consulte a Lista de locais disponíveis.

Métricas de classificação

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

run_name: especifique o nome de execução apropriado para esta sessão.
experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
location: Consulte a Lista de locais disponíveis.

Comparar execuções

Usando o SDK da Vertex AI para Python, é possível recuperar os dados associados ao seu experimento. Os dados das execuções do experimento são retornados em um DataFrame.

Comparar execuções

Os dados das execuções do experimento são retornados em um DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

experiment_name: fornece um nome para o experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na seção de navegação.
project: o ID do projeto. Esses IDs estão na página de boas-vindas do console do Google Cloud.
location: Consulte a Lista de locais disponíveis.

Console do Google Cloud

Use o console do Google Cloud para ver detalhes das suas execuções de experimentos e compará-las entre si.

Ver dados de execução do experimento

No Console do Google Cloud, acesse a página Experimentos.
Acessar os Experimentos.
Uma lista de experimentos associados a um projeto será exibida.
Selecione o experimento que contém a execução que você quer verificar.
Uma lista de execuções, gráficos de dados de série temporal e uma tabela de dados de métricas e parâmetros são exibidos. Nesse caso, três execuções são selecionadas, mas apenas duas linhas aparecem nos gráficos de dados de série temporal. Não há terceira linha porque a terceira execução do experimento não contém dados de séries temporais para exibir.
Clique no nome da execução para acessar a página de detalhes.

Os gráficos de dados da barra de navegação e da série temporal são exibidos.
Para visualizar métricas, parâmetros, artefatos e detalhes da execução selecionada, clique nos respectivos botões na barra de navegação.
- Métricas
- Parâmetros
- Artefatos
  
  Para ver a linhagem do artefato, clique no link Abrir artefato no armazenamento de metadados. O gráfico de linhagem associado à execução é exibido.
- Detalhes

Para compartilhar os dados com outras pessoas, use os URLs associados às vistas. Por exemplo, compartilhe a lista de execuções associadas a uma experiência:

Lista de execuções de compartilhamento da Vertex AI

Comparar execuções de experimentos

Você pode selecionar execuções para comparar dentro de uma experiência e entre as experiências.

No Console do Google Cloud, acesse a página Experimentos.
Acessar os Experimentos.
Uma lista de experimentos será exibida.
Selecione o experimento que contém a execução que você quer comparar. Uma lista de execuções será exibida.
Selecione as execuções que você quer comparar. Clique em Comparar.

Por padrão, os gráficos são exibidos com a comparação das métricas de série temporal das execuções selecionadas do experimento.
Para adicionar execuções a partir de qualquer experimento no seu projeto, clique em Adicionar execução.

Para compartilhar os dados com outras pessoas, use os URLs associados às vistas. Por exemplo, compartilhe a visualização de comparação de dados de métricas de série temporal:

Consulte Criar e gerenciar execuções de experimentos para saber como atualizar o status de uma execução.

A seguir

Rastrear execuções e artefatos