Comparar e analisar execuções

É possível usar o SDK da Vertex AI para Python para ver dados de execuções de Experimentos da Vertex AI e comparar as execuções.

O console do Google Cloud fornece uma visualização dos dados associados a essas execuções.

Acessar dados de execuções do experimento

Essas amostras envolvem receber métricas de execução, parâmetros de execução, métricas de série de tempo de execução, artefatos e métricas de classificação para uma execução de experiência específica.

Métricas de resumo

Python

def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()
  • run_name: especifique o nome de execução apropriado para esta sessão.
  • experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
  • project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
  • location: Consulte a Lista de locais disponíveis.

Parâmetros

Python

def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()
  • run_name: especifique o nome de execução apropriado para esta sessão.
  • experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
  • project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
  • location: Consulte a Lista de locais disponíveis.

Métricas de série temporal

Python

def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()
  • run_name: especifique o nome de execução apropriado para esta sessão.
  • experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
  • project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
  • location: Consulte a Lista de locais disponíveis.

Artefatos

Python

def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()
  • run_name: especifique o nome de execução apropriado para esta sessão.
  • experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
  • project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
  • location: Consulte a Lista de locais disponíveis.

Métricas de classificação

Python

def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()
  • run_name: especifique o nome de execução apropriado para esta sessão.
  • experiment: o nome ou a instância do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na navegação por seção.
  • project: o ID do projeto. É possível encontrá-los na página de boas-vindas do Console do Google Cloud.
  • location: Consulte a Lista de locais disponíveis.

Comparar execuções

Usando o SDK da Vertex AI para Python, é possível recuperar os dados associados ao seu experimento. Os dados das execuções do experimento são retornados em um DataFrame.

Comparar execuções

Os dados das execuções do experimento são retornados em um DataFrame.

Python

def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df
  • experiment_name: fornece um nome para o experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na seção de navegação.
  • project: o ID do projeto. Esses IDs estão na página de boas-vindas do console do Google Cloud.
  • location: Consulte a Lista de locais disponíveis.

Console do Google Cloud

Use o console do Google Cloud para ver detalhes das suas execuções de experimentos e compará-las entre si.

Ver dados de execução do experimento

  1. No Console do Google Cloud, acesse a página Experimentos.
    <a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">Acesse Experiments.
    Uma lista de experimentos associados a um projeto será exibida. </a{:>
  2. Selecione o experimento que contém a execução que você quer verificar.
    Uma lista de execuções, gráficos de dados de série temporal e uma tabela de dados de métricas e parâmetros são exibidos. Nesse caso, três execuções são selecionadas, mas apenas duas linhas aparecem nos gráficos de dados de série temporal. Não há terceira linha porque a terceira execução do experimento não contém dados de séries temporais para exibir.
    Lista de execuções, dados de série temporal e tabela de métricas e parâmetros da Vertex AI
  3. Clique no nome da execução para acessar a página de detalhes.
    Navegação de execução do experimento da Vertex AI
    Os gráficos de dados da barra de navegação e da série temporal são exibidos.
    Barra de navegação da Vertex AI com gráficos de dados de série temporal
  4. Para visualizar métricas, parâmetros, artefatos e detalhes da execução selecionada, clique nos respectivos botões na barra de navegação.
    • Métricas
      Métricas de execução do experimento da Vertex AI
    • Parâmetros
      Parâmetros de execução do experimento da Vertex AI
    • Artefatos
      Artefatos de execução do experimento da Vertex AI
      Para ver a linhagem do artefato, clique no link Abrir artefato no armazenamento de metadados. O gráfico de linhagem associado à execução é exibido.
      Gráfico de linhagem de artefatos da Vertex AI
    • Detalhes
      Detalhes da execução do experimento da Vertex AI

Para compartilhar os dados com outras pessoas, use os URLs associados às vistas. Por exemplo, compartilhe a lista de execuções associadas a uma experiência:

Lista de execuções de compartilhamento da Vertex AI

Comparar execuções de experimentos

Você pode selecionar execuções para comparar dentro de uma experiência e entre as experiências.

  1. No Console do Google Cloud, acesse a página Experimentos.
    <a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">Acesse Experiments.
    Uma lista de experimentos será exibida. </a{:>
  2. Selecione o experimento que contém a execução que você quer comparar. Uma lista de execuções será exibida. Lista de execuções da Vertex AI
  3. Selecione as execuções que você quer comparar. Clique em Comparar.
    Execuções de seleção da Vertex AI
    Por padrão, os gráficos são exibidos com a comparação das métricas de série temporal das execuções selecionadas do experimento. Gráficos de execução da Vertex AI
  4. Para adicionar execuções a partir de qualquer experimento no seu projeto, clique em Adicionar execução. Execuções de adição da Vertex AI

Para compartilhar os dados com outras pessoas, use os URLs associados às vistas. Por exemplo, compartilhe a visualização de comparação de dados de métricas de série temporal:

Dados de compartilhamento da Vertex AI

Consulte Criar e gerenciar execuções de experimentos para saber como atualizar o status de uma execução.

A seguir