Registrar dados automaticamente em uma execução de experimento

O registro automático é um recurso do SDK da Vertex AI que registra automaticamente os parâmetros e métricas das execuções de treinamento de modelo para os experimentos da Vertex AI. Isso pode economizar tempo e esforço, eliminando a necessidade de registrar esses dados manualmente. Atualmente, o registro automático é compatível apenas com a geração de registros de parâmetros e métricas.

Registrar dados automaticamente

Há duas opções para registrar dados automaticamente nos experimentos da Vertex AI.

  1. Deixe o SDK Vertex AI criar recursos do ExperimentRun automaticamente para você.
  2. Especifique o recurso ExperimentRun em que você gostaria que as métricas e os parâmetros fossem registrados automaticamente.

Criado automaticamente

O SDK da Vertex AI para Python lida com a criação de recursos do ExperimentRun para você. Os recursos do ExperimentRun criados automaticamente terão um nome de execução no seguinte formato: {ml-framework-name}-{timestamp}-{uid}, por exemplo: "tensorflow-2023-01-04-16-09-20-86a88".

O exemplo a seguir usa o método init das funções de pacote aiplatform.

Python

def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • experiment_name: dê um nome para o experimento. Para ver sua lista de experimentos no Console do Google Cloud, selecione Experimentos no painel de navegação.
  • experiment_tensorboard: (opcional) dê um nome para a instância do TensorBoard da Vertex AI.
  • project: o ID do projeto. Esses IDs do projeto estão na página de boas-vindas do console do Google Cloud.
  • location: consulte a Lista de locais disponíveis.

Especificado pelo usuário

Forneça seus próprios nomes do ExperimentRun e tenha métricas e parâmetros de várias execuções de treinamento de modelo registradas no mesmo ExperimentRun. Qualquer métrica do modelo à execução atual será chamada chamando aiplatform.start_run("your-run-name") até aiplatform.end_run() ser chamado.

O exemplo a seguir usa o método init das funções de pacote aiplatform.

Python

def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • experiment_name: informe o nome do experimento.
  • run_name: dê um nome para a exibição do experimento. Para ver a lista de experimentos no Console do Google Cloud, selecione Experimentos na seção de navegação.
  • project: o ID do projeto. Essas IDs do projeto estão na página de boas-vindas do console do Google Cloud.
  • location: consulte a Lista de locais disponíveis.
  • experiment_tensorboard: (opcional) dê um nome para a instância do TensorBoard da Vertex AI.

O registro automático do SDK da Vertex AI usa o registro automático do MLFlow na implementação. As métricas e os parâmetros de avaliação dos frameworks a seguir são registrados no ExperimentRun quando a geração automática de registros está ativada.

  • Fastai
  • Gluon
  • Keras
  • LightGBM
  • Pytorch Lightning
  • Scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

Ver métricas e parâmetros registrados automaticamente

Use o SDK da Vertex AI para Python para comparar execuções e receber dados de execuções. O Console do Google Cloud oferece uma maneira fácil de comparar essas execuções.

Exemplo de notebook relevante

Postagem do blog