Introdução aos experimentos da Vertex AI

O Vertex AI Experiments é uma ferramenta que ajuda a rastrear e analisar diferentes arquiteturas de modelo, hiperparâmetros e ambientes de treinamento, permitindo que você rastreie as etapas, as entradas e as saídas de uma execução de experimento. Os experimentos da Vertex AI também podem avaliar o desempenho do modelo de forma agregada em conjuntos de dados de teste e durante o treinamento. Você pode usar essas informações para selecionar o melhor modelo para seu caso de uso específico

As execuções de experimento não geram cobranças adicionais. Você só é cobrado pelos recursos usados durante o experimento, conforme descrito nos preços da Vertex AI.

O que você quer fazer? Confira a amostra de notebook
acompanhar métricas e parâmetros Comparar modelos
monitorar linhagem do experimento Treinamento de modelo
rastrear execuções de pipeline Compare execuções de pipeline

Rastrear etapas, entradas e saídas

Os experimentos da Vertex AI permitem acompanhar:

  • etapas de uma execução do experimento, por exemplo, pré-processamento, treinamento,
  • entradas, por exemplo, algoritmo, parâmetros, conjuntos de dados
  • resultados dessas etapas, por exemplo, modelos, pontos de controle, métricas.

Assim, você pode descobrir o que funcionou e o que não funcionou, além de identificar mais caminhos para experimentação.

Confira alguns exemplos de jornada do usuário:

Analisar o desempenho do modelo

Os experimentos da Vertex AI permitem que você acompanhe e avalie o desempenho agregado do modelo em comparação com conjuntos de dados de teste e durante a execução do treinamento. Essa atividade ajuda a entender as características de desempenho dos modelos: como um modelo específico funciona em geral, em que ele falha e onde se destaca.

Confira alguns exemplos de jornada do usuário:

Comparar o desempenho do modelo

Os experimentos da Vertex AI permitem agrupar e comparar vários modelos em execuções de experimentos. Cada modelo tem os próprios parâmetros especificados, técnicas de modelagem, arquiteturas e entrada. Essa abordagem ajuda a selecionar o melhor modelo.

Confira alguns exemplos de jornada do usuário:

Pesquisar experiências

O Console do Google Cloud fornece uma visualização centralizada dos experimentos, uma visão transversal das execuções e os detalhes de cada execução. O SDK da Vertex AI para Python fornece APIs para consumir experimentos, execuções de experimento, parâmetros de execução do experimento, métricas e artefatos.

O Vertex AI Experiments, junto aos Vertex ML Metadata, oferece uma maneira de encontrar os artefatos acompanhados em um experimento para que você possa conferir rapidamente a linhagem do artefato e os artefatos consumidos e produzidos por etapas em uma corrida.

Escopo do suporte

O Vertex AI Experiments é compatível com o desenvolvimento de modelos usando o treinamento personalizado da Vertex AI, notebooks do Vertex AI Workbench, Notebooks e todos os frameworks de ML do Python na maioria dos frameworks de ML. Para alguns frameworks de ML, como o TensorFlow, o Vertex AI Experiments oferece integrações profundas no framework que torna a experiência do usuário automática. Para outros frameworks de ML, o Vertex AI Experiments fornece um SDK Vertex AI de framework neutro para Python que você pode usar. Consulte Contêineres pré-criados para TensorFlow, scikit-learn, PyTorch e XGBoost.

Modelos de dados e conceitos

O Vertex AI Experiments é um contexto no Vertex ML Metadata em que um experimento pode conter n execuções de experimentos além de n execuções de pipeline. Uma execução de experimento consiste em parâmetros, métricas de resumo, métricas de série temporal e PipelineJob, Artifact e Execution Recursos da Vertex AI. TensorBoard da Vertex AI, uma versão gerenciada do TensorBoard de código aberto, é usada para o armazenamento de métricas de séries temporais. As execuções e os artefatos de uma execução de pipeline são visíveis no console do Google Cloud.

Termos do Vertex AI Experiments

Experimento, execução de experimentos e execução de pipelines

experimento
  • Um experimento é um contexto que pode conter um conjunto de n execuções de experimentos e de pipelines onde um usuário pode investigar, em grupo, diferentes configurações, como artefatos de entrada ou hiperparâmetros.
Consulte Criar um experimento.

Execução de experimento
  • Um experimento pode conter métricas, parâmetros, execuções, artefatos e recursos Vertex definidos pelo usuário (por exemplo, PipelineJob).
Consulte Criar e gerenciar execuções do experimento.

execução de pipeline
  • Um ou mais PipelineJobs do Vertex podem ser associados a um experimento em que cada PipelineJob é representado como uma única execução. Nesse contexto, os parâmetros da execução são inferidos pelos parâmetros do PipelineJob. As métricas são inferidas dos artefatos do system.Metric produzidos por esse PipelineJob. Os artefatos da execução são inferidos dos artefatos produzidos pelo PipelineJob.
Um ou mais recurso PipelineJob da Vertex AI pode ser associado a um ExperimentRun recurso. Nesse contexto, os parâmetros, as métricas e os artefatos não são inferidos.

Consulte Associar um pipeline a um experimento.

Parâmetros e métricas

parâmetros
  • Os parâmetros são valores de entrada com chave que configuram uma execução, regulam o comportamento dela e afetam os resultados. Exemplos incluem taxa de aprendizado, taxa de desistência e número de etapas de treinamento.

Consulte Parâmetros de registro.

Métricas de resumo
  • As métricas de resumo são um valor único para cada chave de métrica de uma execução de experimento. Por exemplo, a precisão de um experimento é a precisão calculada com base em um conjunto de dados de teste no final do treinamento, que pode ser capturado como uma única métrica de resumo de valor.

Consulte Métricas de resumo de registros.

métricas de série temporal
  • As métricas de série temporal são valores de métrica longitudinais em que cada valor representa uma etapa na parte da rotina de treinamento de uma execução. As métricas de séries temporais são armazenadas no TensorBoard da Vertex AI. O Vertex AI Experiments armazena uma referência ao recurso Vertex TensorBoard.

Consulte Registrar métricas de série temporal.

Tipos de recurso

pipeline job
  • Um recurso na API Vertex AI correspondente a Vertex Pipeline Jobs. Os usuários criam um PipelineJob quando querem executar um pipeline de ML na Vertex AI.

artifact
  • Um artefato é uma entidade distinta ou parte dos dados produzidos e consumidos por um fluxo de trabalho de machine learning. Exemplos de artefatos incluem conjuntos de dados, modelos, arquivos de entrada e registros de treinamento.

Os experimentos da Vertex AI permitem usar um esquema para definir o tipo de artefato. Por exemplo, os tipos de esquema compatíveis incluem system.Dataset, system.Model e system.Artifact. Para ver mais informações, consulte Esquemas do sistema.

Tutorial do notebook

A seguir