Introdução aos experimentos da Vertex AI

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

O objetivo ao desenvolver um modelo para um problema é identificar o melhor modelo para esse caso de uso específico. Para isso, os Experimentos da Vertex AI permitem que você rastreie, analise, compare e pesquise em diferentes frameworks de ML (por exemplo, TensorFlow, PyTorch, scikit-learn) e ambientes de treinamento.

As execuções do experimento não geram cobranças adicionais. Você só é cobrado pelos recursos usados durante o experimento, conforme descrito nos preços da Vertex AI.

O que você quer fazer? Confira a amostra de notebook
acompanhar métricas e parâmetros Comparar modelos
monitorar linhagem do experimento Treinamento de modelo
rastrear execuções de pipeline Compare execuções de pipeline

Rastrear etapas, entradas e saídas

Os experimentos da Vertex AI permitem que você acompanhe

  • etapas de uma execução do experimento, por exemplo, pré-processamento, treinamento,
  • entradas, por exemplo, algoritmo, parâmetros, conjuntos de dados
  • resultados dessas etapas, por exemplo, modelos, pontos de controle, métricas.

É possível descobrir o que funcionou, o que não funcionou e identificar outras possibilidades de experimentação.

Confira alguns exemplos de jornada do usuário:

Analisar o desempenho do modelo

Os experimentos da Vertex AI permitem que você acompanhe e avalie o desempenho agregado do modelo em comparação com conjuntos de dados de teste e durante a execução do treinamento. Essa atividade ajuda a entender as características de desempenho dos modelos: como um modelo específico funciona em geral, em que ele falha e onde se destaca.

Confira alguns exemplos de jornada do usuário:

Comparar o desempenho do modelo

O Vertex AI Experiments permite que você agrupe e compare vários modelos em execução de experimentos. Cada modelo tem os próprios parâmetros especificados, técnicas de modelagem, arquiteturas e entrada. Essa abordagem ajuda a selecionar o melhor modelo.

Confira alguns exemplos de jornada do usuário:

Pesquisar experiências

O Console do Google Cloud fornece uma visualização centralizada dos experimentos, uma visão transversal das execuções e os detalhes de cada execução. O SDK da Vertex AI para Python fornece APIs para consumir experimentos,, execuções de experimento, parâmetros de execução do experimento, métricas, e artefatos.

O Vertex AI Experiments, junto com os Vertex ML Metadata, oferece uma maneira de encontrar os artefatos acompanhados em um experimento para que você possa ver rapidamente a linhagem do artefato e os artefatos consumidos e produzidos por etapas em uma execução.

Escopo do suporte

O Vertex AI Experiments é compatível com o desenvolvimento de modelos usando o treinamento personalizado da Vertex AI, notebooks do Vertex AI Workbench, Notebooks e todos os frameworks de ML do Python na maioria dos frameworks de ML. Para alguns frameworks de ML, como o TensorFlow, o Vertex AI Experiments oferece integrações profundas no framework que torna a experiência do usuário automática. Para outros frameworks de ML, o Vertex AI Experiments fornece um SDK Vertex AI de framework neutro para Python que você pode usar. Consulte: Contêineres predefinidos para TensorFlow, sckikit-learn, PyTorch e XGBoost.

Modelos de dados e conceitos

O Vertex AI Experiments é um contexto no Vertex ML Metadata em que um experimento pode conter n execuções de experimentos além de n execuções de pipeline. Uma execução do experimento consiste em parâmetros, métricas de resumo, métricas de séries temporais, recursos de Vertex (PipelineJob), artefatos e execuções. TensorBoard da Vertex AI , uma versão gerenciada do TensorBoard de código aberto, é usada para o armazenamento de métricas de séries temporais. As execuções e os artefatos de uma execução de pipeline são visíveis no console do Google Cloud.

Termos do Vertex AI Experiments

Experimento, execução de experimentos e execução de pipelines

experimento
Um experimento é um contexto que pode conter um conjunto de n execuções de experimentos e de pipelines onde um usuário pode investigar, em grupo, diferentes configurações, como artefatos de entrada ou hiperparâmetros.
Consulte Criar um experimento.

Execução de experimento
Um experimento pode conter métricas, parâmetros, execuções, artefatos e recursos Vertex definidos pelo usuário (por exemplo, PipelineJob).
Consulte Criar e gerenciar execuções do experimento.

execução de pipeline
Um ou mais PipelineJobs do Vertex podem ser associados a um experimento em que cada PipelineJob é representado como uma única execução. Nesse contexto, os parâmetros da execução são inferidos pelos parâmetros do PipelineJob. As métricas são inferidas dos artefatos do system.Metric produzidos por esse PipelineJob. Os artefatos da execução são inferidos dos artefatos produzidos pelo PipelineJob.
Um ou mais PipelineJobs do Vertex podem ser associados a um ExperimentRun. Nesse contexto, os parâmetros, as métricas e os artefatos não são inferidos.

Consulte Associar um pipeline a um experimento.

Parâmetros e métricas

parâmetros
Os parâmetros são valores de entrada com chave que configuram uma execução, regulam o comportamento dela e afetam os resultados. Exemplos incluem taxa de aprendizado, taxa de desistência e número de etapas de treinamento.

Consulte Parâmetros de registro.

Métricas de resumo
As métricas de resumo são um valor único para cada chave de métrica de uma execução de experimento. Por exemplo, a precisão de um experimento é a precisão calculada com base em um conjunto de dados de teste no final do treinamento, que pode ser capturado como uma única métrica de resumo de valor.

Consulte Métricas de resumo de registros.

métricas de série temporal
As métricas de série temporal são valores de métrica longitudinais em que cada valor representa uma etapa na parte da rotina de treinamento de uma execução. As métricas de séries temporais são armazenadas no TensorBoard da Vertex AI. O Vertex AI Experiments armazena uma referência ao recurso Vertex TensorBoard.

Consulte Registrar métricas de série temporal.

Tipos de recurso

pipeline job
Um recurso na API Vertex AI correspondente a Vertex Pipeline Jobs. Os usuários criam um PipelineJob quando querem executar um pipeline de ML na Vertex AI.

artefato
Um artefato é uma entidade distinta ou parte dos dados produzidos e consumidos por um fluxo de trabalho de machine learning. Exemplos de artefatos incluem conjuntos de dados, modelos, arquivos de entrada e registros de treinamento.

O Vertex AI Experiments permite que você defina o tipo de artefato, por exemplo, os tipos compatíveis incluem system.Dataset, system.Model, system.Artifact.

A seguir