O Vertex AI Experiments é uma ferramenta que ajuda a monitorizar e analisar diferentes arquiteturas de modelos, hiperparâmetros e ambientes de preparação, permitindo-lhe monitorizar os passos, as entradas e as saídas de uma execução de experiência. As experiências do Vertex AI também podem avaliar o desempenho do seu modelo de forma agregada, em comparação com conjuntos de dados de teste e durante a execução da preparação. Em seguida, pode usar estas informações para selecionar o melhor modelo para o seu exemplo de utilização específico.
As execuções de experiências não incorrem em custos adicionais. Só lhe são cobrados os recursos que usar durante a experiência, conforme descrito nos preços da Vertex AI.
| O que pretende fazer? | Consulte o exemplo do bloco de notas |
|---|---|
| acompanhar métricas e parâmetros | Compare modelos |
| acompanhe a linhagem da experiência | Preparação de modelos |
| acompanhar execuções de pipelines | Compare execuções de pipelines |
Acompanhe passos, entradas e saídas
O Vertex AI Experiments permite-lhe acompanhar:
- passos de uma execução de experiência, por exemplo, pré-processamento, preparação,
- Entradas, por exemplo, algoritmo, parâmetros, conjuntos de dados,
- Resultados desses passos, por exemplo, modelos, pontos de verificação e métricas.
Em seguida, pode descobrir o que funcionou e o que não funcionou, e identificar outras vias de experimentação.
Para ver exemplos de percursos dos utilizadores, consulte:
Analise o desempenho do modelo
As experiências do Vertex AI permitem-lhe monitorizar e avaliar o desempenho do modelo de forma agregada, em comparação com conjuntos de dados de teste e durante a execução da preparação. Esta capacidade ajuda a compreender as características de desempenho dos modelos, ou seja, o desempenho geral de um modelo específico, onde falha e onde se destaca.
Para ver exemplos de percursos dos utilizadores, consulte:
Compare o desempenho do modelo
O Vertex AI Experiments permite-lhe agrupar e comparar vários modelos em execuções de experiências. Cada modelo tem os seus próprios parâmetros especificados, técnicas de modelagem, arquiteturas e entrada. Esta abordagem ajuda a selecionar o melhor modelo.
Para ver exemplos de percursos dos utilizadores, consulte:
Experiências de pesquisa
A Google Cloud consola oferece uma vista centralizada das experiências, uma vista transversal das execuções de experiências e os detalhes de cada execução. O SDK Vertex AI para Python fornece APIs para consumir experiências, execuções de experiências, parâmetros de execução de experiências, métricas e artefactos.
O Vertex AI Experiments, juntamente com o Vertex ML Metadata, oferece uma forma de encontrar os artefactos monitorizados numa experiência. Isto permite-lhe ver rapidamente a linhagem do artefacto e os artefactos consumidos e produzidos por passos numa execução.
Âmbito do apoio técnico
O Vertex AI Experiments suporta o desenvolvimento de modelos através da preparação personalizada do Vertex AI, dos blocos de notas do Vertex AI Workbench, dos blocos de notas e de todas as estruturas de ML Python na maioria das estruturas de ML. Para algumas frameworks de ML, como o TensorFlow, a Vertex AI Experiments oferece integrações profundas na framework que tornam a experiência do utilizador quase mágica. Para outras frameworks de ML, o Vertex AI Experiments oferece um SDK Vertex AI para Python neutro em termos de framework que pode usar. (consulte: contentores pré-criados para TensorFlow, scikit-learn, PyTorch e XGBoost).
Modelos e conceitos de dados
O Vertex AI Experiments é um contexto
no Vertex ML Metadata onde uma experiência
pode conter n execuções de experiências, além de n execuções de pipelines. Uma execução de uma experiência consiste em parâmetros, métricas de resumo, métricas de séries cronológicas e recursos do Vertex AI PipelineJob, Artifact e Execution.
O Vertex AI TensorBoard, uma versão gerida do TensorBoard de código aberto, é usado para o armazenamento de métricas de séries cronológicas. As execuções e os artefactos de uma execução da pipeline são visíveis
na Google Cloud consola.
Termos do Vertex AI Experiments
Experiência, execução da experiência e execução do pipeline
experiência
- Uma experiência é um contexto que pode conter um conjunto de n execuções de experiências, além de execuções de pipelines, onde um utilizador pode investigar, como um grupo, diferentes configurações, como artefactos de entrada ou hiperparâmetros.
execução da experiência
- Uma execução específica e rastreável numa experiência do Vertex AI, que regista entradas (como o algoritmo, os parâmetros e os conjuntos de dados) e saídas (como modelos, pontos de verificação e métricas) para monitorizar e comparar iterações de desenvolvimento de ML. Para mais informações, consulte o artigo Crie e faça a gestão de execuções de experiências.
execução do pipeline
- Pode associar um ou mais Vertex PipelineJobs a uma experiência em que cada PipelineJob é representado como uma única execução. Neste contexto, os parâmetros da execução são inferidos pelos parâmetros do PipelineJob. As métricas são inferidas a partir dos artefactos system.Metric produzidos por esse PipelineJob. Os artefactos da execução são inferidos a partir dos artefactos produzidos por esse PipelineJob.
PipelineJob a um recurso ExperimentRun.
Neste contexto, os parâmetros, as métricas e os artefactos não são inferidos.
Consulte o artigo Associe um pipeline a uma experiência.
Parâmetros e métricas
Consulte os parâmetros de registo.
métricas de resumo
- As métricas de resumo são um único valor para cada chave de métrica numa execução de experiência. Por exemplo, a precisão do teste de uma experiência é a precisão calculada em relação a um conjunto de dados de teste no final da preparação que pode ser captada como uma métrica de resumo de valor único.
Veja as métricas de resumo do registo.
métricas de intervalos temporais
- As métricas de séries cronológicas são valores de métricas longitudinais em que cada valor representa um passo na parte da rotina de preparação de uma execução. As métricas de séries cronológicas são armazenadas no Vertex AI TensorBoard. O Vertex AI Experiments armazena uma referência ao recurso Vertex TensorBoard.
Consulte o artigo Registe métricas de intervalos temporais.
Tipos de recursos
pipeline job
- Uma tarefa de pipeline ou uma execução de pipeline corresponde ao recurso PipelineJob na API Vertex AI. É uma instância de execução da definição do pipeline de ML, que é definida como um conjunto de tarefas de ML interligadas por dependências de entrada/saída.
artefacto
- Um artefacto é uma entidade discreta ou um fragmento de dados produzido e consumido por um fluxo de trabalho de aprendizagem automática. Alguns exemplos de artefactos incluem conjuntos de dados, modelos, ficheiros de entrada e registos de preparação.
O Vertex AI Experiments permite-lhe usar um esquema para definir o tipo de artefacto. Por exemplo, os tipos de esquemas suportados incluem system.Dataset,
system.Model e system.Artifact. Para mais informações, consulte os
esquemas do sistema.