Avaliar modelos usando a Vertex AI

Nesta página, descrevemos como avaliar modelos usando a Vertex AI. Para uma visão geral, consulte avaliação de modelo na Vertex AI.

Pré-requisitos

  1. Siga as etapas em Configurar um projeto e um ambiente para desenvolvedores. Além disso, ative os seguintes serviços:

  2. A Vertex AI pode avaliar modelos treinados pelo AutoML ou por treinamento personalizado. Para o guia do Console do Google Cloud, você precisa ter um modelo treinado importado para o Vertex AI Model Registry.

  3. Faça o upload do conjunto de dados de teste para o BigQuery ou Cloud Storage. O conjunto de dados de teste precisa ter a verdade, que é o resultado real esperado para uma previsão. Consiga o link para o arquivo ou o ID do conjunto de dados.

  4. Ter uma saída de previsão em lote na forma de uma tabela do BigQuery ou do URI do Cloud Storage.

  5. Verifique se a conta de serviço padrão do Compute Engine tem as permissões de IAM a seguir:

    • Administrador da Vertex AI (aiplatform.admin)
    • Agente de serviço da Vertex AI (aiplatform.serviceAgent)
    • Administrador de objetos do Storage (storage.objectAdmin)
    • Worker do Dataflow (dataflow.worker)
    • Editor de dados do BigQuery (bigquery.dataEditor) (obrigatório apenas se você fornecer dados na forma de tabelas do BigQuery)

Criar uma avaliação

Console

  1. No Console do Google Cloud, acesse a página Modelos da Vertex AI.

    Acessar a página de modelos

  2. Clique no nome do modelo que você quer avaliar.

  3. Clique no número da versão do modelo.

  4. Na guia Avaliar, clique em Criar avaliação.

  5. Insira um Nome de avaliação.

  6. Selecione um Objetivo, como classificação ou regressão.

  7. Insira o Nome da coluna de destino da avaliação, que é a coluna dos dados de treinamento que o modelo é treinado para prever.

  8. Em Selecionar origem, escolha a origem do conjunto de dados de teste.

    1. Em Tabela do BigQuery, digite o caminho do BigQuery.

    2. Em Arquivo no Cloud Storage, digite o caminho do Cloud Storage.

  9. Em Saída da previsão em lote, selecione um formato de saída.

    1. Insira o caminho do BigQuery ou o URI do Cloud Storage.

  10. Clique emIniciar avaliação.

Python

Para ver o fluxo de trabalho de avaliação do modelo da API Vertex AI no Vertex AI Pipelines, consulte os notebooks de exemplo dos seguintes tipos de modelo:

SDK do Python

O SDK para avaliar modelos com a Vertex AI está em modo experimental. Para se inscrever no teste experimental, preencha o formulário de integração.

A Vertex AI envia automaticamente uma notificação por e-mail quando um job de avaliação de modelo é concluído.

Ver métricas de avaliação

Console

  1. No Console do Google Cloud, acesse a página Modelos da Vertex AI.

    Acessar a página de modelos

  2. Acesse a versão do modelo.

  3. Veja as métricas na guia Avaliar.

Python

Para ver o fluxo de trabalho de avaliação do modelo da API Vertex AI no Vertex AI Pipelines, consulte os notebooks de exemplo dos seguintes tipos de modelo:

SDK do Python

O SDK para avaliar modelos com a Vertex AI está em modo experimental. Para se inscrever no teste experimental, preencha o formulário de integração.

Comparar métricas de avaliação

É possível comparar os resultados da avaliação em diferentes modelos, versões de modelos e jobs de avaliação. Para mais informações sobre o controle de versões de modelos, consulte Controle de versões no registro de modelos.

Só é possível comparar modelos do mesmo tipo, como de classificação, regressão ou previsão. Ao comparar modelos diferentes, todas as versões de modelo precisam ser do mesmo tipo.

Só é possível comparar cinco ou menos avaliações por vez.

  1. Acesse o Registro de modelos da Vertex AI no Console do Google Cloud:

    Acessar a página de modelos

  2. Navegue até seu modelo ou versão de modelo:

    • Para comparar diferentes modelos na página Modelos, marque as caixas de seleção ao lado dos nomes dos modelos que você quer comparar.

    • Para comparar entre as diferentes versões de modelo:

      1. Clique no nome do seu modelo na página Modelos para abrir a lista de versões de modelo.

      2. Marque as caixas de seleção ao lado das versões que você quer comparar.

    • Para comparar jobs de avaliação em relação à mesma versão do modelo, faça o seguinte:

      1. Clique no nome do seu modelo na página Modelos para abrir a lista de versões de modelo.

      2. Clique no número da versão.

      3. Marque as caixas de seleção ao lado dos jobs de avaliação que você quer comparar.

  3. Clique em Comparar.

A seguir