Avalie modelos com o Vertex AI

Esta página descreve como avaliar modelos com o Vertex AI. Para ver uma vista geral, consulte a avaliação de modelos no Vertex AI.

Pré-requisitos

  1. Siga os passos em Configure um projeto e um ambiente de desenvolvimento. Além disso, ative os seguintes serviços:

  2. O Vertex AI pode avaliar modelos preparados através do AutoML ou da preparação personalizada. Para o guia da Google Cloud consola, deve ter um modelo preparado importado para o Registo de modelos do Vertex AI.

  3. Carregue o seu conjunto de dados de teste para o BigQuery ou o Cloud Storage. O conjunto de dados de teste deve conter a verdade fundamental, que é o resultado real esperado para uma inferência. Obtenha o link para o ficheiro ou o ID do conjunto de dados.

  4. Ter um resultado da inferência em lote sob a forma de uma tabela do BigQuery ou um URI do Cloud Storage.

  5. Certifique-se de que a conta de serviço predefinida do Compute Engine tem as seguintes autorizações da IAM:

    • Administrador do Vertex AI (aiplatform.admin)
    • Agente do serviço da Vertex AI (aiplatform.serviceAgent)
    • Administrador de objetos de armazenamento (storage.objectAdmin)
    • Trabalhador do Dataflow (dataflow.worker)
    • Editor de dados do BigQuery (bigquery.dataEditor) (apenas necessário se estiver a fornecer dados sob a forma de tabelas do BigQuery)

Crie uma avaliação

Consola

  1. Na Google Cloud consola, aceda à página Modelos do Vertex AI.

    Aceda à página Modelos

  2. Clique no nome do modelo que quer avaliar.

  3. Clique no número da versão do modelo.

  4. No separador Avaliar, clique em Criar avaliação.

  5. Introduza um Nome da avaliação.

  6. Selecione um Objetivo, como classificação ou regressão.

  7. Introduza o nome da coluna de destino de avaliação, que é a coluna dos dados de preparação para a qual o modelo é preparado para prever.

  8. Em Selecionar origem, selecione a origem do conjunto de dados de teste.

    1. Para a tabela do BigQuery, introduza o caminho do BigQuery.

    2. Para Ficheiro no Cloud Storage, introduza o caminho do Cloud Storage.

  9. Para Resultado da previsão em lote, selecione um formato de saída.

    1. Introduza o caminho do BigQuery ou o URI do Cloud Storage.

  10. Clique em Iniciar avaliação.

Python

Para ver o fluxo de trabalho de avaliação do modelo da API Vertex AI nas Vertex AI Pipelines, consulte os blocos de notas de exemplo para os seguintes tipos de modelos:

SDK Python

O SDK para avaliar modelos com o Vertex AI está em fase experimental. Para se inscrever na versão experimental, preencha o formulário de integração.

O Vertex AI envia automaticamente uma notificação por email quando uma tarefa de avaliação de modelos está concluída.

Veja as métricas de avaliação

Consola

  1. Na Google Cloud consola, aceda à página Modelos do Vertex AI.

    Aceda à página Modelos

  2. Navegue para a versão do modelo.

  3. Veja métricas no separador Avaliar.

Python

Para ver o fluxo de trabalho de avaliação do modelo da API Vertex AI nas Vertex AI Pipelines, consulte os blocos de notas de exemplo para os seguintes tipos de modelos:

SDK Python

O SDK para avaliar modelos com o Vertex AI está em fase experimental. Para se inscrever na versão experimental, preencha o formulário de integração.

Compare métricas de avaliação

Pode comparar os resultados da avaliação em diferentes modelos, versões de modelos e tarefas de avaliação. Para mais informações sobre o controlo de versões de modelos, consulte o artigo Controlo de versões no Model Registry.

Só pode comparar modelos do mesmo tipo, como classificação, regressão ou previsão. Quando comparar diferentes modelos, todas as versões dos modelos têm de ser do mesmo tipo.

Só pode comparar 5 ou menos avaliações de cada vez.

  1. Aceda ao Registo de modelos da Vertex AI na Google Cloud consola:

    Aceda à página Modelos

  2. Navegue até ao modelo ou à versão do modelo:

    • Para comparar diferentes modelos na página Modelos, selecione as caixas de verificação junto aos nomes dos modelos que quer comparar.

    • Para comparar diferentes versões do modelo:

      1. Clique no nome do modelo na página Modelos para abrir a lista de versões do modelo.

      2. Selecione as caixas de verificação junto às versões que quer comparar.

    • Para comparar trabalhos de avaliação da mesma versão do modelo:

      1. Clique no nome do modelo na página Modelos para abrir a lista de versões do modelo.

      2. Clique no número da versão.

      3. Selecione as caixas de verificação junto às tarefas de avaliação que quer comparar.

  3. Clique em Comparar.

O que se segue?