Quando o Serviço de rotulagem de dados executa um job de avaliação, ele produz um conjunto de métricas de avaliação que variam de acordo com as especificações do seu modelo de machine learning. Neste guia, são descritos os diferentes tipos de métricas de avaliação e como é possível visualizá-las.
Antes de começar
Antes de começar, crie um job de avaliação e aguarde que ele seja executado pela primeira vez. Por padrão, ele é executado diariamente às 10h UTC.
Quando isso acontece, primeiro o job envia os dados aos revisores humanos para a rotulagem de informações empíricas (se essa opção estiver ativada). Em seguida, ele calcula as métricas de avaliação. Como a rotulagem humana leva tempo, se o job inclui muitos dados, pode ser necessário esperar mais de um dia para ver as primeiras métricas de avaliação.
Comparar a precisão média entre os modelos
No AI Platform Prediction, é possível agrupar várias versões de modelo em um recurso de modelo. Cada versão em modelo precisa executar a mesma tarefa, mas cada um pode ser treinado de forma diferente.
Se você tiver várias versões em um único modelo e tiver criado um job de avaliação para cada uma delas, poderá conferir um gráfico comparando a precisão média das versões do modelo:
Abra a página Modelos do AI Platform no console do Google Cloud:
Clique no nome do modelo com as versões que você quer comparar.
Clique na guia Avaliação.
O gráfico nessa página compara a precisão média de cada versão do modelo ao longo do tempo. É possível alterar o intervalo do gráfico.
Se algum dos jobs de avaliação da versão do modelo tiver tido um erro em uma execução recente, você também o verá nessa página.
Visualizar métricas para uma versão de modelo específica
Para métricas de avaliação mais detalhadas, visualize uma única versão do modelo:
Abra a página Modelos do AI Platform no console do Google Cloud:
Clique no modelo que contém a versão que você quer ver.
Clique na versão do modelo que você quer ver.
Clique na guia Avaliação.
Assim como na visualização de comparação discutida na seção anterior, há um gráfico com a precisão média ao longo do tempo nesta página. Também são exibidos todos os erros de execuções de jobs de avaliação recentes da versão do modelo.
Digite uma data no campo Inserir data para ver as métricas da execução de um job de avaliação específico. Também é possível clicar em Todos os rótulos e escolher um rótulo específico da lista suspensa para filtrar as métricas. As seções a seguir descrevem as métricas para execuções de job de avaliação.
Curva de precisão/recall
As curvas de precisão/recall mostram como a precisão e recall do modelo de aprendizado de máquina mudariam se você ajustasse o limiar de classificação.
Matriz de confusão
As matrizes de confusão mostram todos os pares de rótulos de informações empíricas e rótulos de previsão. Assim, você pode conferir padrões de como seu modelo de machine learning confundiu determinados rótulos com outros.
As matrizes de confusão são geradas somente para versões de modelo que realizam classificação.
Comparação lado a lado
Se a versão do modelo realizar uma classificação de imagem ou texto, será possível ver uma comparação lado a lado dos rótulos previstos pelo modelo de machine learning e os rótulos baseados em informações de cada entrada de previsão.
Se a versão do modelo realizar a detecção de objetos em imagem, será possível ver uma comparação lado a lado das caixas delimitadoras previstas do modelo de machine learning e das caixas delimitadoras baseadas em informações. Passe o cursor sobre as caixas delimitadoras para ver os marcadores associados.
A seguir
Saiba como atualizar, pausar ou excluir um job de avaliação.