Use a Google Cloud consola para verificar o desempenho do modelo. Analise os erros de teste para melhorar iterativamente a qualidade do modelo corrigindo problemas de dados.
Este tutorial tem várias páginas:
Crie um conjunto de dados de classificação de imagens e importe imagens.
Avalie e analise o desempenho do modelo.
Cada página pressupõe que já executou as instruções das páginas anteriores do tutorial.
1. Compreenda os resultados da avaliação do modelo da AutoML
Após a conclusão da preparação, o modelo é avaliado automaticamente em relação à divisão de dados de teste. Os resultados da avaliação correspondentes são apresentados quando clica no nome do modelo na página Registo de modelos ou na página Conjunto de dados.
A partir daí, pode encontrar as métricas para medir o desempenho do modelo.
Pode encontrar uma introdução mais detalhada a diferentes métricas de avaliação na secção Avalie, teste e implemente o seu modelo.
2. Analise os resultados do teste
Se quiser continuar a melhorar o desempenho do modelo, o primeiro passo é, muitas vezes, examinar os casos de erro e investigar as potenciais causas. A página de avaliação de cada classe apresenta imagens de teste detalhadas da classe especificada categorizadas como falsos negativos, falsos positivos e verdadeiros positivos. Pode encontrar a definição de cada categoria na secção Avalie, teste e implemente o seu modelo.
Para cada imagem em cada categoria, pode verificar mais detalhes da previsão clicando na imagem e aceder aos resultados da análise detalhada. É apresentado o painel Rever imagens semelhantes no lado direito da página, onde são apresentadas as amostras mais próximas do conjunto de dados de treino com distâncias medidas no espaço de caraterísticas.
Existem dois tipos de problemas de dados aos quais deve prestar atenção:
Inconsistência de etiquetas. Se uma amostra visualmente semelhante do conjunto de preparação tiver etiquetas diferentes da amostra de teste, é possível que uma delas esteja incorreta ou que a diferença subtil exija mais dados para o modelo aprender, ou que as etiquetas de classe atuais não sejam suficientemente precisas para descrever a amostra fornecida. A revisão de imagens semelhantes pode ajudar a obter informações de etiquetas precisas, corrigindo os casos de erro ou excluindo a amostra problemática do conjunto de testes. Pode alterar facilmente a etiqueta da imagem de teste ou das imagens de preparação no painel Rever imagens semelhantes na mesma página.
Discrepâncias. Se um exemplo de teste for marcado como um valor atípico, é possível que não existam exemplos visualmente semelhantes no conjunto de preparação para ajudar a preparar o modelo. A revisão de imagens semelhantes do conjunto de preparação pode ajudar a identificar estas amostras e adicionar imagens semelhantes ao conjunto de preparação para melhorar ainda mais o desempenho do modelo nestes casos.
O que se segue?
Se estiver satisfeito com o desempenho do modelo, siga as instruções na página seguinte deste tutorial para implementar o modelo do AutoML preparado num ponto final e enviar uma imagem para o modelo para previsão. Caso contrário, se fizer correções nos dados, prepare um novo modelo através do tutorial Preparar um modelo de classificação de imagens do AutoML.