Com a avaliação contínua, você faz a amostragem frequente da entrada e da saída de previsões com base em modelos de machine learning treinados e implantados no AI Platform Prediction. Depois, o serviço de rotulagem de dados do AI Platform atribui revisores humanos para fornecer rótulos de informações empíricas para sua entrada de previsão. Se preferir, é possível fornecê-los por conta própria. O serviço de rotulagem de dados compara as previsões com esses rótulos para fornecer feedback contínuo sobre o desempenho dos modelos ao longo do tempo.
Como funciona
Para usar a avaliação contínua, você precisa implantar um modelo treinado de machine learning no AI Platform Prediction como uma versão de modelo. Depois, crie um job de avaliação nessa versão.
Ao criar um job de avaliação em uma versão de modelo, dois eventos ocorrem:
- Como a versão de modelo fornece previsões on-line, a entrada e a saída de algumas delas são salvas em uma tabela do BigQuery. Essa amostragem acontece com frequência, sempre que o modelo fornece previsões. É possível personalizar a quantidade de dados usada na amostragem.
- Esporadicamente, o job de avaliação é executado, o que gera métricas de avaliação.
Veja as métricas de avaliação resultantes no Console do Google Cloud.
Informações empíricas
Com os rótulos de informações empíricas, as pessoas determinam o que está correto na tarefa de machine learning. A avaliação contínua usa essas informações como uma chave de resposta. Além disso, ela compara as previsões da versão de modelo com esses rótulos para calcular as métricas. Ao criar um job de avaliação, escolha como os rótulos de informações empíricas serão gerados para os dados de previsão. Há duas opções:
- Use o serviço de rotulagem de dados para atribuir revisores humanos e fornecer rótulos de informações empíricas referentes aos dados de previsão.
- Forneça esses rótulos por conta própria.
Execução de jobs de avaliação
Por padrão, os jobs de avaliação são executados diariamente às 10h no horário UTC. O que acontece durante uma execução depende de como você escolheu gerar rótulos de informações empíricas.
Se o Data Labeling Service fornecer rótulos de informações empíricas
Quando o job de avaliação é executado, o serviço de rotulagem cria um conjunto de dados com todas as novas linhas no BigQuery desde a última execução. Elas contêm a entrada e a saída da previsão que tiveram a amostragem feita com base na versão de modelo.
Depois, o serviço envia uma solicitação de rotulagem com base nesse conjunto de dados para que os revisores humanos forneçam rótulos de informações empíricas.
Quando a solicitação é concluída, o serviço de rotulagem de dados calcula as métricas de avaliação. Para isso, ele usa os novos rótulos de informações empíricas e a saída da previsão da versão de modelo.
Se você faz a amostragem de muitos dados de previsão na tabela do BigQuery, talvez leve mais de um dia para que os revisores humanos concluam a solicitação de rotulagem. Nesse caso, o job de avaliação ainda será executado novamente no dia seguinte, de acordo com a programação. Isso significa que o job é executado várias vezes em paralelo. Cada execução se aplica a uma amostra separada dos dados de previsão: as previsões da versão de modelo no dia anterior à execução. Seja qual for a duração das execuções, elas produzem métricas de avaliação referentes a um dia específico das previsões.
Se você mesmo fornecer rótulos de informações empíricas
Assim como na seção anterior, quando o job de avaliação é executado, o serviço de rotulagem
cria um conjunto de dados com todas as novas linhas no
BigQuery desde a última execução. No entanto, nesse caso, você precisa adicionar esses rótulos à coluna groundtruth da tabela antes de realizar a execução. O job de avaliação ignora as linhas que não tenham um rótulo de informações empíricas. Além disso, não é possível incluir essas linhas em uma execução futura.
Depois de criar o conjunto de dados, o serviço de rotulagem calcula imediatamente as métricas de avaliação.
Se você usar esse método, será necessário adicionar rótulos de informações empíricas de novas previsões todos os dias, antes da execução do job de avaliação.
Preços
Se você usa o serviço de rotulagem de dados para atribuir revisores humanos e fornecer rótulos de informações empíricas, os preços relacionados são aplicados. Além disso, a avaliação contínua é gratuita.
Para usar a avaliação contínua, você também precisa utilizar o AI Platform Prediction, o BigQuery e o Cloud Storage. Esses produtos podem gerar cobranças.
A seguir
Leia sobre o que você precisa fazer antes de criar um job de avaliação.