Interpretar resultados de previsão de modelos de classificação de texto

.

Depois de solicitar uma previsão, a Vertex AI retorna resultados com base no objetivo do modelo. As previsões de modelos de classificação de vários rótulos retornam um ou mais rótulos para cada documento e uma pontuação de confiança para cada rótulo. Para modelos de classificação de rótulo único, as previsões retornam apenas um rótulo e pontuação de confiança por documento.

A pontuação de confiança informa o quanto o modelo associa cada classe ou rótulo a um item de teste. Quanto maior o número, maior a confiança do modelo de que o rótulo precisa ser aplicado a esse item. Você decide o nível de confiança necessário para aceitar os resultados do modelo.

Controle deslizante de limite de pontuação

No console do Google Cloud, a Vertex AI fornece um controle deslizante usado para ajustar o limite de confiança de todas as classes ou identificadores ou uma classe ou identificador individual. O controle deslizante está disponível na página de detalhes de um modelo na guia Avaliar. O limite de confiança é o nível de confiança que o modelo precisa ter para atribuir uma classe ou um identificador a um item de teste. Ao ajustar o limite, é possível ver como a precisão e o recall do modelo mudam. Limites mais altos normalmente aumentam a precisão, mas diminuem o recall.

Exemplo de saída de previsão em lote

A amostra a seguir é o resultado previsto de um modelo de classificação com vários rótulos. O modelo aplicou os rótulos GreatService, Suggestion e InfoRequest ao documento enviado. Os níveis de confiança se aplicam a cada um dos rótulos em ordem. Neste exemplo, o modelo previu GreatService como o rótulo mais relevante.

{
  "instance": {"content": "gs://bucket/text.txt", "mimeType": "text/plain"},
  "predictions": [
    {
      "ids": [
        "1234567890123456789",
        "2234567890123456789",
        "3234567890123456789"
      ],
      "displayNames": [
        "GreatService",
        "Suggestion",
        "InfoRequest"
      ],
      "confidences": [
        0.8986392080783844,
        0.81984345316886902,
        0.7722353458404541
      ]
    }
  ]
}