Interpretar resultados de previsão com base em modelos de detecção de objetos de imagem

Depois de solicitar uma previsão, a Vertex AI retorna resultados com base no objetivo do modelo. As respostas de previsão de detecção de objetos de imagem do AutoML retornam todos os objetos encontrados em uma imagem. Cada objeto encontrado tem uma anotação (rótulo e caixa delimitadora normalizada) com uma pontuação de confiança correspondente. A caixa delimitadora é escrita como:

"bboxes": [ [xMin, xMax, yMin, yMax], ...]

Em que xMin, xMax é o valor mínimo e máximo de x e yMin, yMax é o valor mínimo e máximo de y, respectivamente.

Exemplo de saída de previsão em lote

As respostas de previsão em lote da detecção de objetos de imagem do AutoML são armazenadas como arquivos JSON Lines em buckets do Cloud Storage. Cada linha do arquivo JSON Lines contém todos os objetos encontrados em um único arquivo de imagem. Cada objeto encontrado tem uma anotação (rótulo e caixa delimitadora normalizada) com uma pontuação de confiança correspondente.

Note: Zero coordinate values omitted. When the API detects a coordinate ("x" or "y") value of 0, that coordinate is omitted in the JSON response. Thus, a response with a bounding poly around the entire image would be
[{},{"x": 1,"y": 1}]. For more information, see Method: projects.locations.models.predict.

Observação: o exemplo a seguir de JSON Lines inclui quebras de linha para facilitar a leitura. Nos arquivos JSON Lines, as quebras de linha são incluídas somente após cada objeto JSON.

Importante : as caixas delimitadoras são especificadas como:

"bboxes": [ [xMin, xMax, yMin, yMax], ...]

Em que xMin e xMax são os valores mínimo e máximo de x e yMin e yMax são os valores mínimo e máximo de y, respectivamente.

{
  "instance": {"content": "gs://bucket/image.jpg", "mimeType": "image/jpeg"},
  "prediction": {
    "ids": [1, 2],
    "displayNames": ["cat", "dog"],
    "bboxes":  [
      [0.1, 0.2, 0.3, 0.4],
      [0.2, 0.3, 0.4, 0.5]
    ],
    "confidences": [0.7, 0.5]
  }
}