Vorhersageergebnisse von Videoobjekt-Tracking-Modellen interpretieren

Nach Anfordern einer Vorhersage gibt Vertex AI Ergebnisse abhängig vom Modellziel zurück. Vorhersagen von einem Objekt-Tracking-Modell geben die Zeit und die Orte von zu erfassenden Objekten gemäß Ihren eigenen definierten Labels zurück. Das Modell weist jeder Vorhersage einen Konfidenzwert zu. Dieser zeigt an, wie sicher das Modell Ihr Objekt korrekt identifizieren und verfolgen konnte. Je höher die Zahl, desto höher die Konfidenz des Modells bzgl. der Richtigkeit der Vorhersage.

Beispielausgabe für eine Batchvorhersage

Das folgende Beispiel ist das vorhergesagte Ergebnis für ein Modell, das Katzen und Hunde in einem Video verfolgt. Jedes Ergebnis enthält ein Label (cat oder dog) für das zu erfassende Objekt, ein Zeitsegment, das angibt, wann und wie lange das Objekt erfasst wurde, und einen Begrenzungsrahmen, der die Position des Objekts angibt.

Hinweis: Das folgende Beispiel für JSON-Zeilen enthält Zeilenumbrüche zur besseren Lesbarkeit. In Ihren JSON-Zeilendateien werden Zeilenumbrüche nach jedem JSON-Objekt einbezogen.

{
  "instance": {
   "content": "gs://bucket/video.mp4",
    "mimeType": "video/mp4",
    "timeSegmentStart": "1s",
    "timeSegmentEnd": "5s"
  }
  "prediction": [{
    "id": "1",
    "displayName": "cat",
    "timeSegmentStart": "1.2s",
    "timeSegmentEnd": "3.4s",
    "frames": [{
      "timeOffset": "1.2s",
      "xMin": 0.1,
      "xMax": 0.2,
      "yMin": 0.3,
      "yMax": 0.4
    }, {
      "timeOffset": "3.4s",
      "xMin": 0.2,
      "xMax": 0.3,
      "yMin": 0.4,
      "yMax": 0.5,
    }],
    "confidence": 0.7
  }, {
    "id": "1",
    "displayName": "cat",
    "timeSegmentStart": "4.8s",
    "timeSegmentEnd": "4.8s",
    "frames": [{
      "timeOffset": "4.8s",
      "xMin": 0.2,
      "xMax": 0.3,
      "yMin": 0.4,
      "yMax": 0.5,
    }],
    "confidence": 0.6
  }, {
    "id": "2",
    "displayName": "dog",
    "timeSegmentStart": "1.2s",
    "timeSegmentEnd": "3.4s",
    "frames": [{
      "timeOffset": "1.2s",
      "xMin": 0.1,
      "xMax": 0.2,
      "yMin": 0.3,
      "yMax": 0.4
    }, {
      "timeOffset": "3.4s",
      "xMin": 0.2,
      "xMax": 0.3,
      "yMin": 0.4,
      "yMax": 0.5,
    }],
    "confidence": 0.5
  }]
}