動画動作認識モデルの予測結果を解釈する

予測をリクエストすると、Vertex AI がモデルの目的に基づいて結果を返します。動作認識モデルの予測では、独自に定義したラベルに従って、動作の発生した時間が返されます。このモデルでは、各予測に信頼スコアが割り当てられます。これにより、どの程度の信頼度でモデルが動作を正しく識別したかがわかります。数値が大きいほど、予測の正確さという面でモデルの信頼度が高くなります。

バッチ予測の出力例

次のサンプルは、動画の「スイング」動作と「ジャンプ」動作を識別するモデルの予測結果です。各結果には、特定された動作のラベル(「スイング」または「ジャンプ」)、動作の発生した時間を指定する同じ開始時間と終了時間を持つ時間セグメント、信頼スコアが含まれます。

{
  "instance": {
   "content": "gs://bucket/video.mp4",
    "mimeType": "video/mp4",
    "timeSegmentStart": "1s",
    "timeSegmentEnd": "5s"
  }
  "prediction": [{
    "id": "1",
    "displayName": "swing",
    "timeSegmentStart": "1.2s",
    "timeSegmentEnd": "1.2s",
    "confidence": 0.7
  }, {
    "id": "2",
    "displayName": "jump",
    "timeSegmentStart": "3.4s",
    "timeSegmentEnd": "3.4s",
    "confidence": 0.5
  }]
}