モデルの評価

モデルをトレーニングした後、AutoML Video Intelligence オブジェクト トラッキングはテストセットの項目を使用して、新しいモデルの品質と精度を評価します。

AutoML Video Intelligence オブジェクト トラッキングには、モデルが全体的にどの程度適切に機能するかを示す評価指標のセットと、モデルが特定のラベルに対してどの程度適切に機能するかを示す各カテゴリラベルの評価指標が用意されています。

  • IoU: Intersection over Union。オブジェクト トラッキングで使用される指標の 1 つ。動画フレームのオブジェクト インスタンスについて予測された境界ボックスが、実際の境界ボックスとどの程度オーバーラップしているかを測定します。予測された境界ボックスの値が実際の境界ボックスの値に近いほど、交差部分と IoU 値が大きいことになります。

  • AuPRC: 適合率 / 再現率曲線の下の部分の面積。「平均適合率」とも呼ばれます。通常は 0.5 から 1.0 の間です。値が高いほど、モデルの精度が高いことを示します。

  • 信頼しきい値曲線は、さまざまな信頼しきい値が適合率、再現率、真陽性率、および偽陽性率にどのように影響するかを示します。適合率と再現率の関係をご覧ください。

このデータを使用して、モデルの準備状況を評価します。AUC スコアが低い、つまり適合率スコアと再現率スコアが低い場合は、モデルに追加のトレーニング データが必要であるか、ラベルに一貫性がないことを示している可能性があります。AUC スコアが非常に高く、適合率と再現率が完璧な場合は、データが単純すぎて適切に一般化できないことを示している可能性があります。

モデル評価値の取得

コマンドライン

  • model-name を、モデル作成時のレスポンスから取得したモデルの完全な名前に置き換えます。完全な名前の形式は projects/{project-id}/locations/us-central1/models/{model-id} です。
curl -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
  -H "Content-Type: application/json" \
  https://automl.googleapis.com/v1beta1/model-name/modelEvaluations

レスポンスには、モデル全体の ModelEvaluation リソースが含まれます。

{
  "modelEvaluation": [
    {
      "name": "projects/170799619488/locations/us-central1/models/VOT5199300216682971136/modelEvaluations/8703337066443674578",
      "annotationSpecId": "-1",
      "createTime": "2018-10-24T06:03:08.042671Z",
      "evaluatedExampleCount": 20
      "videoObjectTrackingEvaluationMetrics": {
        "evaluatedBoundingBoxCount": 30,
        "boundingBoxMetricsEntries": [
          {
            "iouThreshold": 0.75,
            "meanAveragePrecision": 0.5,
            "confidenceMetricsEntries": [
              {
                "confidenceThreshold": 1.810214e-07,
                "recall": 0.5,
                "precision": 0.010810811
              },
              {
                "confidenceThreshold": 0.17042068,
                "recall": 0.25,
                "precision": 1
              }
            ]
          },
          {
            "iouThreshold": 0.1,
            "meanAveragePrecision": 0.76785713,
            "confidenceMetricsEntries": [
              {
                "confidenceThreshold": 1.810214e-07,
                "recall": 1,
                "precision": 0.021621622
              },
              ...
              {
                "confidenceThreshold": 0.17042068,
                "recall": 0.25,
                "precision": 1
              }
            ]
          },
          ...
        ],
        "boundingBoxMeanAveragePrecision": 0.43788764
      },
    }
  ]
}

モデルの反復

品質水準に不満がある場合は、前のステップに戻って品質を向上させることができます。

  • さまざまなタイプの動画を追加しなければならない場合があります(たとえば、構図の拡大、解像度の増減、異なる視点など)。
  • 十分なトレーニング動画がない場合は、ラベルを完全に削除することを検討してください。
  • マシンにはラベル名の意味は理解できません。つまり、ラベル名はマシンにとって単なるランダムな文字列にすぎません。「door」というラベルと「door_with_knob」という別のラベルがある場合、マシンにはそのラベルが付いた動画以外にニュアンスを把握する方法はありません。
  • 真陽性と真陰性のサンプルを追加してデータを強化してください。特に重要なのは、決定境界に近いサンプルです。

変更を加えたら、新しいモデルをトレーニングして評価し、十分に高い品質水準に達するまでこれを繰り返します。