동영상 객체 추적 모델의 예측 결과 해석

Vertex AI는 예측을 요청한 후 모델의 목표에 따라 결과를 반환합니다. 객체 추적 모델의 예측은 직접 정의한 라벨에 따라 추적할 시간과 객체의 위치를 반환합니다. 모델은 각 예측에 신뢰도 점수를 할당하여 모델이 객체를 올바르게 식별하고 추적한 신뢰도를 나타냅니다. 숫자가 클수록 예측의 정확성에 대한 모델의 신뢰도가 높아집니다.

일괄 예측 출력 예시

다음 샘플은 동영상에서 고양이와 개들을 추적하는 모델의 예측 결과입니다. 각 결과에는 추적 대상 객체의 라벨(cat 또는 dog), 객체가 추적되는 시점과 기간을 지정하는 시간 세그먼트, 객체의 위치를 설명하는 경계 상자가 포함됩니다.

참고: 다음 JSON 라인 예시에는 가독성을 위해 줄바꿈이 포함되어 있습니다. JSON 라인 파일에서 줄바꿈은 각 JSON 객체 뒤에만 포함됩니다.

{
  "instance": {
   "content": "gs://bucket/video.mp4",
    "mimeType": "video/mp4",
    "timeSegmentStart": "1s",
    "timeSegmentEnd": "5s"
  }
  "prediction": [{
    "id": "1",
    "displayName": "cat",
    "timeSegmentStart": "1.2s",
    "timeSegmentEnd": "3.4s",
    "frames": [{
      "timeOffset": "1.2s",
      "xMin": 0.1,
      "xMax": 0.2,
      "yMin": 0.3,
      "yMax": 0.4
    }, {
      "timeOffset": "3.4s",
      "xMin": 0.2,
      "xMax": 0.3,
      "yMin": 0.4,
      "yMax": 0.5,
    }],
    "confidence": 0.7
  }, {
    "id": "1",
    "displayName": "cat",
    "timeSegmentStart": "4.8s",
    "timeSegmentEnd": "4.8s",
    "frames": [{
      "timeOffset": "4.8s",
      "xMin": 0.2,
      "xMax": 0.3,
      "yMin": 0.4,
      "yMax": 0.5,
    }],
    "confidence": 0.6
  }, {
    "id": "2",
    "displayName": "dog",
    "timeSegmentStart": "1.2s",
    "timeSegmentEnd": "3.4s",
    "frames": [{
      "timeOffset": "1.2s",
      "xMin": 0.1,
      "xMax": 0.2,
      "yMin": 0.3,
      "yMax": 0.4
    }, {
      "timeOffset": "3.4s",
      "xMin": 0.2,
      "xMax": 0.3,
      "yMin": 0.4,
      "yMax": 0.5,
    }],
    "confidence": 0.5
  }]
}