학습 데이터 준비

이 페이지에서는 AutoML Video Intelligence Classification이 동영상 주석 모델을 만들 수 있도록 학습 및 테스트 데이터를 준비하는 방법을 설명합니다.

동영상 준비

  • AutoML Video Intelligence Classification은 모델을 학습시키거나 예상 검색어를 요청할 때(동영상에 주석 달기) 다음과 같은 동영상 형식(아래 참조)을 지원합니다. 최대 파일 크기는 50GB입니다(최대 재생 시간 3시간). 컨테이너에 잘못된 또는 비어 있는 타임스탬프가 포함된 개별 동영상 파일은 지원되지 않습니다.

    • .MOV
    • .MPEG4
    • .MP4
    • .AVI

  • 학습 데이터는 예측을 수행할 데이터와 최대한 유사해야 합니다. 예를 들어 사용 사례에 보안 카메라 영상처럼 흐릿한 저해상도 동영상이 포함된다면 학습 데이터도 흐릿한 저해상도 동영상으로 구성해야 합니다. 또한 일반적으로 다양한 각도, 해상도, 배경으로 촬영한 학습 동영상을 제공하는 것이 좋습니다.

  • 인간이 지정할 수 없는 라벨은 AutoML Video 모델도 일반적으로 예측할 수 없습니다. 따라서 동영상을 1~2초 보고 라벨을 지정하도록 사람을 학습시킬 수 없다면 이 모델도 그렇게 하도록 학습시킬 수 없습니다.

  • 권장되는 학습 동영상 또는 동영상 세그먼트 개수는 라벨당 약 1,000개입니다. 라벨당 최소 개수는 10개입니다. 동영상 하나에 라벨이 여러 개인 모델을 학습시키는 경우 일반적으로 라벨당 필요한 예의 수가 늘어나며, 결과 점수를 해석하기도 어려워집니다.

  • 가장 흔한 라벨의 동영상이 가장 흔하지 않은 라벨의 동영상보다 최대 100배 많을 때 모델의 성능이 가장 좋습니다. 빈도가 극히 낮은 라벨은 삭제하는 것이 좋습니다.

  • 정의된 라벨과 일치하지 않는 None_of_the_above 라벨과 동영상을 포함하려 할 수 있습니다. 예를 들어 동물 데이터 세트의 경우 라벨을 지정한 품종에 속하지 않는 동물의 동영상을 포함하고 여기에 라벨을 None_of_the_above로 지정할 수 있습니다. 이렇게 하면 모델의 정확성이 향상될 수 있습니다. 라벨 이름은 무엇이든 상관없지만 None_of_the_above는 시스템에서 특별하게 처리됩니다.

학습, 검증, 테스트 데이터 세트

모델 학습 시 데이터 세트의 데이터는 학습 데이터 세트, 검증 데이터 세트, 테스트 데이터 세트라는 3가지 데이터 세트로 나눠집니다.

  • 학습 데이터 세트는 모델을 빌드하는 데 사용됩니다. 학습 데이터에서 패턴을 검색하는 동안 여러 알고리즘과 매개변수가 시도됩니다.
  • 패턴이 발견되면 검증 데이터 세트를 사용하여 알고리즘과 패턴을 테스트합니다. 학습 단계에서 발견된 것 중에서 성능이 가장 우수한 알고리즘과 패턴이 선택됩니다.
  • 성능이 가장 우수한 알고리즘과 패턴이 발견되었으면 테스트 데이터 세트를 사용하여 오류율, 품질, 정확성을 테스트합니다.

모델의 편향을 방지하기 위해 검증 데이터 세트와 테스트 데이터 세트가 모두 사용됩니다. 검증 단계에서는 최적 모델 매개변수가 사용되므로 측정항목이 편향될 수 있습니다. 검증 단계 후에 테스트 데이터세트를 사용하여 모델의 품질을 평가하면 모델의 품질이 편향 없이 평가됩니다.

학습, 테스트, 유효성 검사 데이터를 확인하려면 다음 섹션에서 설명하는 CSV 파일을 사용하세요.

동영상 URI 및 라벨을 사용하여 CSV 파일 만들기

파일이 Google Cloud Storage에 업로드된 후에는 모든 학습 데이터와 해당 데이터의 카테고리 라벨을 나열하는 CSV 파일을 만들 수 있습니다. CSV 파일의 이름에는 제한이 없지만 동영상 파일과 동일한 버킷에 있어야 하고, UTF-8로 인코딩되어야 하며, .csv 확장자로 끝나야 합니다.

모델을 학습시키고 확인하는 데 사용할 수 있는 세 가지 파일이 있습니다.

파일 설명
모델 학습 파일 목록

학습, 테스트, 유효성 검사 CSV 파일의 경로를 포함합니다.

이 파일은 학습 및 테스트 데이터를 설명하는 CSV 파일(최대 3개)의 위치를 식별하는 데 사용됩니다.

다음은 파일 목록 CSV 파일의 내용을 보여주는 몇 가지 예시입니다.

예 1:


      TRAIN,gs://automl-video-demo-data/hmdb_split1_5classes_train.csv
      TEST,gs://automl-video-demo-data/hmdb_split1_5classes_test.csv

예 2:


      UNASSIGNED,gs://automl-video-demo-data/hmdb_split1_5classes_all.csv
학습 데이터

모델을 학습시키는 데 사용됩니다. 동영상 파일의 경로, 동영상 세그먼트의 시작 및 종료 시간, 동영상 세그먼트의 제목을 나타내는 라벨이 들어 있습니다.

학습 데이터 CSV 파일을 지정하는 경우 테스트 데이터 CSV 파일도 지정해야 합니다.
테스트 데이터

학습 단계에서 모델을 테스트하는 데 사용됩니다. 동영상 파일의 경로, 동영상 세그먼트의 시작 및 종료 시간, 동영상 세그먼트의 제목을 나타내는 라벨이 들어 있습니다.

학습 데이터 CSV 파일을 지정하는 경우 테스트 데이터 CSV 파일도 지정해야 합니다.
할당되지 않은 데이터

모델 학습 및 테스트 모두에 사용됩니다. 동영상 파일의 경로, 동영상 세그먼트의 시작 및 종료 시간, 동영상 세그먼트의 제목을 나타내는 라벨이 들어 있습니다. 할당되지 않은 파일의 행은 자동으로 학습 및 테스트 데이터로 나뉩니다. 학습 데이터는 80%이고, 테스트 데이터는 20%입니다.

학습 및 테스트 데이터 CSV 파일 없이 할당되지 않은 데이터 CSV 파일만 지정할 수 있습니다. 할당되지 않은 데이터 CSV 파일 없이 학습 및 테스트 데이터 CSV 파일만 지정할 수도 있습니다.

학습, 테스트, 할당되지 않은 파일에는 업로드하는 세트의 동영상마다 행이 하나씩 있으며, 각 행에는 다음과 같은 열이 있습니다.

  1. 분류하거나 주석을 달아야 할 내용. 이 필드에는 동영상의 Google Cloud Storage URI가 포함됩니다. Google Cloud Storage URI는 대소문자를 구분합니다.

  2. 동영상이 분류되는 방법을 식별하는 라벨 . 라벨은 문자로 시작해야 하며 문자, 숫자, 밑줄만 포함할 수 있습니다. CSV 파일에 각 행마다 다른 라벨을 사용하여 각각 동일한 동영상 세그먼트를 식별하는 여러 행을 추가하여 동영상에 여러 라벨을 지정할 수 있습니다.

  3. 동영상 세그먼트의 시작 및 종료 시간. 이 쉼표로 구분된 두 개의 필드는 분석할 동영상 세그먼트의 시작 및 종료 시간을 초 단위로 나타냅니다. 시작 시간은 종료 시간보다 짧아야 합니다. 두 값 모두 음수가 아니어야 하며 동영상의 시간 범위 내에 있어야 합니다. 0.09845,1.3600555). 동영상의 전체 콘텐츠를 사용하려면 동영상 전체 길이의 시작 시간 0과 종료 시간 'inf'를 지정하세요. 예를 들면 0,inf입니다.

다음은 CSV 데이터 파일의 몇 가지 예제 행입니다.

단일 라벨:

gs://<your-video-path>/vehicle.mp4,u-turn,0,5.4

동일한 동영상 세그먼트의 여러 라벨:

gs://<your-video-path>/vehicle.mp4,right-turn,0,8.285
gs://<your-video-path>/vehicle.mp4,left-turn,0,8.285
gs://<your-video-path>/vehicle.mp4,u-turn,0,8.285

inf를 사용하여 동영상 종료 시간을 나타냅니다.

gs://<your-video-path>/vehicle.mp4,right-turn,0,inf

최상의 결과를 얻으려면 라벨당 최소 수백 개의 학습 동영상 세그먼트를 포함하여 정확한 모델을 만들어야 합니다. 이 수치는 데이터의 복잡성에 따라 달라질 수 있습니다.

라벨을 지정하지 않고 CSV 데이터 파일에서 동영상을 제공할 수도 있습니다. 그런 다음 모델을 학습시키기 전에 AutoML Video UI를 사용하여 데이터에 라벨을 적용해야 합니다. 이렇게 하려면 다음 예시와 같이 동영상의 Cloud Storage URI 다음에 쉼표 세 개만 제공해야 합니다.

gs://<your-video-path>/vehicle.mp4,,,

학습된 모델의 결과를 확인하기 위해 유효성 검사 데이터를 지정할 필요는 없습니다. AutoML Video은 학습용으로 식별된 행을 학습 및 검증 데이터로 자동으로 나눕니다. 학습 데이터는 70%이고 검증 데이터는 30%입니다.

내용을 Google Cloud Storage 버킷에 CSV 파일로 저장합니다.

일반적인 CSV 관련 오류

  • 라벨에 유니코드 문자 사용. 예를 들어 일본어 문자는 지원되지 않습니다.
  • 라벨에 공백 및 영숫자가 아닌 문자 사용
  • 빈 줄
  • 빈 열(줄에 쉼표가 연속으로 2개 나오는 경우)
  • Cloud Storage 동영상 경로의 대소문자 오류
  • 동영상 파일에 대한 액세스 제어 구성 오류. 서비스 계정에 읽기 이상의 액세스 권한이 있거나 파일이 공개 읽기가 가능한 상태여야 합니다.
  • 동영상이 아닌 파일(예: PDF 또는 PSD 파일)에 대한 참조. 마찬가지로 동영상 파일이 아니지만 동영상 파일처럼 확장자를 붙인 파일도 오류의 원인이 됩니다.
  • 동영상의 URI가 현재 프로젝트와 다른 버킷을 가리킵니다. 프로젝트 버킷에 있는 동영상만 액세스할 수 있습니다.
  • CSV 형식이 아닌 파일