Mempersiapkan data pelatihan Anda

Halaman ini menjelaskan cara menyiapkan data Anda untuk melatih model Pelacakan Objek Video AutoML.

Menyiapkan video Anda

Halaman ini menjelaskan cara menyiapkan data pelatihan dan pengujian sehingga Tracking Objek AutoML Video Intelligence dapat membuat model anotasi video untuk Anda.

  • AutoML Video Intelligence Object Tracking mendukung format video berikut untuk melatih model Anda atau meminta prediksi.

    • .MOV
    • .MPEG4
    • .MP4
    • .AVI
  • Ukuran file maksimum untuk video pelatihan adalah 50 GB dan berdurasi hingga 3 jam. Setiap file video dengan offset waktu yang salah format atau kosong dalam penampung tidak didukung.

  • Data pelatihan harus semirip mungkin dengan data yang ingin Anda buat prediksinya. Misalnya, jika dalam kasus penggunaan Anda terdapat video buram dengan resolusi rendah (seperti video dari kamera keamanan), data pelatihan Anda harus terdiri dari video buram dengan resolusi rendah. Secara umum, Anda juga harus mempertimbangkan untuk menyediakan beberapa sudut, resolusi, dan latar belakang untuk video pelatihan Anda.

  • Model Pelacakan Objek Video AutoML umumnya tidak dapat memprediksi label yang tidak dapat ditetapkan oleh manusia. Misalnya, jika manusia tidak dapat dilatih untuk menetapkan label dengan melihat video selama 1-2 detik, model tersebut kemungkinan juga tidak dapat dilatih untuk melakukannya.

  • Ukuran kotak pembatas minimum adalah 10x10 piksel.

  • Untuk resolusi frame video yang jauh lebih besar dari 1024 piksel x 1024 piksel, beberapa kualitas gambar dapat hilang selama proses normalisasi frame yang digunakan oleh AutoML Video Object Tracking.

  • Model berfungsi paling baik ketika ada frame 100 kali lebih banyak untuk label yang paling umum daripada untuk label yang paling tidak umum. Anda dapat mempertimbangkan untuk menghapus label frekuensi yang sangat rendah dari set data Anda.

  • Setiap label unik harus ada di minimal 3 frame video yang berbeda. Selain itu, setiap label juga harus memiliki minimal 10 anotasi.

  • Jumlah maksimum frame video berlabel di setiap set data saat ini dibatasi hingga 150.000.

  • Jumlah maksimum kotak pembatas beranotasi di setiap set data saat ini dibatasi hingga 1.000.000.

  • Jumlah maksimum label unik di setiap set data saat ini dibatasi hingga 1.000.

  • Data pelatihan Anda harus memiliki setidaknya 1 label.

  • Anda harus menyediakan minimal 100 frame video pelatihan per label dan semua objek menarik diberi label dalam setiap frame. Anda tidak perlu memberi label semua frame tempat objek muncul, tetapi semakin banyak frame yang diberi label, semakin baik modelnya. Sebaiknya pilih frame yang tidak berdekatan satu sama lain sehingga dapat mencakup ukuran, sudut, latar belakang, kondisi pencahayaan, dll. yang berbeda.

Set data pelatihan, validasi, dan pengujian

Saat melatih model, data dalam set data dibagi menjadi tiga set data: set data pelatihan, set data validasi (opsional), dan set data pengujian.

  • Set data pelatihan digunakan untuk membangun model. Saat menelusuri pola dalam data pelatihan, beberapa algoritma dan parameter akan dicoba.
  • Saat pola diidentifikasi, set data validasi akan digunakan untuk menguji algoritma dan pola. Algoritma dan pola dengan kinerja terbaik dipilih dari yang diidentifikasi selama tahap pelatihan.
  • Setelah algoritma dan pola dengan performa terbaik diidentifikasi, algoritma dan pola tersebut diuji untuk tingkat kesalahan, kualitas, dan akurasi menggunakan set data pengujian.

Set data validasi dan pengujian digunakan untuk menghindari bias dalam model. Selama tahap validasi, parameter model optimal digunakan, yang dapat menghasilkan metrik yang bias. Penggunaan set data pengujian untuk menilai kualitas model setelah tahap validasi akan memberikan penilaian yang tidak bias terhadap kualitas model.

Untuk mengidentifikasi set data pelatihan dan pengujian, gunakan file CSV.

Membuat file CSV dengan URI dan label video

Setelah file diupload ke Cloud Storage, Anda dapat membuat file CSV yang mencantumkan semua data pelatihan dan label kategori untuk data tersebut. File CSV dapat memiliki nama file apa pun, harus berenkode UTF-8, dan harus diakhiri dengan ekstensi .csv.

Ada tiga file yang dapat digunakan untuk melatih dan memverifikasi model Anda:

File Deskripsi
Daftar file pelatihan model

Berisi jalur ke file CSV pelatihan dan pengujian.

File ini digunakan untuk mengidentifikasi lokasi file CSV terpisah yang menjelaskan data pelatihan dan pengujian Anda.

Berikut beberapa contoh isi file CSV daftar file:

Contoh 1:


TRAIN,gs://automl-video-demo-data/traffic_videos/traffic_videos_train.csv
TEST,gs://automl-video-demo-data/traffic_videos/traffic_videos_test.csv

Contoh 2:


UNASSIGNED,gs://automl-video-demo-data/traffic_videos/traffic_videos_labels.csv
Data pelatihan

Digunakan untuk melatih model. Berisi URI ke file video, label yang mengidentifikasi kategori objek, ID instance yang mengidentifikasi instance objek di seluruh frame video dalam video (opsional), offset waktu frame video berlabel, dan koordinat kotak pembatas objek.

Jika menentukan file CSV data pelatihan, Anda juga harus menentukan pengujian atau file CSV data yang belum ditetapkan.

Data pengujian

Digunakan untuk menguji model selama fase pelatihan. Berisi kolom yang sama seperti dalam data pelatihan.

Jika menentukan file CSV data pengujian, Anda juga harus menentukan file pelatihan atau file CSV data yang belum ditetapkan.

Data yang belum ditetapkan

Digunakan untuk pelatihan dan pengujian model. Berisi kolom yang sama seperti dalam data pelatihan. Baris dalam file yang tidak ditetapkan secara otomatis dibagi menjadi data pelatihan dan pengujian, biasanya 80% untuk pelatihan dan 20% untuk pengujian.

Anda dapat menentukan hanya file CSV data yang belum ditetapkan tanpa pelatihan dan pengujian file CSV data. Anda juga dapat menentukan hanya file CSV data pelatihan dan pengujian tanpa file CSV data yang belum ditetapkan.

File pelatihan, pengujian, dan yang tidak ditetapkan harus memiliki satu baris kotak pembatas objek dalam set yang Anda upload, dengan kolom berikut di setiap baris:

  1. Konten yang akan dikategorikan atau dianotasi. Kolom ini berisi URI Cloud Storage untuk video. URI Cloud Storage peka huruf besar/kecil.

  2. Label yang mengidentifikasi cara objek dikategorikan. Label harus diawali dengan huruf dan hanya berisi huruf, angka, serta garis bawah. Pelacakan Objek Video AutoML juga memungkinkan Anda menggunakan label dengan spasi kosong.

  3. ID instance yang mengidentifikasi instance objek di seluruh frame video dalam sebuah video (Opsional). ID instance adalah bilangan bulat. Jika disediakan, Pelacakan Objek Video AutoML akan menggunakan ID tersebut untuk penyesuaian, pelatihan, dan evaluasi pelacakan objek. Kotak pembatas dari instance objek yang sama yang ada dalam frame video yang berbeda diberi label sebagai ID instance yang sama. ID instance hanya unik di setiap video, tetapi tidak ada di set data. Misalnya, jika dua objek dari dua video yang berbeda memiliki ID instance yang sama, bukan berarti kedua objek tersebut adalah instance objek yang sama.

  4. Offset waktu frame video yang menunjukkan offset durasi dari awal video. Offset waktu adalah angka mengambang dan satuannya berada dalam detik.

  5. Kotak pembatas untuk objek dalam frame video Kotak pembatas untuk objek dapat ditentukan dengan dua cara:

    • Menggunakan 2 verteks yang terdiri dari kumpulan koordinat x,y jika keduanya secara diagonal berlawanan dengan titik persegi panjang, seperti yang ditunjukkan dalam contoh ini:

      Bounding_box

    x_relative_min, y_relative_min,,,x_relative_max,y_relative_max,,
    • Menggunakan keempat verteks:
    x_relative_min,y_relative_min,x_relative_max,y_relative_min,x_relative_max,y_relative_max,x_relative_min,y_relative_max

    Setiap vertex ditentukan oleh nilai koordinat x, y. Koordinat ini harus berupa float dalam rentang 0 hingga 1, dengan 0 mewakili nilai x atau y minimum, dan 1 mewakili nilai x atau y terbesar.

    Misalnya, (0,0) mewakili sudut kiri atas, dan (1,1) mewakili sudut kanan bawah; kotak pembatas untuk seluruh gambar dinyatakan sebagai (0,0,,,1,1,,), atau (0,0,1,0,1,1,0,1).

    AutoML Video Object Tracking API tidak memerlukan pengurutan verteks tertentu. Selain itu, jika empat verteks yang ditentukan tidak membentuk persegi panjang yang sejajar dengan tepi gambar, AutoML Video Object Tracking API akan menentukan verteks yang membentuk persegi panjang semacam itu.

Contoh file set data CSV

Baris berikut menunjukkan cara menentukan data dalam set data. Contoh ini mencakup jalur ke video di Cloud Storage, label untuk objek, offset waktu untuk memulai pelacakan, dan dua verteks diagonal.

video_uri,label,instance_id,time_offset,x_relative_min,y_relative_min,
x_relative_max,y_relative_min,x_relative_max,y_relative_max,x_relative_min,y_relative_max
gs://folder/video1.avi,car,,12.90,0.8,0.2,,,0.9,0.3,,
gs://folder/video1.avi,bike,,12.50,0.45,0.45,,,0.55,0.55,,

Di mana pada baris pertama,

  • VIDEO_URI adalah gs://folder/video1.avi,
  • LABEL adalah car,
  • INSTANCE_ID tidak ditentukan,
  • TIME_OFFSET adalah 12.90,
  • X_RELATIVE_MIN,Y_RELATIVE_MIN adalah 0.8,0.2,
  • X_RELATIVE_MAX,Y_RELATIVE_MIN tidak ditentukan,
  • X_RELATIVE_MAX,Y_RELATIVE_MAX adalah 0.9,0.3,
  • X_RELATIVE_MIN,Y_RELATIVE_MAX tidak ditentukan

Seperti yang disebutkan sebelumnya, Anda juga dapat menentukan kotak pembatas dengan memberikan keempat verteks, seperti yang ditunjukkan pada contoh berikut.

gs://folder/video1.avi,car,,12.10,0.8,0.8,0.9,0.8,0.9,0.9,0.8,0.9
gs://folder/video1.avi,car,,12.90,0.4,0.8,0.5,0.8,0.5,0.9,0.4,0.9
gs://folder/video1.avi,car,,12.10,0.4,0.2,0.5,0.2,0.5,0.3,0.4,0.3

Anda tidak perlu menentukan data validasi untuk memverifikasi hasil model yang dilatih. AutoML Video Object Tracking secara otomatis membagi baris yang diidentifikasi untuk pelatihan menjadi data pelatihan dan validasi, dengan 80% digunakan untuk pelatihan dan 20% untuk validasi.

Memecahkan masalah set data CSV

Jika Anda mengalami masalah saat menentukan set data menggunakan file CSV, periksa file CSV untuk mengetahui daftar error umum berikut:

  • Menggunakan karakter unicode dalam label. Misalnya, karakter Jepang tidak didukung.
  • Penggunaan spasi dan karakter non-alfanumerik dalam label
  • Baris kosong
  • Kolom kosong (baris dengan dua koma berturut-turut)
  • Kapitalisasi jalur video Cloud Storage salah
  • Kontrol akses salah dikonfigurasi untuk file video Anda. Akun layanan Anda harus memiliki akses baca atau akses yang lebih besar, atau file harus dapat dibaca oleh publik.
  • Referensi ke file non-video (seperti file PDF atau PSD). Demikian juga, file yang bukan file video tetapi telah diganti namanya dengan ekstensi video akan menyebabkan error.
  • URI video mengarah ke bucket yang berbeda dengan project saat ini. Hanya video dalam bucket project yang dapat diakses.
  • File berformat non-CSV.