Mengelola set data
Set data berisi sampel representatif dari jenis konten yang ingin Anda beri label, dengan label kotak pembatas yang ingin digunakan oleh model. Set data berfungsi sebagai input untuk melatih model.
Langkah-langkah utama untuk membangun set data adalah:
- Buat set data dan tentukan apakah akan mengizinkan beberapa label pada setiap item.
- Impor item data ke dalam set data.
Sebelum pelatihan, pastikan Anda menyiapkan data sebelum melatih model.
Sebuah project dapat memiliki beberapa set data, yang masing-masing digunakan untuk melatih model yang terpisah. Anda bisa mendapatkan daftar set data yang tersedia dan dapat menghapus set data yang tidak lagi diperlukan.
Membuat set data
Langkah pertama dalam membuat model adalah membuat set data kosong yang nantinya akan menyimpan data pelatihan untuk model tersebut.
UI Web
UI Pelacakan Objek Video AutoML memungkinkan Anda membuat set data baru dan mengimpor item ke dalamnya dari halaman yang sama.- Buka AutoML Video Object Tracking UI. Halaman Datasets menampilkan status set data yang dibuat sebelumnya untuk project saat ini. Untuk menambahkan set data ke project lain, pilih project dari menu drop-down di kanan atas panel judul.
- Di halaman Datasets, klik Create Dataset.
- Pada dialog Create new dataset, lakukan langkah berikut:
- Tentukan nama untuk set data ini.
- Pilih Pelacakan Objek Video.
- Klik Create Dataset.
- Di halaman set data Anda, berikan URI Cloud Storage dari file CSV yang berisi URI data pelatihan, tanpa awalan
gs://
di awal. - Masih di halaman set data Anda, klik Continue untuk mulai mengimpor.
REST
Contoh berikut membuat set data bernama my_dataset01
yang
mendukung kasus penggunaan pelacakan objek. {i>Dataset<i} yang baru dibuat tidak berisi data apa pun sampai Anda mengimpor item ke dalamnya.
Simpan "name"
set data baru (dari respons) untuk digunakan dengan operasi lain, seperti mengimpor item ke set data Anda dan melatih model.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- dataset-name: nama set data target Anda.
Misalnya,my_dataset_01
- Catatan:
- project-number: nomor project Anda
- location-id: region Cloud tempat anotasi
seharusnya dilakukan. Region cloud yang didukung adalah:
us-east1
,us-west1
,europe-west1
,asia-east1
. Jika tidak ada wilayah yang ditentukan, wilayah akan ditentukan berdasarkan lokasi file video.
Metode HTTP dan URL:
POST https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets
Isi JSON permintaan:
{ "displayName": "dataset-name", "videoObjectTrackingDatasetMetadata": { } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets" | Select-Object -Expand Content
VOT12345....
Java
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Mengimpor item ke dalam set data
Setelah membuat set data, Anda dapat mengimpor data berlabel dari file CSV yang disimpan di bucket Cloud Storage. Untuk mengetahui detail tentang menyiapkan data dan membuat file CSV untuk diimpor, lihat Menyiapkan data pelatihan.
Anda dapat mengimpor item ke set data kosong atau mengimpor item tambahan ke set data yang ada.
UI Web
Biasanya, Anda mengimpor data saat membuat {i>dataset<i}.Namun, jika Anda perlu mengimpor data setelah membuat set data, lakukan hal berikut:
- Buka AutoML Video Object Tracking UI. Halaman Datasets menampilkan status set data yang dibuat sebelumnya untuk project saat ini.
- Dari daftar, klik set data tempat Anda ingin mengimpor data.
- Pada tab Import, berikan URI Cloud Storage dari file CSV yang berisi URI data pelatihan Anda, tanpa awalan
gs://
di awal. - Selain itu, di tab Import untuk set data Anda, klik Continue untuk mulai mengimpor.
REST
Untuk mengimpor data pelatihan, gunakan metodeimportData
. Metode
ini mengharuskan Anda memberikan dua parameter:
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- dataset-id: ID set data Anda. ID adalah elemen terakhir dari nama set data Anda. Contoh:
- nama set data:
projects/project-number/locations/location-id/datasets/3104518874390609379
- id set data:
3104518874390609379
- nama set data:
- bucket-name: ganti dengan nama bucket Cloud Storage tempat Anda menyimpan file CSV daftar file pelatihan model.
- csv-file-name: ganti dengan nama file CSV daftar file pelatihan model Anda.
- Catatan:
- project-number: nomor project Anda
- location-id: region Cloud tempat anotasi
seharusnya dilakukan. Region cloud yang didukung adalah:
us-east1
,us-west1
,europe-west1
,asia-east1
. Jika tidak ada wilayah yang ditentukan, wilayah akan ditentukan berdasarkan lokasi file video.
Metode HTTP dan URL:
POST https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id:importData
Isi JSON permintaan:
{ "inputConfig": { "gcsSource": { "inputUris": ["gs://bucket-name/csv-file-name.csv"] } } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id:importData"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id:importData" | Select-Object -Expand Content
VOT7506374678919774208
.
Java
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Memberi label item pelatihan
Agar berguna untuk melatih model, setiap item dalam set data harus berisi setidaknya satu kotak pembatas dan satu label kategori yang ditetapkan padanya. Anda dapat memberikan label dan kotak pembatas untuk item pelatihan dengan dua cara:
- Menyertakan label dan kotak pembatas di file CSV Anda
- Terapkan label dan kotak pembatas item Anda di UI Pelacakan Objek Video AutoML.
Untuk mengetahui detail tentang pelabelan item dalam file CSV, lihat Menyiapkan data pelatihan.
Untuk memberi label pada item di AutoML Video Object Tracking UI, pilih set data dari halaman listingan set data untuk melihat detailnya. Nama tampilan set data yang dipilih akan muncul di panel judul, dan halaman tersebut mencantumkan setiap item dalam set data beserta labelnya. Menu navigasi di sebelah kiri meringkas jumlah item berlabel dan tidak berlabel. Hal ini juga memungkinkan Anda untuk memfilter daftar item berdasarkan label.
Untuk menetapkan label dan kotak pembatas ke video yang tidak berlabel atau untuk mengubah label dan kotak pembatas video, lakukan langkah berikut:
- Pada halaman untuk set data, klik video yang ingin Anda beri label.
Di halaman untuk video, lakukan hal berikut:
- Jalankan video sampai Anda melihat item yang ingin diberi label.
- Tarik kursor untuk menggambar kotak pembatas di sekitar item.
- Setelah menggambar kotak pembatas, pilih label yang ingin Anda gunakan.
- Klik Save.
Jika Anda perlu menambahkan label baru untuk set data, pada halaman untuk set data, di atas daftar label yang ada, klik tiga titik di samping Filter labels, lalu klik Add new label.
Mengubah label dalam data
Anda juga dapat mengubah label yang diterapkan ke video dalam set data. Di AutoML Video Object Tracking UI, lakukan hal berikut:
- Di halaman set data, klik video yang ingin Anda ubah labelnya.
Di halaman untuk video, lakukan hal berikut:
- Pada daftar label di sebelah kiri, pilih label yang ingin diubah.
- Pada pratinjau video, klik kanan kotak pembatas pada video, lalu pilih label yang diinginkan.
- Klik Save.
Membuat daftar set data
Project dapat mencakup banyak set data. Bagian ini menjelaskan cara mengambil daftar set data yang tersedia untuk sebuah project.
UI Web
Untuk melihat daftar set data yang tersedia menggunakan AutoML Video Object Tracking UI, buka halaman Datasets.
Untuk melihat set data untuk project yang berbeda, pilih project dari menu drop-down di kanan atas panel judul.
REST
Gunakan perintahcurl
atau PowerShell berikut untuk mendapatkan daftar set data dan jumlah video contoh yang diimpor ke set data.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-number: jumlah project Anda
- location-id: region Cloud tempat anotasi seharusnya dilakukan. Region cloud yang didukung adalah:
us-east1
,us-west1
,europe-west1
,asia-east1
. Jika tidak ada wilayah yang ditentukan, wilayah akan ditentukan berdasarkan lokasi file video.
Metode HTTP dan URL:
GET https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Jalankan perintah berikut:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
"https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets "
PowerShell
Jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets " | Select-Object -Expand Content
VOT3940649673949184000
adalah ID operasi dari operasi yang berjalan lama yang dibuat untuk permintaan dan diberikan dalam respons saat Anda memulai operasi.
Java
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Menghapus set data
Kode berikut menunjukkan cara menghapus set data.
UI Web
-
Buka halaman Datasets di AutoML Video Object Tracking UI.
- Klik menu tiga titik di ujung kanan baris yang ingin Anda hapus, lalu pilih Delete dataset.
- Klik Konfirmasi di kotak dialog konfirmasi.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-number: jumlah project Anda
- location-id: region Cloud tempat anotasi seharusnya dilakukan. Region cloud yang didukung adalah:
us-east1
,us-west1
,europe-west1
,asia-east1
. Jika tidak ada wilayah yang ditentukan, wilayah akan ditentukan berdasarkan lokasi file video. - datase-id: ganti dengan ID untuk ID set data Anda.
Metode HTTP dan URL:
DELETE https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id
Untuk mengirim permintaan, perluas salah satu opsi berikut:
Anda akan menerima kode status yang berhasil (2xx), serta respons yang kosong.
Java
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mengautentikasi ke AutoML Video Object Tracking, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.