Set data berisi contoh representatif dari jenis konten yang ingin Anda klasifikasikan, yang dianotasi dengan label dan kotak pembatas. Set data berfungsi sebagai input untuk melatih model.
Langkah-langkah utama untuk membangun set data adalah:
- Buat set data dan berikan nama yang mudah diingat.
- Impor contoh data ke dalam set data.
- Modifikasi anotasi gambar yang diimpor (opsional) untuk menambahkan, menghapus, atau memodifikasi kotak pembatas dan label di gambar Anda.
Membuat set data
Langkah pertama dalam membuat model kustom dengan AutoML API adalah membuat set data kosong yang pada akhirnya akan menyimpan data pelatihan untuk model tersebut.
Saat rilis Ketersediaan Umum (GA) Deteksi Objek AutoML Vision, permintaan ini menampilkan ID operasi yang berjalan lama.
Setelah operasi yang berjalan lama selesai, Anda dapat mengimpor gambar ke dalamnya. Set data yang baru dibuat tidak berisi data apa pun sebelum Anda mengimpor gambar ke dalamnya.
Simpan ID set data dari set data baru (dari respons) untuk digunakan dengan operasi lain, seperti mengimpor gambar ke set data Anda dan melatih model.
UI Web
UI Deteksi Objek AutoML Vision memungkinkan Anda membuat set data baru dan mengimpor gambar ke dalam set data dari halaman yang sama.Buka UI Deteksi Objek AutoML Vision.
Halaman Set Data menampilkan status set data yang dibuat sebelumnya untuk project saat ini.
Untuk menambahkan set data ke project lain, pilih project dari menu drop-down di kanan atas kolom judul.
Klik tombol Set Data Baru pada kolom judul.
Di jendela pop-up Membuat set data baru, masukkan nama untuk set data dan pilih opsi "Membuat set data".
Setelah membuat set data kosong, Anda akan diarahkan ke tab Impor di halaman detail set data. Anda dapat menentukan lokasi Google Cloud Storage dari file .csv yang mencantumkan gambar pelatihan untuk disertakan dalam set data. Gambar pelatihan ini harus disimpan dalam bucket Google Cloud Storage.
Untuk membuat set data, Anda harus mengupload file .csv yang berisi gambar pelatihan dengan kotak pembatas dan label terkait dari Google Cloud Storage.
Setelah impor selesai, Anda dapat menambahkan, menghapus, atau memodifikasi anotasi di UI.
Pilih Impor
Anda akan kembali ke halaman Set Data; set data Anda akan menampilkan animasi yang sedang berlangsung saat gambar sedang diimpor. Proses ini memerlukan waktu sekitar 10 menit per 1000 contoh, tetapi mungkin perlu waktu lebih atau kurang.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: project ID GCP Anda.
- display-name: nama tampilan string pilihan Anda.
Metode HTTP dan URL:
POST https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets
Isi JSON permintaan:
{ "displayName": "DISPLAY_NAME", "imageObjectDetectionDatasetMetadata": { } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-id" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets" | Select-Object -Expand Content
Anda akan melihat output yang serupa dengan berikut ini: Anda dapat menggunakan ID operasi
(dalam hal ini, IOD3819960680614725486
) untuk mendapatkan status tugas. Sebagai
contoh, lihat Bekerja dengan operasi yang berjalan lama:
{ "name": "projects/PROJECT_ID/locations/us-central1/operations/IOD3819960680614725486", "metadata": { "@type": "type.googleapis.com/google.cloud.automl.v1.OperationMetadata", "createTime": "2019-11-14T16:49:13.667526Z", "updateTime": "2019-11-14T16:49:13.667526Z", "createDatasetDetails": {} } }
Setelah operasi yang berjalan lama selesai, Anda bisa mendapatkan ID set data dengan permintaan status operasi yang sama. Responsnya akan terlihat seperti berikut:
{ "name": "projects/PROJECT_ID/locations/us-central1/operations/IOD3819960680614725486", "metadata": { "@type": "type.googleapis.com/google.cloud.automl.v1.OperationMetadata", "createTime": "2019-11-14T16:49:13.667526Z", "updateTime": "2019-11-14T16:49:17.975314Z", "createDatasetDetails": {} }, "done": true, "response": { "@type": "type.googleapis.com/google.cloud.automl.v1.Dataset", "name": "projects/PROJECT_ID/locations/us-central1/datasets/IOD5496445433112696489" } }
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Bahasa tambahan
C# : Ikuti Petunjuk penyiapan C# di halaman library klien, lalu kunjungi Dokumentasi referensi Deteksi Objek Vision AutoML untuk .NET.
PHP : Ikuti petunjuk penyiapan PHP di halaman library klien, lalu kunjungi dokumentasi referensi Deteksi Objek AutoML Vision untuk PHP.
Ruby : Ikuti petunjuk penyiapan Ruby di halaman library klien, lalu kunjungi dokumentasi referensi Deteksi Objek AutoML Vision untuk Ruby.
Mengimpor gambar ke dalam set data
Setelah Anda membuat set data, Anda dapat mengimpor URI gambar dan kotak pembatas berlabel untuk gambar dari file CSV yang disimpan dalam bucket Google Cloud Storage.
Untuk detail cara menyiapkan data dan membuat file CSV untuk diimpor, lihat Menyiapkan data pelatihan Anda. Untuk mengetahui detail cara memodifikasi anotasi gambar setelah gambar diimpor, lihat Memberikan anotasi gambar pelatihan yang diimpor.
Anda dapat mengimpor gambar ke dalam set data kosong atau set data yang sudah berisi gambar pelatihan.
UI web
Untuk pembuatan set data Deteksi Objek AutoML Vision, dan impor gambar digabungkan dalam langkah-langkah berturut-turut di UI.
Mengimpor gambar ke set data kosong:
Untuk pembuatan set data berikutnya, Anda diminta untuk mengimpor gambar secara langsung setelah membuat set data kosong, tetapi langkah impor ini tidak diperlukan pada saat yang sama.
Untuk mengimpor gambar ke set data kosong, lakukan langkah-langkah berikut:
Pilih set data kosong dari halaman Set Data.
Di halaman Impor, tambahkan lokasi Google Cloud Storage untuk file .csv Anda. Setelah Anda menentukan lokasi file .csv di Google Cloud Storage, pilih Impor untuk memulai proses impor file.
Mengimpor gambar ke set data yang tidak kosong:
Anda memiliki opsi untuk menambahkan lebih banyak gambar pelatihan ke set data yang sudah berisi gambar pelatihan.
Untuk menambahkan gambar pelatihan ke set data yang tidak kosong, selesaikan langkah-langkah berikut:
Pilih set data yang tidak kosong dari halaman Set Data.
Memilih set data yang tidak kosong akan mengarahkan Anda ke halaman detail Set Data.
Di halaman Set data detail, pilih tab Impor.
Memilih tab Impor akan mengarahkan Anda ke halaman Membuat set data. Anda dapat menentukan lokasi Google Cloud Storage file .csv file Anda dan memilih Impor untuk memulai proses impor gambar.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: project ID GCP Anda.
- dataset-id: ID set data Anda. ID adalah elemen terakhir dari nama
set data Anda. Contoh:
- nama set data:
projects/project-id/locations/location-id/datasets/3104518874390609379
- id set data:
3104518874390609379
- nama set data:
- input-storage-path: jalur ke file CSV yang disimpan di Google Cloud Storage. Pengguna yang meminta setidaknya harus memiliki izin baca ke bucket.
Metode HTTP dan URL:
POST https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID:importData
Isi JSON permintaan:
{ "inputConfig": { "gcsSource": { "inputUris": ["INPUT_STORAGE_PATH"] } } }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-id" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID:importData"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/datasets/DATASET_ID:importData" | Select-Object -Expand Content
Anda akan melihat output yang serupa dengan berikut ini: Anda dapat menggunakan ID operasi untuk mendapatkan status tugas. Sebagai contoh, lihat Bekerja dengan operasi yang berjalan lama.
{ "name": "projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.automl.v1.OperationMetadata", "createTime": "2018-10-29T15:56:29.176485Z", "updateTime": "2018-10-29T15:56:29.176485Z", "importDataDetails": {} } }
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Node.js
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman Library Klien.
Bahasa tambahan
C# : Ikuti Petunjuk penyiapan C# di halaman library klien, lalu kunjungi Dokumentasi referensi Deteksi Objek Vision AutoML untuk .NET.
PHP : Ikuti petunjuk penyiapan PHP di halaman library klien, lalu kunjungi dokumentasi referensi Deteksi Objek AutoML Vision untuk PHP.
Ruby : Ikuti petunjuk penyiapan Ruby di halaman library klien, lalu kunjungi dokumentasi referensi Deteksi Objek AutoML Vision untuk Ruby.
Topik Membuat anotasi gambar pelatihan yang diimpor menjelaskan cara menambahkan kotak pembatas dan label secara manual ke gambar di UI, serta cara mencantumkan statistik label.
Topik Mengelola set data berisi informasi lebih lanjut mengenai penggunaan resource set data, misalnya cara membuat daftar, mendapatkan, mengekspor, atau menghapus set data.
Bekerja dengan operasi yang berjalan lama
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: project ID GCP Anda.
- operation-id: ID operasi Anda. ID tersebut adalah elemen terakhir dari nama
operasi Anda. Contoh:
- nama operasi:
projects/project-id/locations/location-id/operations/IOD5281059901324392598
- ID Operasi:
IOD5281059901324392598
- nama operasi:
Metode HTTP dan URL:
GET https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Jalankan perintah berikut:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-id" \
"https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID"
PowerShell
Jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-id" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://automl.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID" | Select-Object -Expand Content
{ "name": "projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.automl.v1.OperationMetadata", "createTime": "2018-10-29T15:56:29.176485Z", "updateTime": "2018-10-29T16:10:41.326614Z", "importDataDetails": {} }, "done": true, "response": { "@type": "type.googleapis.com/google.protobuf.Empty" } }
Anda akan melihat output yang mirip dengan hal berikut ini untuk membuat operasi model yang telah selesai:
{ "name": "projects/PROJECT_ID/locations/us-central1/operations/OPERATION_ID", "metadata": { "@type": "type.googleapis.com/google.cloud.automl.v1.OperationMetadata", "createTime": "2019-07-22T18:35:06.881193Z", "updateTime": "2019-07-22T19:58:44.972235Z", "createModelDetails": {} }, "done": true, "response": { "@type": "type.googleapis.com/google.cloud.automl.v1.Model", "name": "projects/PROJECT_ID/locations/us-central1/models/MODEL_ID" } }
Go
Sebelum mencoba sampel ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman API & Referensi > Library Klien.
Java
Sebelum mencoba sampel ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman API & Referensi > Library Klien.
Node.js
Sebelum mencoba sampel ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman API & Referensi > Library Klien.
Python
Sebelum mencoba sampel ini, ikuti petunjuk penyiapan untuk bahasa ini di halaman API & Referensi > Library Klien.
Bahasa tambahan
C# : Ikuti Petunjuk penyiapan C# di halaman library klien, lalu kunjungi dokumentasi referensi AutoML Vision untuk .NET.
PHP : Ikuti Petunjuk penyiapan PHP di halaman library klien, lalu kunjungi dokumentasi referensi AutoML Vision untuk PHP.
Ruby : Ikuti Petunjuk penyiapan Ruby di halaman library klien, lalu kunjungi dokumentasi referensi AutoML Vision untuk Ruby.