Memberi format pada CSV data pelatihan

Setelah menyiapkan data pelatihan yang cukup merepresentasikan dan mengupload gambar tersebut ke Google Cloud Storage, Anda siap membuat file CSV dengan kotak pembatas dan label untuk impor gambar ke dalam {i>dataset<i} aslinya

Halaman ini menjelaskan cara Anda memberi format pada file CSV.

Panduan pemformatan CSV

Untuk menggunakan metode importData, file CSV dan gambar yang ditunjuknya harus berada di bucket Google Cloud Storage.

Selain itu, file CSV juga harus memenuhi persyaratan berikut:

  • File dapat memiliki nama file apa pun, tetapi harus berada di bucket yang sama dengan file gambar Anda.
  • Harus berenkode UTF-8.
  • Harus diakhiri dengan ekstensi .csv.
  • Memiliki satu baris untuk setiap kotak pembatas dalam kumpulan yang Anda upload, atau satu baris untuk setiap gambar tanpa pembatas (seperti baris 4 di bawah).

  • Berisi satu gambar per baris; gambar dengan beberapa kotak pembatas akan diulangi pada baris sebanyak jumlah kotak pembatas.

    Misalnya, baris 1 dan 2 merujuk ke gambar yang sama yang memiliki 2 anotasi (car,0.1,0.1,,,0.3,0.3,, dan bike,.7,.6,,,.8,.9,,). Baris 3 mengacu pada gambar yang hanya memiliki 1 anotasi (car,0.1,0.1,0.2,0.1,0.2,0.3,0.1,0.3), sedangkan baris 4 merujuk pada gambar tanpa anotasi.

Empat baris contoh:

 TRAIN,gs://folder/image1.png,car,0.1,0.1,,,0.3,0.3,,
 TRAIN,gs://folder/image1.png,bike,.7,.6,,,.8,.9,,
 UNASSIGNED,gs://folder/im2.png,car,0.1,0.1,0.2,0.1,0.2,0.3,0.1,0.3
 TEST,gs://folder/im3.png,,,,,,,,,

Setiap baris memiliki kolom berikut:

  1. Kumpulan tempat untuk menetapkan konten dalam baris ini. Kolom ini wajib diisi dan dapat berupa salah satu nilai berikut:

    • TRAIN - Menggunakan gambar untuk melatih model. Kumpulan ini harus yang terbesar, karena gambar ini akan digunakan untuk membuat model Anda.
    • VALIDATION - Gunakan gambar untuk memvalidasi hasil yang ditampilkan model selama pelatihan (juga dikenal sebagai set data "dev"). Gambar ini akan digunakan oleh AutoML Vision Object Detection untuk menentukan kapan proses pelatihan model dihentikan.
    • TEST - Menggunakan gambar untuk mengukur hasil model setelah model dilatih (juga disebut sebagai data "holdout"). Gambar ini digunakan untuk evaluasi setelah model dibuat menggunakan dua kumpulan sebelumnya.
    • UNASSIGNED - Gambar ini ditetapkan ke salah satu dari tiga set di atas oleh AutoML Vision Object Detection. Gunakan tag set ini jika Anda tidak memiliki preferensi terkait set gambar yang akan ditempatkan.

  2. Konten yang akan dianotasi. Kolom ini berisi URI Google Cloud Storage untuk gambar. URI Google Cloud Storage peka huruf besar/kecil.

  3. Label yang mengidentifikasi cara objek dikategorikan. Label harus diawali dengan huruf dan hanya berisi huruf, angka, serta garis bawah. AutoML Vision Object Detection juga memungkinkan Anda menggunakan label dengan spasi kosong.

    Setelah proses impor gambar, Anda juga dapat memberi label secara manual di UI, atau menggunakan layanan Human Labeling Google untuk memberi label pada gambar pelatihan.

  4. Kotak pembatas untuk objek dalam gambar. Kotak pembatas untuk objek dapat ditentukan dengan dua cara:

    • baik dengan hanya 2 verteks (terdiri dari satu set koordinat x,y) jika keduanya berlawanan secara diagonal dengan titik persegi panjang (x_relative_min, y_relative_min,,,x_relative_max,y_relative_max,),)
    • atau dengan keempat verteks(x_relative_min,y_relative_min,x_relative_max,y_relative_min,x_relative_max,y_relative_max,x_relative_min,y_relative_max).

    Setiap vertex ditentukan oleh nilai koordinat x, y. Koordinat ini harus berupa float dalam rentang 0 hingga 1, dengan 0 mewakili nilai x atau y minimum, dan 1 mewakili nilai x atau y terbesar.

    Misalnya, (0,0) mewakili sudut kiri atas, dan (1,1) mewakili sudut kanan bawah; kotak pembatas untuk seluruh gambar dinyatakan sebagai (0,0,,,1,1,,), atau (0,0,1,0,1,1,0,1).

    AutoML Vision API tidak memerlukan pengurutan verteks tertentu. Selain itu, jika 4 verteks yang ditentukan tidak membentuk persegi panjang sejajar dengan tepi gambar, AutoML Vision API akan menghitung dan menggunakan verteks yang membentuk persegi panjang tersebut.

Contoh:

  • Tidak ditetapkan ke set: UNASSIGNED,gs://my-storage-bucket/img/salad_089.jpg,Baked goods,0.56,0.25,,,0.97,0.50,,

  • Ditetapkan ke set: TRAIN,gs://my-storage-bucket/img/salad_089.jpg,Baked goods,0.56,0.25,,,0.97,0.50,,

    Baris di atas menggunakan format berikut, karena API mengasumsikan bahwa dua titik tepat tersebut adalah verteks diagonal persegi panjang (verteks kiri atas, verteks kanan bawah):

    set,path,label,x_min,y_min,,,x_max,y_max,,

    Format berikut juga valid karena menyampaikan informasi yang sama:

    set,path,label,x_min,y_min,x_max,y_min,x_max,y_max,x_min,y_max

    Artinya, baris "Ditugaskan ke set" yang ditampilkan di atas juga dapat dinyatakan dengan menunjukkan seluruh 4 verteks:

    TRAIN,gs://my-storage-bucket/img/salad_089.jpg,Baked goods,0.56,0.25,0.97,0.25,0.97,0.50,0.56,0.50

opsi koordinat gambar

Simpan konten sebagai file CSV di bucket Google Cloud Storage.

Error umum terkait CSV

  • Menggunakan karakter unicode dalam label. Misalnya, karakter Jepang tidak didukung.
  • Menggunakan karakter non-alfanumerik dalam label.
  • Baris kosong
  • Kapitalisasi pada jalur image Cloud Storage salah.
  • Kontrol akses yang salah dikonfigurasi untuk file gambar Anda. Akun layanan AutoML Anda yang dibuat saat Anda mengaktifkan API harus memiliki akses baca atau akses yang lebih besar.
  • Referensi ke file non-gambar (seperti file PDF atau PSD). Demikian juga, file yang bukan file gambar (JPEG, PNG, GIF, BMP, atau ICO) tetapi telah diganti namanya dengan ekstensi gambar akan menyebabkan error.
  • File berformat non-CSV.