Membuat tugas evaluasi berkelanjutan

Beta

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Tugas evaluasi berkelanjutan menentukan cara AI Platform Data Labeling Service melakukan evaluasi berkelanjutan pada versi model yang telah Anda deploy ke AI Platform Prediction. Saat Anda membuat tugas evaluasi untuk versi model, ada dua hal yang akan mulai terjadi:

• Saat versi model menyajikan prediksi online, input dan output untuk sebagian prediksi ini disimpan dalam tabel BigQuery.
• Pada interval reguler, tugas evaluasi berkelanjutan akan berjalan, dengan menjalankan tugas-tugas berikut:
  1. Tugas ini akan membuat set data Layanan Pelabelan Data dengan semua baris baru di BigQuery sejak terakhir kali dijalankan.
  2. (Opsional) Tugas mengirimkan permintaan pelabelan untuk meminta peninjau manual memberikan label kebenaran dasar untuk prediksi.
  3. Tugas ini menghitung sekumpulan metrik evaluasi, yang dapat Anda lihat di Konsol Google Cloud.

Sebelum memulai

Sebelum memulai, Anda harus men-deploy versi model ke AI Platform Prediction yang memenuhi persyaratan model tertentu. Anda juga harus mengaktifkan Google Cloud API tertentu. Baca Sebelum Anda memulai evaluasi berkelanjutan untuk mempelajari cara memenuhi persyaratan ini.

Mengonfigurasi opsi dasar

Bagian berikut menjelaskan cara membuka halaman pembuatan tugas dan mengonfigurasi detail dasar untuk tugas evaluasi Anda.

Buka halaman pembuatan tugas

Guna membuat tugas evaluasi untuk versi model, buka halaman untuk versi model tersebut di Konsol Google Cloud dan buka halaman pembuatan tugas:

1. Buka halaman AI Platform models di Konsol Google Cloud:

   Buka halaman AI Platform models

2. Klik nama model yang berisi versi model yang tugas evaluasinya ingin Anda buat.

3. Klik nama versi model yang ingin Anda buatkan tugas evaluasi. Modul ini tidak boleh sudah memiliki tugas evaluasi yang dilampirkan.

4. Klik tab Evaluasi. Kemudian, klik Siapkan tugas evaluasi.

Menentukan deskripsi, tujuan model, label, dan persentase pengambilan sampel

Langkah-langkah berikut menjelaskan detail konfigurasi dasar yang harus Anda tentukan dalam formulir pembuatan tugas:

1. Tambahkan deskripsi untuk tugas evaluasi Anda di kolom Deskripsi lowongan.

2. Tentukan jenis tugas yang dilakukan model machine learning Anda di kolom Tujuan model. Pelajari lebih lanjut jenis model machine learning yang didukung oleh evaluasi berkelanjutan.

   • Jika model Anda melakukan klasifikasi, tentukan apakah model tersebut melakukan klasifikasi label tunggal atau klasifikasi multilabel di kolom Classification type.
   • Jika model Anda melakukan deteksi objek gambar, tentukan minimum intersection-over-union (IOU) antara 0 dan 1. Hal ini menentukan seberapa mirip kotak pembatas model Anda yang diprediksi harus dibandingkan dengan kotak pembatas kebenaran dasar agar dapat dianggap sebagai prediksi yang benar.

3. Di kolom Prediction label file path, tentukan jalur ke file CSV di Cloud Storage yang berisi kemungkinan label untuk prediksi model Anda. File ini menentukan kumpulan spesifikasi anotasi untuk model Anda. Pelajari cara menyusun file ini.

4. Di kolom Persentase sampel harian, tentukan persentase prediksi yang ditampilkan oleh versi model yang ingin Anda ekspor ke BigQuery dan dianalisis sebagai bagian dari evaluasi berkelanjutan.

   Selain itu, tentukan Batas sampel harian untuk menetapkan jumlah maksimum prediksi yang ingin Anda ambil sampelnya selama satu periode evaluasi.

   Misalnya, mungkin Anda ingin mengambil sampel 10% prediksi untuk evaluasi berkelanjutan. Namun, jika Anda mendapatkan banyak prediksi pada hari tertentu, pastikan Anda tidak pernah mengambil sampel lebih dari 100 prediksi untuk tugas evaluasi yang dijalankan pada hari itu. (Sejumlah besar prediksi mungkin memerlukan waktu lama bagi peninjau manual untuk melabeli dan menimbulkan lebih banyak biaya Layanan Pelabelan Data daripada yang Anda perkirakan.)

Menentukan tabel BigQuery

Di kolom tabel BigQuery, Anda harus menentukan nama tabel BigQuery tempat Data Labeling Service dapat menyimpan prediksi yang diambil dari versi model Anda.

Jika Anda menentukan nama tabel yang belum ada, Layanan Pelabelan Data akan membuat tabel dengan skema yang benar untuk Anda.

Anda harus memberikan nama lengkap tabel dalam format berikut: bq://YOUR_PROJECT_ID.YOUR_DATASET_NAME.YOUR_TABLE_NAME

• YOUR_PROJECT_ID harus berupa ID project tempat Anda saat ini membuat tugas evaluasi.
• YOUR_DATASET_NAME dapat berupa nama set data BigQuery yang valid. {i>Dataset<i} belum perlu ada.
• YOUR_TABLE_NAME bisa berupa nama tabel BigQuery yang valid.

Jika sudah ada, tabel yang Anda tentukan harus memiliki skema yang benar untuk evaluasi berkelanjutan:

Nama kolom	Jenis	Mode
model	STRING	REQUIRED
model_version	STRING	REQUIRED
waktu	TIMESTAMP	REQUIRED
raw_data	STRING	REQUIRED
raw_prediction	STRING	NULLABLE
kebenaran dasar	STRING	NULLABLE

Tabel tidak boleh memiliki kolom tambahan selain kolom tersebut.

Menentukan kunci prediksi

Anda harus menentukan kunci ke kolom tertentu dalam input Anda agar Layanan Pelabelan Data dapat mengekstrak informasi yang diperlukan dari JSON input dan output prediksi mentah yang disimpan dalam tabel BigQuery Anda. Pastikan versi model Anda menerima input dan menampilkan prediksi dalam format yang diperlukan. Kemudian, berikan kunci yang relevan:

• Kunci data: Kunci ke kolom dalam input prediksi versi model Anda yang berisi data yang digunakan untuk prediksi. Jika Anda mengaktifkan pelabelan manusia, Layanan Pelabelan Data akan memberikan data ini kepada petugas peninjau untuk memberikan label kebenaran dasar. Alat ini juga menggunakannya untuk menampilkan perbandingan secara berdampingan saat Anda melihat metrik evaluasi di Konsol Google Cloud.

  Jika versi model Anda melakukan klasifikasi teks atau klasifikasi umum, Anda harus memberikan kunci ini. Jika versi model Anda melakukan klasifikasi gambar atau deteksi objek gambar dan menerima gambar berenkode base64 sebagai input prediksi, Anda juga harus memberikan kunci ini.

• Kunci referensi data: Kunci ke kolom dalam input prediksi versi model Anda yang berisi jalur Cloud Storage ke gambar. Layanan Pelabelan Data memuat gambar ini dan menggunakannya untuk tujuan yang sama seperti menggunakan Kunci data.

  Hanya berikan kunci ini jika versi model Anda melakukan klasifikasi gambar atau deteksi objek gambar dan menerima jalur ke gambar di Cloud Storage sebagai input prediksi. Setidaknya salah satu Kunci data dan Kunci referensi data harus ada.

• Kunci label prediksi: Kunci ke kolom dalam output prediksi versi model Anda yang berisi array label yang diprediksi. Data Labeling Service membandingkan nilai ini dengan nilai kebenaran dasar untuk menghitung metrik evaluasi seperti matriks konfusi.

  Kolom ini wajib diisi.

• Kunci skor prediksi: Kunci ke kolom dalam output prediksi versi model Anda yang berisi array skor yang diprediksi. Layanan Pelabelan Data menggunakan nilai ini bersama dengan label prediksi dan label kebenaran dasar untuk menghitung metrik evaluasi seperti kurva penarikan presisi.

  Kolom ini wajib diisi.

• Kunci kotak pembatas: Kunci ke kolom dalam output prediksi versi model Anda yang berisi array kotak pembatas. Hal ini diperlukan untuk mengevaluasi deteksi objek gambar.

  Hanya berikan kunci ini jika versi model Anda melakukan deteksi objek gambar.

Catatan: Jika salah satu kunci disusun bertingkat di kolom lain dalam input atau output prediksi, Anda dapat memberikan hierarki kunci bertingkat dengan menggabungkannya dengan karakter /. Anda dapat melihat contoh cara melakukannya di tab Klasifikasi Gambar di bagian berikutnya.

Contoh kunci prediksi

Bagian berikut memberikan contoh cara menyediakan kunci prediksi untuk berbagai jenis model:

Klasifikasi gambar

Contoh berenkode base64

Misalnya versi model Anda dapat menerima input berikut:

{
  "instances": [
    {
      "image_bytes": {
        "b64": "iVBORw0KGgoAAAANSUhEUgAAAAYAAAAGCAYAAADgzO9IAAAAhUlEQVR4AWOAgZeONnHvHcXiGJDBqyDTXa+dVC888oy51F9+eRdY8NdWwYz/RyT//znEsAjEt277+syt5VMJw989DM/+H2MI/L8tVBQk4d38xcWp7ctLhi97ZCZ0rXV6yLA4b6dH59sjTq3fnji1fp4AsWS5j7PXstRg+/b3gU7N351AQgA8+jkf43sjaQAAAABJRU5ErkJggg=="
      }
    }
  ]
}

Dan anggaplah itu mengembalikan output berikut:

{
  "predictions": [
    {
      "sentiments": [
        "happy"
      ],
      "confidence": [
        "0.8"
      ]
    }
  ]
}

Kemudian, berikan kunci berikut:

• Kunci data: image_bytes/b64
• Kunci label prediksi: sentiments
• Kunci skor prediksi: confidence

Contoh referensi Cloud Storage

Misalnya versi model Anda dapat menerima input berikut:

{
  "instances": [
    {
      "image_path": "gs://cloud-samples-data/datalabeling/image/flower_1.jpeg"
    }
  ]
}

Dan anggaplah itu mengembalikan output berikut:

{
  "predictions": [
    {
      "sentiments": [
        "happy"
      ],
      "confidence": [
        "0.8"
      ]
    }
  ]
}

Kemudian, berikan kunci berikut:

• Kunci referensi data: image_path
• Kunci label prediksi: sentiments
• Kunci skor prediksi: confidence

Klasifikasi teks

Misalnya versi model Anda dapat menerima input berikut:

{
  "instances": [
    {
      "text": "If music be the food of love, play on;"
    }
  ]
}

Dan anggaplah itu mengembalikan output berikut:

{
  "predictions": [
    {
      "sentiments": [
        "happy"
      ],
      "confidence": [
        "0.8"
      ]
    }
  ]
}

Kemudian, berikan kunci berikut:

• Kunci data: text
• Kunci label prediksi: sentiments
• Kunci skor prediksi: confidence

Klasifikasi umum

Misalnya versi model Anda dapat menerima input berikut:

{
  "instances": [
    {
      "weather": [
        "sunny",
        72,
        0.22
      ]
    }
  ]
}

Dan anggaplah itu mengembalikan output berikut:

{
  "predictions": [
    {
      "sentiments": [
        "happy"
      ],
      "confidence": [
        "0.8"
      ]
    }
  ]
}

Kemudian, berikan kunci berikut:

• Kunci data: weather
• Kunci label prediksi: sentiments
• Kunci skor prediksi: confidence

Deteksi objek gambar

Contoh berenkode base64

Misalnya versi model Anda dapat menerima input berikut:

{
  "instances": [
    {
      "image_bytes": {
        "b64": "iVBORw0KGgoAAAANSUhEUgAAAAYAAAAGCAYAAADgzO9IAAAAhUlEQVR4AWOAgZeONnHvHcXiGJDBqyDTXa+dVC888oy51F9+eRdY8NdWwYz/RyT//znEsAjEt277+syt5VMJw989DM/+H2MI/L8tVBQk4d38xcWp7ctLhi97ZCZ0rXV6yLA4b6dH59sjTq3fnji1fp4AsWS5j7PXstRg+/b3gU7N351AQgA8+jkf43sjaQAAAABJRU5ErkJggg=="
      }
    }
  ]
}

Dan anggaplah itu mengembalikan output berikut:

{
  "predictions": [
    {
      "bird_locations": [
        {
          "top_left": {
            "x": 53,
            "y": 22
          },
          "bottom_right": {
            "x": 98,
            "y": 150
          }
        }
      ],
      "species": [
        "rufous hummingbird"
      ],
      "probability": [
        0.77
      ]
    }
  ]
}

Kemudian, berikan kunci berikut:

• Kunci data: image_bytes/b64
• Kunci label prediksi: species
• Kunci skor prediksi: probability
• Kunci kotak pembatas: bird_locations

Contoh referensi Cloud Storage

Misalnya versi model Anda dapat menerima input berikut:

{
  "instances": [
    {
      "image_path": "gs://cloud-samples-data/datalabeling/image/flower_1.jpeg"
    }
  ]
}

Dan anggaplah itu mengembalikan output berikut:

{
  "predictions": [
    {
      "bird_locations": [
        {
          "top_left": {
            "x": 53,
            "y": 22
          },
          "bottom_right": {
            "x": 98,
            "y": 150
          }
        }
      ],
      "species": [
        "rufous hummingbird"
      ],
      "probability": [
        0.77
      ]
    }
  ]
}

Kemudian, berikan kunci berikut:

• Kunci referensi data: image_path
• Kunci label prediksi: species
• Kunci skor prediksi: probability
• Kunci kotak pembatas: bird_locations

Menentukan metode kebenaran dasar

Evaluasi berkelanjutan berfungsi dengan membandingkan prediksi model machine learning Anda dengan label kebenaran dasar yang dianotasi oleh manusia. Pilih cara Anda ingin membuat label kebenaran dasar dengan mengklik Metode kebenaran dasar pilihan Anda:

• Layanan pelabelan yang dikelola Google: Jika Anda memilih opsi ini, setiap kali tugas evaluasi berjalan, Data Labeling Service akan mengirimkan semua sampel data baru kepada peninjau manusia untuk diberi label dengan kebenaran dasar. Harga Layanan Pelabelan Data berlaku. Jika memilih opsi ini, Anda harus menyediakan petunjuk PDF untuk memberi label pada input prediksi. Pelajari cara menulis petunjuk yang baik.

• Memberikan label Anda sendiri: Jika memilih opsi ini, Anda harus menambahkan label kebenaran dasar ke tabel BigQuery tugas evaluasi Anda sendiri. Anda harus menambahkan label kebenaran dasar untuk setiap input prediksi baru yang diambil sampelnya sebelum tugas evaluasi berikutnya dijalankan. Secara default, tugas evaluasi berjalan setiap hari pada pukul 10.00 UTC, sehingga Anda harus menambahkan label kebenaran dasar setiap hari untuk setiap baris baru di tabel BigQuery sebelum waktu itu. Jika tidak, data tersebut tidak akan dievaluasi dan Anda akan melihat error di Konsol Google Cloud.

  Ini adalah satu-satunya opsi jika versi model Anda melakukan klasifikasi umum.

Membuat tugas Anda

Klik tombol Buat untuk membuat tugas evaluasi. Input dan output prediksi akan segera mulai diambil sampelnya dari versi model Anda ke dalam tabel BigQuery.

Langkah selanjutnya

Pelajari cara melihat metrik evaluasi.