Pengantar Pemantauan Model Vertex AI

Halaman ini menyediakan ringkasan Pemantauan Model Vertex AI untuk AutoML tabular dan model terlatih kustom tabular. Untuk mengaktifkan Pemantauan Model Vertex AI, lihat Menggunakan Pemantauan Model.

Ringkasan

Model yang di-deploy dalam produksi memiliki performa terbaik pada data input prediksi yang mirip dengan data pelatihan. Saat data input menyimpang dari data yang digunakan untuk melatih model, performa model dapat menurun, meskipun model itu sendiri belum berubah.

Untuk membantu Anda mempertahankan performa model, Pemantauan Model memantau data input prediksi model untuk fitur skew (diferensiasi) dan drift (penyimpangan):

  • Diferensiasi performa pelatihan dan penayangan terjadi saat distribusi data fitur yang Anda gunakan dalam produksi menyimpang dari distribusi data fitur yang digunakan untuk melatih model Anda. Jika data pelatihan asli tersedia, Anda dapat mengaktifkan deteksi skew untuk memantau diferensiasi performa pelatihan dan penayangan model Anda.

  • Penyimpangan prediksi terjadi ketika distribusi data fitur dalam produksi berubah secara signifikan dari waktu ke waktu. Jika data pelatihan yang asli tidak tersedia, Anda dapat mengaktifkan deteksi drift untuk memantau perubahan data input dari waktu ke waktu.

Anda dapat mengaktifkan deteksi skew dan drift sekaligus.

Pemantauan Model mendukung deteksi skew dan drift fitur untuk fitur kategoris dan numerik:

  • Fitur kategoris adalah data yang dibatasi oleh jumlah kemungkinan nilai, biasanya dikelompokkan berdasarkan properti kualitatif. Misalnya, kategori seperti tipe produk, negara, atau tipe pelanggan.

  • Fitur numerik adalah data yang dapat berupa nilai numerik. Misalnya, berat dan tinggi.

Begitu skew atau drift fitur model melebihi batas pemberitahuan yang Anda tetapkan, Pemantauan Model akan mengirimkan email pemberitahuan. Anda juga dapat melihat distribusi setiap fitur dari waktu ke waktu untuk mengevaluasi apakah Anda perlu melatih ulang model.

Menghitung diferensiasi performa pelatihan dan penayangan dan penyimpangan prediksi

Untuk mendeteksi diferensiasi performa pelatihan dan penayangan dan penyimpangan prediksi, Pemantauan Model menggunakan TensorFlow Data Validation (TFDV) untuk menghitung distribusi dan skor jarak berdasarkan proses berikut:

  1. Hitung distribusi statistik dasar pengukuran:

    • Untuk deteksi skew, dasar pengukuran adalah distribusi statistik dari nilai fitur dalam data pelatihan.

    • Untuk deteksi drift, dasar pengukuran adalah distribusi statistik dari nilai fitur yang terlihat dalam produksi di masa lalu.

    Distribusi untuk fitur kategoris dan numerik dihitung sebagai berikut:

    • Untuk fitur kategoris, distribusi yang dihitung adalah jumlah atau persentase instance dari setiap kemungkinan nilai fitur.

    • Untuk fitur numerik, Pemantauan Model membagi rentang nilai fitur yang mungkin ke dalam interval yang sama dan menghitung jumlah atau persentase nilai fitur yang ada dalam setiap interval.

    Dasar pengukuran dihitung saat Anda membuat tugas Pemantauan Model, dan hanya dihitung ulang jika Anda memperbarui set data pelatihan untuk tugas tersebut.

  2. Menghitung distribusi statistik dari nilai fitur terbaru yang terlihat dalam produksi.

  3. Membandingkan distribusi nilai fitur terbaru dalam produksi terhadap distribusi dasar pengukuran dengan menghitung skor jarak:

  4. Saat skor jarak antara dua distribusi statistik melebihi nilai minimum yang Anda tentukan, Pemantauan Model mengidentifikasi anomali sebagai skew atau drift.

Contoh berikut menunjukkan adanya skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur kategori:

Distribusi dasar pengukuran

Contoh distribusi fitur set data dasar pengukuran.

Distribusi terbaru

Contoh distribusi fitur set data terbaru.

Contoh berikut menunjukkan skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur numerik:

Distribusi dasar pengukuran

Contoh distribusi fitur set data dasar pengukuran.

Distribusi terbaru

Contoh distribusi fitur set data terbaru.

Pertimbangan saat menggunakan Pemantauan Model

  • Untuk efisiensi biaya, Anda dapat menetapkan frekuensi sampling permintaan prediksi untuk memantau subset input produksi ke suatu model.

  • Anda dapat menetapkan frekuensi tempat input terbaru dari model yang di-deploy akan dipantau untuk mendeteksi skew atau drift. Frekuensi pemantauan menentukan rentang waktu, atau ukuran jendela pemantauan, dari data yang dicatat ke dalam log yang dianalisis di setiap operasi pemantauan.

  • Anda dapat menentukan nilai minimum pemberitahuan untuk setiap fitur yang ingin dipantau. Pemberitahuan dicatat saat jarak statistik antara distribusi fitur input dan dasar pengukurannya melebihi batas yang ditentukan. Secara default, setiap fitur kategoris dan numerik dipantau, dengan nilai batas 0,3.

  • Endpoint prediksi online dapat menghosting beberapa model. Saat Anda mengaktifkan deteksi skew atau drift pada endpoint, parameter konfigurasi berikut dibagikan ke semua model yang dihosting di endpoint tersebut:

    • Jenis deteksi
    • Frekuensi pemantauan
    • Fraksi permintaan input yang dipantau

    Untuk parameter konfigurasi lainnya, Anda dapat menetapkan nilai yang berbeda untuk setiap model.

Langkah selanjutnya