Halaman ini memberikan ringkasan Pemantauan Model Vertex AI.
Ringkasan pemantauan
Vertex AI Model Monitoring memungkinkan Anda menjalankan tugas pemantauan sesuai kebutuhan atau sesuai jadwal reguler untuk melacak kualitas model tabular. Jika Anda telah menetapkan pemberitahuan, Pemantauan Model Vertex AI akan memberi tahu Anda saat metrik melampaui nilai minimum yang ditentukan.
Misalnya, asumsikan Anda memiliki model yang memprediksi nilai umur pelanggan. Seiring perubahan kebiasaan pelanggan, faktor yang memprediksi pembelanjaan pelanggan juga berubah. Akibatnya, fitur dan nilai fitur yang Anda gunakan untuk melatih model sebelumnya mungkin tidak relevan untuk membuat prediksi saat ini. Penyimpangan data ini dikenal sebagai drift.
Vertex AI Model Monitoring dapat melacak dan memberi tahu Anda saat deviasi melebihi nilai minimum yang ditentukan. Selanjutnya, Anda dapat mengevaluasi ulang atau melatih ulang model untuk memastikan model berperilaku seperti yang diinginkan.
Misalnya, Vertex AI Model Monitoring dapat memberikan visualisasi seperti dalam gambar berikut, yang menempatkan dua grafik dari dua set data. Visualisasi ini memungkinkan Anda membandingkan dan melihat penyimpangan antara dua set data dengan cepat.
Versi Vertex AI Model Monitoring
Vertex AI Model Monitoring menyediakan dua penawaran: v2 dan v1.
Pemantauan Model v2 masih dalam Pratinjau dan merupakan penawaran terbaru yang mengaitkan semua tugas pemantauan dengan versi model. Sebaliknya, Pemantauan Model v1 Tersedia Secara Umum dan dikonfigurasi di endpoint Vertex AI.
Jika Anda memerlukan dukungan tingkat produksi dan ingin memantau model yang di-deploy di endpoint Vertex AI, gunakan Pemantauan Model v1. Untuk semua kasus penggunaan lainnya, gunakan Pemantauan Model v2, yang menyediakan semua kemampuan Pemantauan Model v1 dan lainnya. Untuk mengetahui informasi selengkapnya, lihat ringkasan untuk setiap versi:
Untuk pengguna Model Monitoring v1 yang sudah ada, Model Monitoring v1 akan dipertahankan apa adanya. Anda tidak diwajibkan untuk memigrasikan ke Model Monitoring v2. Jika ingin bermigrasi, Anda dapat menggunakan kedua versi secara serentak hingga Anda sepenuhnya bermigrasi ke Pemantauan Model v2 untuk membantu Anda menghindari kesenjangan pemantauan selama transisi.
Ringkasan Pemantauan Model v2
Pemantauan Model v2 memungkinkan Anda melacak metrik dari waktu ke waktu setelah mengonfigurasi pemantauan model dan menjalankan tugas pemantauan. Anda dapat menjalankan tugas pemantauan sesuai permintaan atau menyiapkan eksekusi terjadwal. Dengan menggunakan operasi terjadwal, Pemantauan Model akan otomatis menjalankan tugas pemantauan berdasarkan jadwal yang Anda tentukan.
Tujuan pemantauan
Metrik dan nilai minimum yang Anda pantau dipetakan ke tujuan pemantauan. Untuk setiap versi model, Anda dapat menentukan satu atau beberapa tujuan pemantauan. Tabel berikut menjelaskan setiap tujuan:
| Tujuan | Deskripsi | Jenis data fitur | Metrik yang didukung |
|---|---|---|---|
| Penyimpangan data fitur input |
Mengukur distribusi nilai fitur input dibandingkan dengan distribusi data dasar pengukuran. |
Kategoris: boolean, string, kategoris |
|
| Numerik: float, bilangan bulat | Jensen Shannon Divergence | ||
| Drift data prediksi output |
Mengukur distribusi data prediksi model dibandingkan dengan distribusi data dasar pengukuran. |
Kategoris: boolean, string, kategoris |
|
| Numerik: float, bilangan bulat | Jensen Shannon Divergence | ||
| Atribusi fitur |
Mengukur perubahan kontribusi fitur terhadap prediksi model dibandingkan dengan dasar pengukuran. Misalnya, Anda dapat melacak apakah fitur yang sangat penting tiba-tiba mengalami penurunan nilai penting. |
Semua jenis data | Nilai SHAP (SHapley Additive exPlanations) |
Penyimpangan prediksi output dan fitur input
Setelah model di-deploy dalam produksi, data input dapat menyimpang dari data yang digunakan untuk melatih model atau distribusi data fitur dalam produksi dapat berubah secara signifikan dari waktu ke waktu. Model Monitoring v2 dapat memantau perubahan dalam distribusi data produksi dibandingkan dengan data pelatihan atau melacak evolusi distribusi data produksi dari waktu ke waktu.
Demikian pula, untuk data prediksi, Model Monitoring v2 dapat memantau perubahan dalam distribusi hasil prediksi dibandingkan dengan distribusi data pelatihan atau data produksi dari waktu ke waktu.
Atribusi fitur
Atribusi fitur menunjukkan seberapa besar kontribusi setiap fitur dalam model Anda terhadap prediksi untuk setiap instance tertentu. Skor atribusi sebanding dengan kontribusi fitur terhadap prediksi model. Parameter ini biasanya ditandai, yang menunjukkan apakah suatu fitur membantu mendorong prediksi ke atas atau ke bawah. Atribusi di seluruh fitur harus ditambahkan ke skor prediksi model.
Dengan memantau atribusi fitur, Pemantauan Model v2 melacak perubahan kontribusi fitur terhadap prediksi model dari waktu ke waktu. Perubahan skor atribusi fitur utama sering kali menandakan bahwa fitur tersebut telah berubah dengan cara yang dapat memengaruhi akurasi prediksi model.
Untuk informasi selengkapnya tentang atribusi dan metrik fitur, lihat Penjelasan berbasis fitur dan Metode Shapley sampel.
Cara menyiapkan Pemantauan Model v2
Anda harus mendaftarkan model terlebih dahulu di Vertex AI Model Registry. Jika menayangkan model di luar Vertex AI, Anda tidak perlu mengupload artefak model. Kemudian, Anda membuat monitor model, yang dikaitkan dengan versi model, dan menentukan skema model. Untuk beberapa model, seperti model AutoML, skema disediakan untuk Anda.
Di monitor model, Anda dapat menentukan konfigurasi default secara opsional, seperti tujuan pemantauan, set data pelatihan, lokasi output pemantauan, dan setelan notifikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan pemantauan model.
Setelah membuat pemantauan model, Anda dapat menjalankan tugas pemantauan sesuai permintaan atau menjadwalkan tugas reguler untuk pemantauan berkelanjutan. Saat Anda menjalankan tugas, Model Monitoring menggunakan konfigurasi default yang ditetapkan di pemantau model, kecuali jika Anda memberikan konfigurasi pemantauan yang berbeda. Misalnya, jika Anda memberikan tujuan pemantauan yang berbeda atau set data perbandingan yang berbeda, Model Monitoring akan menggunakan konfigurasi tugas, bukan konfigurasi default dari monitor model. Untuk mengetahui informasi selengkapnya, lihat Menjalankan tugas pemantauan.
Harga
Anda tidak akan ditagih untuk Pemantauan Model v2 selama Pratinjau. Anda masih dikenai biaya untuk penggunaan layanan lain, seperti Cloud Storage, BigQuery, prediksi batch Vertex AI, Vertex Explainable AI, dan Cloud Logging.
Tutorial notebook
Tutorial berikut menunjukkan cara menggunakan Vertex AI SDK untuk Python guna menyiapkan Model Monitoring v2 untuk model Anda.
Model Monitoring v2: Tugas prediksi batch model kustom
Pemantauan Model v2: Prediksi online model kustom
Model Monitoring v2: Model di luar Vertex AI
Ringkasan Pemantauan Model v1
Untuk membantu Anda mempertahankan performa model, Model Monitoring v1 memantau data input prediksi model untuk fitur skew (diferensiasi) dan drift (penyimpangan):
Diferensiasi performa pelatihan dan penayangan terjadi saat distribusi data fitur yang Anda gunakan dalam produksi menyimpang dari distribusi data fitur yang digunakan untuk melatih model Anda. Jika data pelatihan asli tersedia, Anda dapat mengaktifkan deteksi skew untuk memantau diferensiasi performa pelatihan dan penayangan model Anda.
Penyimpangan prediksi terjadi ketika distribusi data fitur dalam produksi berubah secara signifikan dari waktu ke waktu. Jika data pelatihan yang asli tidak tersedia, Anda dapat mengaktifkan deteksi drift untuk memantau perubahan data input dari waktu ke waktu.
Anda dapat mengaktifkan deteksi skew dan drift sekaligus.
Pemantauan Model v1 mendukung deteksi skew dan drift fitur untuk fitur kategoris dan numerik:
Fitur kategoris adalah data yang dibatasi oleh jumlah kemungkinan nilai, biasanya dikelompokkan berdasarkan properti kualitatif. Misalnya, kategori seperti tipe produk, negara, atau tipe pelanggan.
Fitur numerik adalah data yang dapat berupa nilai numerik. Misalnya, berat dan tinggi.
Setelah skew atau drift fitur model melebihi batas pemberitahuan yang Anda tetapkan, Pemantauan Model v1 akan mengirimkan email pemberitahuan. Anda juga dapat melihat distribusi setiap fitur dari waktu ke waktu untuk mengevaluasi apakah Anda perlu melatih ulang model.
Menghitung drift
Untuk mendeteksi penyimpangan untuk v1, Pemantauan Model Vertex AI menggunakan TensorFlow Data Validation (TFDV) untuk menghitung distribusi dan skor jarak.
Hitung distribusi statistik dasar pengukuran:
Untuk deteksi skew, dasar pengukuran adalah distribusi statistik dari nilai fitur dalam data pelatihan.
Untuk deteksi drift, dasar pengukuran adalah distribusi statistik dari nilai fitur yang terlihat dalam produksi di masa lalu.
Distribusi untuk fitur kategoris dan numerik dihitung sebagai berikut:
Untuk fitur kategoris, distribusi yang dihitung adalah jumlah atau persentase instance dari setiap kemungkinan nilai fitur.
Untuk fitur numerik, Pemantauan Model Vertex AI membagi rentang nilai fitur yang mungkin ke dalam interval yang sama dan menghitung jumlah atau persentase nilai fitur yang ada dalam setiap interval.
Dasar pengukuran dihitung saat Anda membuat tugas Pemantauan Model Vertex AI, dan hanya dihitung ulang jika Anda memperbarui set data pelatihan untuk tugas tersebut.
Menghitung distribusi statistik dari nilai fitur terbaru yang terlihat dalam produksi.
Membandingkan distribusi nilai fitur terbaru dalam produksi terhadap distribusi dasar pengukuran dengan menghitung skor jarak:
Untuk fitur kategoris, skor jarak dihitung menggunakan jarak L-infinity.
Untuk fitur numerik, skor jarak dihitung menggunakan divergensi Jensen-Shannon.
Saat skor jarak antara dua distribusi statistik melebihi nilai minimum yang Anda tentukan, Pemantauan Model Vertex AI akan mengidentifikasi anomali sebagai skew atau drift.
Contoh berikut menunjukkan adanya skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur kategori:
Distribusi dasar pengukuran
Distribusi terbaru
Contoh berikut menunjukkan skew atau drift antara distribusi dasar pengukuran dan terbaru dari fitur numerik:
Distribusi dasar pengukuran
Distribusi terbaru
Pertimbangan saat menggunakan Pemantauan Model
Untuk efisiensi biaya, Anda dapat menetapkan frekuensi sampling permintaan prediksi untuk memantau subset input produksi ke suatu model.
Anda dapat menetapkan frekuensi tempat input terbaru dari model yang di-deploy akan dipantau untuk mendeteksi skew atau drift. Frekuensi pemantauan menentukan rentang waktu, atau ukuran jendela pemantauan, dari data yang dicatat ke dalam log yang dianalisis di setiap operasi pemantauan.
Anda dapat menentukan nilai minimum pemberitahuan untuk setiap fitur yang ingin dipantau. Pemberitahuan dicatat saat jarak statistik antara distribusi fitur input dan dasar pengukurannya melebihi batas yang ditentukan. Secara default, setiap fitur kategoris dan numerik dipantau, dengan nilai batas 0,3.
Endpoint prediksi online dapat menghosting beberapa model. Saat Anda mengaktifkan deteksi skew atau drift pada endpoint, parameter konfigurasi berikut dibagikan ke semua model yang dihosting di endpoint tersebut:
- Jenis deteksi
- Frekuensi pemantauan
- Fraksi permintaan input yang dipantau
Untuk parameter konfigurasi lainnya, Anda dapat menetapkan nilai yang berbeda untuk setiap model.