Memahami performa model Anda merupakan bagian penting dari pengelolaan model machine learning. Anda dapat memantau pola traffic model, tingkat error, latensi, dan penggunaan resource untuk membantu menemukan masalah pada model serta menemukan jenis mesin yang tepat untuk mengoptimalkan latensi dan biaya.
Anda juga dapat menggunakan Cloud Monitoring untuk mengonfigurasi pemberitahuan berdasarkan metrik. Misalnya, Anda dapat menerima pemberitahuan jika latensi prediksi model terlalu tinggi. Prediction AI Platform mengekspor metrics ke Cloud Monitoring.
Setiap jenis metrik AI Platform Prediction menyertakan "prediksi" dalam namanya; misalnya, ml.googleapis.com/prediction/online/replicas atau ml.googleapis.com/prediction/online/accelerator/duty_cycle.
Memantau metrik performa
Anda dapat menemukan informasi tentang pola traffic, error, dan latensi model di Konsol Google Cloud. Diagram berikut tersedia di halaman Version Details, di tab Performance:
- Predictions: Jumlah prediksi per detik baik untuk prediksi online maupun prediksi batch. Jika Anda memiliki lebih dari satu instance per permintaan, setiap instance dihitung dalam diagram ini.
- Error: Tingkat error yang dihasilkan model Anda. Tingkat error yang tinggi biasanya merupakan tanda bahwa ada masalah dengan model atau permintaan pada model. Kode respons dapat digunakan untuk menentukan error mana yang terjadi.
- Latensi model dan Total latensi: Latensi model Anda. Total latensi adalah total waktu yang dihabiskan permintaan dalam layanan. Latensi model adalah waktu yang dihabiskan untuk melakukan komputasi.
Untuk melihat diagram performa, ikuti langkah-langkah berikut:
Buka halaman Model Prediksi AI Platform di Konsol Google Cloud.
Klik nama model Anda dalam daftar untuk membuka halaman Model Details.
Klik nama versi dalam daftar untuk membuka halaman Version Details.
Jika belum dipilih, klik tab Performa.
Scroll untuk melihat setiap diagram.
Memantau pemakaian resource
Diagram pemanfaatan resource untuk versi model Anda yang menggunakan jenis mesin Compute Engine (N1) tersedia di Konsol Google Cloud. Diagram berikut tersedia di halaman Version Details, di tab Resource usage:
- Replica: Jumlah replika untuk versi Anda. Jika Anda menggunakan penskalaan manual, diagram ini menunjukkan jumlah node yang Anda pilih saat men-deploy atau terakhir mengupdate versi. Jika Anda telah mengaktifkan penskalaan otomatis, diagram akan menunjukkan perubahan jumlah replika model dari waktu ke waktu sebagai respons terhadap perubahan traffic.
- Penggunaan CPU, Penggunaan memori, siklus tugas rata-rata akselerator, dan penggunaan memori Akselerator: Penggunaan CPU, GPU, dan memori dari versi tersebut, per replika.
Byte jaringan terkirim dan Byte jaringan diterima: Penggunaan jaringan tugas, diukur dalam byte per detik.
Untuk melihat diagram penggunaan resource, ikuti langkah-langkah berikut:
Buka halaman Model Prediksi AI Platform di Konsol Google Cloud.
Klik nama model Anda dalam daftar untuk membuka halaman Model Details.
Klik nama versi dalam daftar untuk membuka halaman Version Details.
Klik tab Resource Usage.
Scroll untuk melihat setiap diagram.
Langkah selanjutnya
- Memecahkan masalah versi model.
- Pilih jenis mesin untuk mengurangi latensi atau biaya.