Memahami performa model Anda adalah bagian penting dari pengelolaan model machine learning. Anda dapat memantau pola traffic, tingkat error, latensi, dan penggunaan resource model untuk membantu Anda menemukan masalah pada model dan menemukan jenis mesin yang tepat untuk mengoptimalkan latensi dan biaya.
Anda juga dapat menggunakan Cloud Monitoring untuk mengonfigurasi pemberitahuan berdasarkan metrik. Misalnya, Anda dapat menerima pemberitahuan jika latensi prediksi model terlalu tinggi. AI Platform Prediction mengekspor metrik ke Cloud Monitoring.
Setiap jenis metrik AI Platform Prediction menyertakan "prediction"
dalam namanya; misalnya, ml.googleapis.com/prediction/online/replicas atau
ml.googleapis.com/prediction/online/accelerator/duty_cycle.
Memantau metrik performa
Anda dapat menemukan informasi tentang pola traffic, error, dan latensi model di konsol Google Cloud. Diagram berikut tersedia di halaman Detail Versi, di tab Performa:
- Predictions: Jumlah prediksi per detik di seluruh prediksi online dan batch. Jika Anda memiliki lebih dari satu instance per permintaan, setiap instance dihitung dalam diagram ini.
- Errors: Tingkat error yang dihasilkan model Anda. Tingkat error yang tinggi biasanya merupakan tanda bahwa ada yang salah dengan model atau permintaan ke model. Kode respons dapat digunakan untuk menentukan error yang terjadi.
- Model latency dan Total latency: Latensi model Anda. Total latensi adalah total waktu yang dihabiskan permintaan dalam layanan. Latensi model adalah waktu yang dihabiskan untuk melakukan komputasi.
Untuk melihat diagram performa, ikuti langkah-langkah berikut:
Buka halaman Models AI Platform Prediction di konsol Google Cloud.
Klik nama model Anda dalam daftar untuk membuka halaman Detail Model.
Klik nama versi Anda dalam daftar untuk membuka halaman Detail Versi.
Jika belum dipilih, klik tab Performance.
Scroll untuk melihat setiap diagram.
Memantau penggunaan resource
Diagram penggunaan resource untuk versi model Anda yang menggunakan jenis mesin Compute Engine (N1) tersedia di konsol Google Cloud. Diagram berikut tersedia di halaman Detail Versi, di tab Penggunaan resource:
- Replika: Jumlah replika untuk versi Anda. Jika Anda menggunakan penskalaan manual, diagram ini menunjukkan jumlah node yang Anda pilih saat men-deploy atau terakhir kali mengupdate versi. Jika Anda telah mengaktifkan penskalaan otomatis, diagram akan menunjukkan perubahan jumlah replika model dari waktu ke waktu sebagai respons terhadap perubahan pada traffic.
- Penggunaan CPU, Penggunaan memori, Siklus tugas rata-rata Akselerator, dan Penggunaan memori Akselerator: Penggunaan CPU, GPU, dan memori versi, per replika.
Network bytes sent dan Network bytes received: Penggunaan jaringan tugas, diukur dalam byte per detik.
Untuk melihat diagram penggunaan resource, ikuti langkah-langkah berikut:
Buka halaman Models AI Platform Prediction di konsol Google Cloud.
Klik nama model Anda dalam daftar untuk membuka halaman Detail Model.
Klik nama versi Anda dalam daftar untuk membuka halaman Detail Versi.
Klik tab Resource Usage.
Scroll untuk melihat setiap diagram.
Langkah selanjutnya
- Memecahkan masalah terkait versi model Anda.
- Pilih machine type untuk mengurangi latensi atau biaya.