Metrik pemantauan model

AI Generatif di Vertex AI menyediakan dasbor visibilitas model bawaan untuk melihat perilaku, kondisi, dan performa model yang dikelola sepenuhnya. Model yang sepenuhnya dikelola, juga dikenal sebagai Model as a Service (MaaS), disediakan oleh Google dan mencakup model Gemini Google dan model partner dengan endpoint terkelola. Metrik dari model yang dihosting sendiri tidak disertakan di dasbor.

AI Generatif di Vertex AI secara otomatis mengumpulkan dan melaporkan aktivitas dari model MaaS untuk membantu Anda memecahkan masalah latensi dan memantau kapasitas dengan cepat.

^{Contoh dasbor visibilitas model}

Metrik pemantauan yang tersedia

Dasbor visibilitas model menampilkan subset metrik yang dikumpulkan oleh Cloud Monitoring, seperti permintaan model per detik (QPS), throughput token, dan latensi token pertama. Lihat dasbor untuk melihat semua metrik yang tersedia.

Kasus penggunaan

Sebagai developer aplikasi, Anda dapat melihat cara pengguna berinteraksi dengan model yang telah Anda ekspos. Misalnya, Anda dapat melihat tren penggunaan model (permintaan model per detik) dan intensitas komputasi perintah pengguna (latensi pemanggilan model) dari waktu ke waktu. Oleh karena itu, karena metrik ini terkait dengan penggunaan model, Anda juga dapat memperkirakan biaya untuk menjalankan setiap model.

Saat masalah muncul, Anda dapat dengan cepat memecahkan masalah dari dasbor. Anda dapat memeriksa apakah model merespons dengan andal dan tepat waktu dengan melihat rasio error API, latensi token pertama, dan throughput token.

Batasan

Vertex AI mengambil metrik dasbor hanya untuk panggilan API ke endpoint model. Penggunaan konsol Google Cloud, seperti metrik dari Vertex AI Studio, tidak ditambahkan ke dasbor.

Melihat dasbor

1. Di bagian Vertex AI pada Konsol Google Cloud, buka halaman Dasbor.

   Buka Vertex AI

2. Di bagian Kemampuan observasi model, klik Tampilkan semua metrik untuk melihat dasbor kemampuan observasi model di konsol Google Cloud Observability.

   Catatan: Bagian visibilitas hanya tersedia jika Anda atau pengguna lain telah melakukan panggilan API ke model MaaS dalam project Anda.

3. Untuk melihat metrik untuk model tertentu atau di lokasi tertentu, tetapkan satu atau beberapa filter di bagian atas halaman dasbor.

   Untuk deskripsi setiap metrik, lihat bagian "aiplatform" di halaman Google Cloud metrics.

Referensi lainnya

• Untuk membuat pemberitahuan bagi dasbor, lihat halaman Ringkasan pemberitahuan dalam dokumentasi Monitoring.
• Untuk mengetahui informasi tentang retensi data metrik, lihat Kuota dan batas pemantauan.
• Untuk informasi tentang data dalam penyimpanan, lihat Melindungi data dalam penyimpanan.
• Untuk melihat daftar semua metrik yang dikumpulkan Cloud Monitoring, lihat bagian "aiplatform" di halaman Google Cloud metrics.