Memantau model

Dokumen ini menjelaskan cara memantau perilaku, kondisi, dan performa model yang dikelola sepenuhnya di Vertex AI. Panduan ini menjelaskan cara menggunakan dasbor observabilitas model bawaan untuk mendapatkan insight tentang penggunaan model, mengidentifikasi masalah latensi, dan memecahkan masalah error.

Anda akan mempelajari cara melakukan hal berikut:

  • Mengakses dan menafsirkan dasbor kemampuan observasi model.
  • Melihat metrik pemantauan yang tersedia.
  • Pantau traffic endpoint model menggunakan Metrics Explorer.

Mengakses dan menafsirkan dasbor kemampuan observasi model

AI Generatif di Vertex AI menyediakan dasbor observasi model bawaan untuk melihat perilaku, kondisi, dan performa model yang terkelola sepenuhnya. Model terkelola sepenuhnya, yang juga dikenal sebagai Model sebagai Layanan (MaaS), disediakan oleh Google dan mencakup model Gemini Google dan model partner dengan endpoint terkelola. Metrik dari model yang dihosting sendiri tidak disertakan dalam dasbor.

AI Generatif di Vertex AI secara otomatis mengumpulkan dan melaporkan aktivitas dari model MaaS untuk membantu Anda memecahkan masalah latensi dengan cepat dan memantau kapasitas.

Contoh dasbor pengamatan model di Konsol Cloud
Contoh dasbor kejelasan model

Kasus penggunaan

Sebagai developer aplikasi, Anda dapat melihat cara pengguna berinteraksi dengan model yang telah Anda ekspos. Misalnya, Anda dapat melihat tren penggunaan model (permintaan model per detik) dan intensitas komputasi perintah pengguna (latensi pemanggilan model) dari waktu ke waktu. Oleh karena itu, karena metrik ini terkait dengan penggunaan model, Anda juga dapat memperkirakan biaya untuk menjalankan setiap model.

Jika timbul masalah, Anda dapat memecahkan masalah dengan cepat dari dasbor. Anda dapat memeriksa apakah model merespons dengan andal dan tepat waktu dengan melihat rasio error API, latensi token pertama, dan throughput token.

Metrik pemantauan yang tersedia

Dasbor kejelasan model menampilkan subset metrik yang dikumpulkan oleh Cloud Monitoring, seperti permintaan model per detik (QPS), throughput token, dan latensi token pertama. Lihat dasbor untuk melihat semua metrik yang tersedia.

Batasan

Vertex AI hanya merekam metrik dasbor untuk panggilan API ke endpoint model.Penggunaan konsol, seperti metrik dari Vertex AI Studio, tidak ditambahkan ke dasbor. Google Cloud

Melihat dasbor

  1. Di bagian Vertex AI pada Google Cloud konsol, buka halaman Dasbor.

    Buka Vertex AI

  2. Di bagian Kemampuan observasi model, klik Tampilkan semua metrik untuk melihat dasbor kemampuan observasi model di konsol Google Cloud Observability.

  3. Untuk melihat metrik untuk model tertentu atau di lokasi tertentu, tetapkan satu atau beberapa filter di bagian atas halaman dasbor.

    Untuk deskripsi setiap metrik, lihat bagian "aiplatform" di halaman Google Cloud metrik.

Memantau traffic endpoint model

Gunakan petunjuk berikut untuk memantau traffic ke endpoint Anda di Metrics Explorer.

  1. Di konsol Google Cloud , buka halaman Metrics Explorer.

    Buka Metrics Explorer

  2. Pilih project yang metriknya ingin Anda lihat.

  3. Dari menu drop-down Metrik, klik Pilih metrik.

  4. Di kotak penelusuran Filter menurut nama resource atau metrik, masukkan Vertex AI Endpoint.

  5. Pilih kategori metrik Vertex AI Endpoint > Prediction. Di bagian Metrik aktif, pilih salah satu metrik berikut:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Klik Terapkan. Untuk menambahkan lebih dari satu metrik, klik Tambahkan kueri.

    Anda dapat memfilter atau menggabungkan metrik menggunakan menu drop-down berikut:

    • Untuk memilih dan melihat subkumpulan data berdasarkan kriteria yang ditentukan, gunakan menu drop-down Filter. Misalnya, untuk memfilter model gemini-2.0-flash-001, gunakan endpoint_id = gemini-2p0-flash-001 (perhatikan bahwa . dalam versi model diganti dengan p).

    • Untuk menggabungkan beberapa titik data menjadi satu nilai dan melihat ringkasan metrik, gunakan menu drop-down Agregasi. Misalnya, Anda dapat menggabungkan Jumlah response_code.

  6. Anda juga dapat menyiapkan pemberitahuan untuk endpoint. Untuk mengetahui informasi selengkapnya, lihat Mengelola kebijakan pemberitahuan.

Untuk melihat metrik yang Anda tambahkan ke project menggunakan dasbor, lihat Ringkasan dasbor.

Langkah berikutnya