Menjalankan tugas pemantauan

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Saat Anda menjalankan tugas, Model Monitoring v2 menggunakan data dari set data target dan dasar pengukuran Anda, menghitung metrik, dan berpotensi menghasilkan pemberitahuan. Pemantauan Model v2 menawarkan tugas sesuai permintaan untuk pemantauan ad hoc atau tugas terjadwal untuk pemantauan berkelanjutan. Opsi mana pun yang Anda pilih, setiap tugas adalah eksekusi batch tunggal.

Untuk mengetahui informasi selengkapnya tentang tujuan pemantauan dan model yang didukung, lihat Ringkasan Model Monitoring v2 dan Menyiapkan pemantauan model.

Menjalankan tugas sesuai permintaan

Jalankan tugas pemantauan satu kali. Tetapkan set data target dan dasar pengukuran serta spesifikasi pemantauan untuk tujuan yang akan dipantau. Konfigurasi Anda akan menggantikan default apa pun, jika disetel, yang ditentukan oleh monitor model.

Konsol

1. Di konsol Google Cloud , buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantau model yang ingin Anda jalankan tugas pemantauannya.

3. Di halaman detail pemantau model, klik Jalankan sekarang untuk mengonfigurasi tugas pemantauan.

4. Konfigurasi tugas Anda atau gunakan default seperti yang ditentukan dalam pemantau model.

5. Klik Run.

Python SDK

from vertexai.resources.preview import ml_monitoring

FEATURE_THRESHOLDS = {
  "culmen_length_mm": 0.001,
  "body_mass_g": 0.002,
}

FEATURE_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
  categorical_metric_type="l_infinity",
  numeric_metric_type="jensen_shannon_divergence",
  default_categorical_alert_threshold=0.001,
  default_numeric_alert_threshold=0.002,
  feature_alert_thresholds=FEATURE_THRESHOLDS,
)

PREDICTION_OUTPUT_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
  categorical_metric_type="l_infinity",
  numeric_metric_type="jensen_shannon_divergence",
  default_categorical_alert_threshold=0.001,
  default_numeric_alert_threshold=0.001,
)

FEATURE_ATTRIBUTION_SPEC=ml_monitoring.spec.FeatureAttributionSpec(
  default_alert_threshold=0.0003,
  feature_alert_thresholds={"cnt_ad_reward":0.0001},
)

EXPLANATION_SPEC=ExplanationSpec(
  parameters=ExplanationParameters(
      {"sampled_shapley_attribution": {"path_count": 2}}
  ),
  metadata=ExplanationMetadata(
      inputs={
          "cnt_ad_reward": ExplanationMetadata.InputMetadata({
              "input_tensor_name": "cnt_ad_reward",
              "encoding": "IDENTITY",
              "modality": "numeric"
          }),
          ...
      },
      ...
  )
)

TRAINING_DATASET=ml_monitoring.spec.MonitoringInput(
  gcs_uri=TRAINING_URI,
  data_format="csv"
)

TARGET_DATASET=ml_monitoring.spec.MonitoringInput(
  table_uri=BIGQUERY_URI
)

model_monitoring_job=my_model_monitor.run(
  display_name=JOB_DISPLAY_NAME,
  baseline_dataset=TRAINING_DATASET,
  target_dataset=TARGET_DATASET,
  tabular_objective_spec=ml_monitoring.spec.TabularObjective(
      # Optional: set to monitor input feature drift.
      feature_drift_spec=FEATURE_DRIFT_SPEC,

      # Optional: set to monitor prediction output drift.
      prediction_output_drift_spec=PREDICTION_OUTPUT_DRIFT_SPEC,

      # Optional: set to monitor feature attribution drift.
      feature_attribution_spec=FEATURE_ATTRIBUTION_SPEC
  ),

  # Optional: additional configurations to override default values.
  explanation_config=EXPLANATION_SPEC,
  notification_spec=NOTIFICATION_SPEC,
  output_spec=OUTPUT_SPEC
)

Menjadwalkan operasi berkelanjutan

Anda dapat menyetel satu atau beberapa jadwal eksekusi untuk monitor model. Untuk menggunakan pemantauan berkelanjutan dengan spesifikasi waktu, set data Anda harus memiliki kolom stempel waktu agar Pemantauan Model v2 dapat mengambil data dari rentang waktu yang ditentukan.

Konsol

1. Di konsol Google Cloud , buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantau model yang ingin Anda konfigurasi untuk pemantauan berkelanjutan.

3. Klik Jadwalkan eksekusi berulang.

4. Tetapkan target dan set data dasar Anda, lalu klik Lanjutkan.

5. Tetapkan tujuan yang akan dipantau, batasnya, setelan notifikasi saat pemberitahuan dibuat.

6. Klik Lanjutkan.

7. Mengonfigurasi jadwal untuk tugas berulang:

   1. Tentukan nama untuk penjadwal.
   2. Untuk Waktu mulai, tentukan kapan tugas pertama akan dimulai.
   3. Untuk Frequency, gunakan ekspresi cron untuk menyetel frekuensi, lalu tetapkan zona waktu.
   4. Untuk Berakhir, tentukan kapan penjadwal berakhir.

8. Klik Buat.

Python SDK

Untuk menetapkan frekuensi tugas pemantauan, gunakan ekspresi cron.

my_model_monitoring_schedule=my_model_monitor.create_schedule(
  display_name=SCHEDULE_DISPLAY_NAME,
  # Every day at 0:00(midnight)
  cron='"0 * * * *"',
  baseline_dataset=ml_monitoring.spec.MonitoringInput(
      endpoints=[ENDPOINT_RESOURCE_NAME],
      offset="24h",
      window="24h",
  ),
  target_dataset=ml_monitoring.spec.MonitoringInput(
      endpoints=[ENDPOINT_RESOURCE_NAME],
      window="24h"
  ),
  tabular_objective_spec=ml_monitoring.spec.TabularObjective(
      # Optional: set to monitor input feature drift.
      feature_drift_spec=FEATURE_DRIFT_SPEC,

      # Optional: set to monitor prediction output drift.
      prediction_output_drift_spec=PREDICTION_OUTPUT_DRIFT_SPEC,

      # Optional: set to monitor feature attribution drift.
      feature_attribution_spec=FEATURE_ATTRIBUTION_SPEC
  ),

  # Optional: additional configurations to override default values.
  explanation_config=EXPLANATION_SPEC,
  output_spec=OUTPUT_SPEC,
  notification_spec=NOTIFICATION_SPEC,
)

Menjeda atau melanjutkan jadwal

Anda dapat menjeda dan melanjutkan jadwal untuk melewati atau menghentikan sementara tugas pemantauan berjalan.

Konsol

1. Di konsol Google Cloud , buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantau model yang berisi jadwal yang akan diubah.

3. Di halaman detail, buka tab Jadwal.

4. Klik jadwal yang ingin diubah.

5. Klik Jeda atau Lanjutkan untuk menjeda atau melanjutkan jadwal.

Python SDK

# Pause schedule
my_model_monitor.pause_schedule(my_monitoring_schedule.name)

# Resume schedule
my_model_monitor.resume_schedule(my_monitoring_schedule.name)

Menghapus jadwal

Hapus jadwal jika Anda tidak menggunakannya. Data yang ada serta tugas yang dibuat sebelumnya tetap ada.

Konsol

1. Di konsol Google Cloud , buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantau model yang berisi jadwal yang akan diubah.

3. Di halaman detail, buka tab Jadwal.

4. Klik jadwal yang ingin diubah.

5. Klik Hapus dan Hapus lagi untuk mengonfirmasi.

Python SDK

my_model_monitor.delete_schedule(my_monitoring_schedule.name)

Menganalisis hasil tugas pemantauan

Anda dapat menggunakan Google Cloud konsol untuk memvisualisasikan distribusi data untuk setiap tujuan pemantauan dan mempelajari perubahan mana yang menyebabkan penyimpangan dari waktu ke waktu.

Visualisasi menampilkan histogram yang membandingkan distribusi data antara data target dan data dasar pengukuran. Berdasarkan tingkat toleransi Anda, Anda dapat, misalnya, memutuskan untuk menyesuaikan pipeline pembuatan fitur atau melatih ulang model.

Melihat detail tugas

Melihat detail tentang eksekusi tugas pemantauan seperti daftar fitur yang dipantau dan fitur mana yang memicu pemberitahuan.

Konsol

1. Di konsol Google Cloud , buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantauan model yang berisi tugas yang akan dianalisis.

3. Di halaman Monitor details, klik tab Runs.

4. Dari daftar operasi, klik operasi untuk melihat detailnya seperti semua fitur yang disertakan dalam operasi.

   Contoh berikut menunjukkan perbandingan distribusi untuk fitur negara dari tugas prediksi batch. Konsol Google Cloud juga memberikan detail tentang perbandingan, bergantung pada metrik, seperti jumlah nilai unik, nilai rata-rata, dan simpangan baku.

   

Lihat detail fitur

Melihat informasi tentang fitur dan daftar tugas pemantauan yang menyertakan fitur tersebut.

Konsol

1. Di konsol Google Cloud , buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantau model yang berisi tugas yang akan dianalisis.

3. Di tab Ringkasan, Anda dapat melihat ringkasan, yang mencakup tren penyimpangan untuk semua tujuan yang dipantau jika Anda telah menyiapkan pemantauan berkelanjutan. Anda juga dapat mempelajari lebih dalam tujuan tertentu untuk melihat detail seperti nama fitur yang dipantau dan daftar proses pemantauan.

   Contoh berikut menunjukkan perbandingan distribusi untuk fitur country. Setelah histogram, Anda dapat melihat eksekusi mana yang memicu pemberitahuan atau memilih tugas pemantauan lain yang menyertakan data pemantauan untuk fitur ini.