Menjalankan tugas pemantauan

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Saat Anda menjalankan tugas, Model Monitoring v2 menggunakan data dari set data target dan dasar pengukuran, menghitung metrik, dan berpotensi menghasilkan pemberitahuan. Pemantauan Model v2 menawarkan tugas on-demand untuk pemantauan ad hoc atau tugas terjadwal untuk pemantauan berkelanjutan. Apa pun opsi yang Anda pilih, setiap tugas adalah satu eksekusi batch.

Untuk mengetahui informasi selengkapnya tentang tujuan pemantauan dan model yang didukung, lihat Ringkasan Model Monitoring v2 dan Menyiapkan pemantauan model.

Menjalankan tugas on demand

Menjalankan tugas pemantauan satu kali. Tetapkan set data target dan dasar pengukuran serta spec pemantauan untuk tujuan yang akan dipantau. Konfigurasi Anda akan mengganti default apa pun, jika ditetapkan, yang ditentukan oleh monitor model.

Konsol

1. Di konsol Google Cloud, buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantauan model yang ingin Anda jalankan tugas pemantauannya.

3. Di halaman detail pemantau model, klik Jalankan sekarang untuk mengonfigurasi tugas pemantauan.

4. Konfigurasikan tugas Anda atau gunakan setelan default seperti yang ditentukan di pemantauan model.

5. Klik Run.

Python SDK

from vertexai.resources.preview import ml_monitoring

FEATURE_THRESHOLDS = {
  "culmen_length_mm": 0.001,
  "body_mass_g": 0.002,
}

FEATURE_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
  categorical_metric_type="l_infinity",
  numeric_metric_type="jensen_shannon_divergence",
  default_categorical_alert_threshold=0.001,
  default_numeric_alert_threshold=0.002,
  feature_alert_thresholds=FEATURE_THRESHOLDS,
)

PREDICTION_OUTPUT_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
  categorical_metric_type="l_infinity",
  numeric_metric_type="jensen_shannon_divergence",
  default_categorical_alert_threshold=0.001,
  default_numeric_alert_threshold=0.001,
)

FEATURE_ATTRIBUTION_SPEC=ml_monitoring.spec.FeatureAttributionSpec(
  default_alert_threshold=0.0003,
  feature_alert_thresholds={"cnt_ad_reward":0.0001},
)

EXPLANATION_SPEC=ExplanationSpec(
  parameters=ExplanationParameters(
      {"sampled_shapley_attribution": {"path_count": 2}}
  ),
  metadata=ExplanationMetadata(
      inputs={
          "cnt_ad_reward": ExplanationMetadata.InputMetadata({
              "input_tensor_name": "cnt_ad_reward",
              "encoding": "IDENTITY",
              "modality": "numeric"
          }),
          ...
      },
      ...
  )
)

TRAINING_DATASET=ml_monitoring.spec.MonitoringInput(
  gcs_uri=TRAINING_URI,
  data_format="csv"
)

TARGET_DATASET=ml_monitoring.spec.MonitoringInput(
  table_uri=BIGQUERY_URI
)

model_monitoring_job=my_model_monitor.run(
  display_name=JOB_DISPLAY_NAME,
  baseline_dataset=TRAINING_DATASET,
  target_dataset=TARGET_DATASET,
  tabular_objective_spec=ml_monitoring.spec.TabularObjective(
      # Optional: set to monitor input feature drift.
      feature_drift_spec=FEATURE_DRIFT_SPEC,

      # Optional: set to monitor prediction output drift.
      prediction_output_drift_spec=PREDICTION_OUTPUT_DRIFT_SPEC,

      # Optional: set to monitor feature attribution drift.
      feature_attribution_spec=FEATURE_ATTRIBUTION_SPEC
  ),

  # Optional: additional configurations to override default values.
  explanation_config=EXPLANATION_SPEC,
  notification_spec=NOTIFICATION_SPEC,
  output_spec=OUTPUT_SPEC
)

Menjadwalkan operasi berkelanjutan

Anda dapat menetapkan satu atau beberapa jadwal yang berjalan untuk monitor model. Untuk menggunakan pemantauan berkelanjutan dengan spesifikasi waktu, set data Anda harus memiliki kolom stempel waktu sehingga Model Monitoring v2 dapat mengambil data dari rentang waktu yang ditentukan.

Konsol

1. Di konsol Google Cloud, buka halaman Monitoring.

   Buka Monitoring

2. Klik monitor model yang ingin Anda konfigurasikan pemantauan berkelanjutannya.

3. Klik Jadwalkan operasi berulang.

4. Tetapkan set data target dan dasar pengukuran, lalu klik Lanjutkan.

5. Tetapkan tujuan yang akan dipantau, nilai minimumnya, setelan notifikasi saat pemberitahuan dibuat.

6. Klik Lanjutkan.

7. Konfigurasikan jadwal untuk tugas berulang:

   1. Tentukan nama untuk penjadwal.
   2. Untuk Waktu mulai, tentukan kapan tugas pertama akan dimulai.
   3. Untuk Frequency, gunakan ekspresi cron untuk menetapkan frekuensi, lalu tetapkan zona waktu.
   4. Untuk Berakhir, tentukan waktu berakhir penjadwal.

8. Klik Create.

Python SDK

Untuk menetapkan frekuensi tugas pemantauan, gunakan ekspresi cron.

my_model_monitoring_schedule=my_model_monitor.create_schedule(
  display_name=SCHEDULE_DISPLAY_NAME,
  # Every day at 0:00(midnight)
  cron='"0 * * * *"',
  baseline_dataset=ml_monitoring.spec.MonitoringInput(
      endpoints=[ENDPOINT_RESOURCE_NAME],
      offset="24h",
      window="24h",
  ),
  target_dataset=ml_monitoring.spec.MonitoringInput(
      endpoints=[ENDPOINT_RESOURCE_NAME],
      window="24h"
  ),
  tabular_objective_spec=ml_monitoring.spec.TabularObjective(
      # Optional: set to monitor input feature drift.
      feature_drift_spec=FEATURE_DRIFT_SPEC,

      # Optional: set to monitor prediction output drift.
      prediction_output_drift_spec=PREDICTION_OUTPUT_DRIFT_SPEC,

      # Optional: set to monitor feature attribution drift.
      feature_attribution_spec=FEATURE_ATTRIBUTION_SPEC
  ),

  # Optional: additional configurations to override default values.
  explanation_config=EXPLANATION_SPEC,
  output_spec=OUTPUT_SPEC,
  notification_spec=NOTIFICATION_SPEC,
)

Menjeda atau melanjutkan jadwal

Anda dapat menjeda dan melanjutkan jadwal untuk melewati atau menghentikan sementara tugas pemantauan.

Konsol

1. Di konsol Google Cloud, buka halaman Monitoring.

   Buka Monitoring

2. Klik monitor model yang berisi jadwal yang akan diubah.

3. Di halaman detail, buka tab Jadwal.

4. Klik jadwal yang ingin diubah.

5. Klik Jeda atau Lanjutkan untuk menjeda atau melanjutkan jadwal.

Python SDK

# Pause schedule
my_model_monitor.pause_schedule(my_monitoring_schedule.name)

# Resume schedule
my_model_monitor.resume_schedule(my_monitoring_schedule.name)

Menghapus jadwal

Hapus jadwal jika Anda tidak menggunakannya. Data yang ada tetap ada, begitu juga tugas yang dibuat sebelumnya.

Konsol

1. Di konsol Google Cloud, buka halaman Monitoring.

   Buka Monitoring

2. Klik monitor model yang berisi jadwal yang akan diubah.

3. Di halaman detail, buka tab Jadwal.

4. Klik jadwal yang ingin diubah.

5. Klik Delete dan Delete lagi untuk mengonfirmasi.

Python SDK

my_model_monitor.delete_schedule(my_monitoring_schedule.name)

Menganalisis hasil tugas pemantauan

Anda dapat menggunakan konsol Google Cloud untuk memvisualisasikan distribusi data untuk setiap tujuan pemantauan dan mempelajari perubahan mana yang menyebabkan penyimpangan dari waktu ke waktu.

Visualisasi menunjukkan histogram yang membandingkan distribusi data antara data target dan dasar pengukuran. Berdasarkan tingkat toleransi, Anda dapat, misalnya, memutuskan untuk menyesuaikan pipeline pembuatan fitur atau melatih ulang model.

Melihat detail tugas

Melihat detail tentang tugas pemantauan yang dijalankan seperti daftar fitur yang dipantau dan fitur yang menghasilkan pemberitahuan.

Konsol

1. Di konsol Google Cloud, buka halaman Monitoring.

   Buka Monitoring

2. Klik pemantau model yang berisi tugas yang akan dianalisis.

3. Di halaman Monitor details, klik tab Runs.

4. Dari daftar operasi, klik operasi untuk melihat detailnya seperti semua fitur yang disertakan dalam operasi.

   Contoh berikut menunjukkan perbandingan distribusi untuk fitur negara dari tugas prediksi batch. Konsol Google Cloud juga menyediakan detail tentang perbandingan, bergantung pada metrik, seperti jumlah nilai unik, nilai rata-rata, dan deviasi standar.

   

Lihat detail fitur

Melihat informasi tentang fitur dan daftar tugas pemantauan yang menyertakan fitur tersebut.

Konsol

1. Di konsol Google Cloud, buka halaman Monitoring.

   Buka Monitoring

2. Klik monitor model yang berisi tugas yang akan dianalisis.

3. Di tab Ringkasan, Anda dapat melihat ringkasan, yang mencakup tren drift untuk semua tujuan yang dipantau jika Anda telah menyiapkan pemantauan berkelanjutan. Anda juga dapat mempelajari tujuan tertentu lebih lanjut untuk melihat detail seperti nama fitur yang dipantau dan daftar pemantauan yang dijalankan.

   Contoh berikut menunjukkan perbandingan distribusi untuk fitur negara. Setelah histogram, Anda dapat melihat operasi yang menghasilkan pemberitahuan atau memilih tugas pemantauan lain yang menyertakan data pemantauan untuk fitur ini.