Menyiapkan pemantauan model

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Sebelum dapat mulai memantau model, Anda harus mendaftarkan model dengan Vertex AI Model Registry, lalu mengonfigurasi detail pemantauan dengan membuat pemantau model. Halaman ini menjelaskan cara mendaftarkan model dan menjelaskan semua spesifikasi yang dapat Anda tentukan dalam konfigurasi pemantauan.

Pemantauan Model v2 hanya mendukung model tabular. Model ini dapat ditayangkan di Vertex AI atau di infrastruktur penayangan lainnya.

Mendaftarkan model

Anda dapat memantau model yang di-deploy di infrastruktur penayangan apa pun, seperti di endpoint Vertex AI, GKE, atau BigQuery. Untuk mendaftarkan model yang Anda sajikan di Vertex AI, lihat Mengimpor model.

Untuk model yang Anda sajikan di luar Vertex AI, Anda dapat mendaftarkan model referensi, yang merupakan placeholder untuk model yang disajikan di resource lain. Saat mendaftarkan model referensi, Anda mendaftarkan nama model, seperti yang ditunjukkan pada contoh berikut:

Python SDK

model = aiplatform.Model.upload(
 display_name="MODEL_NAME"
)

Untuk model referensi, Pemantauan Model dapat mendukung kumpulan data dari Cloud Storage atau BigQuery. Anda tidak dapat memantau atribusi fitur untuk model referensi.

Sumber data

Anda dapat memantau metrik dalam data yang disimpan di sumber berikut. Fitur bertumpuk tidak didukung. Untuk menganalisis data bertingkat, ratakan terlebih dahulu. Jika data Anda berada di, misalnya, BigQuery, Anda dapat menggunakan SQL untuk mentransformasi fitur bertingkat.

BigQuery

Anda dapat memberikan URI tabel BigQuery atau kueri SQL. Untuk menentukan periode waktu atau menyiapkan pemantauan berkelanjutan, tabel Anda harus menyertakan kolom stempel waktu, yang Anda tentukan dalam set data sebagai timestamp_field.

Cloud Storage

Data harus disimpan dalam format CSV atau JSONL. Untuk file CSV, sertakan header nama kolom sebagai baris pertama dalam file Anda.

Tugas prediksi batch Vertex AI

Berikan nama resource tugas prediksi batch yang sepenuhnya memenuhi syarat untuk memantau tugas prediksi batch. Anda dapat menjalankan tugas pemantauan segera setelah membuat tugas prediksi batch; Anda tidak perlu menunggu hingga tugas batch selesai. Model Monitoring v2 menjalankan tugas pemantauan Anda segera setelah tugas prediksi batch selesai.

Logging endpoint Vertex AI

Anda harus mengaktifkan logging permintaan-respons di endpoint sebelum dapat mulai memantaunya. Endpoint pribadi tidak didukung karena tidak mendukung pencatatan log permintaan-respons.

Pemantauan Model v2 mengharapkan format JSON permintaan dan respons endpoint Vertex AI mengikuti format yang digunakan oleh metode predict. Objek instances disisipkan ke tabel logging di kolom request_payload sebagai array: [INSTANCE_1, INSTANCE_2]. Demikian pula, objek predictions disisipkan ke tabel logging di kolom response_payload sebagai array: [PREDICTION_1, PREDICTION_2].

Metode lain didukung (seperti prediksi mentah), tetapi data Anda harus mengikuti format JSON permintaan dan respons seperti yang didokumentasikan dalam referensi API untuk metode predict.

Set data terkelola Vertex AI

Set data yang dikelola di Vertex AI. Untuk mengetahui informasi selengkapnya, lihat format set data tabulasi.

Pemantauan berkelanjutan

Pemantauan berkelanjutan (juga dikenal sebagai operasi terjadwal) memungkinkan Anda menjalankan tugas pemantauan sesuai jadwal yang Anda tetapkan. Pemantauan model berkelanjutan dengan spesifikasi waktu hanya mendukung logging endpoint BigQuery dan Vertex AI sebagai sumber data.

Untuk menggunakan BigQuery sebagai sumber pemantauan berkelanjutan dengan spesifikasi waktu, tabel Anda harus memiliki kolom stempel waktu. Untuk tabel BigQuery yang dibuat oleh logging endpoint Vertex AI, tabel tersebut sudah menyertakan kolom stempel waktu logging_time.

Sebagai teknik pengoptimalan BigQuery umum, sebaiknya partisi tabel Anda menurut stempel waktu untuk meningkatkan performa kueri dan mengontrol biaya dengan mengurangi jumlah byte yang dibaca oleh kueri.

Jenis data yang didukung

Fitur numerik dan kategoris didukung. Anda dapat menyertakan kolom dengan array, seperti array nilai boolean, kategoris, string, atau bilangan bulat. Pemantauan Model v2 meratakan array sehingga setiap elemen dalam array adalah nilai yang berbeda.

Fitur numerik dipetakan ke jenis data berikut:

• Float
• Bilangan bulat

Fitur kategoris dipetakan ke jenis data berikut:

• Boolean
• String
• Kategoris

Skema model

Pemantauan Model v2 menggunakan skema model untuk mengurai data Anda. Skema ini diperlukan saat Anda membuat monitor model. Untuk AutoML Tables, Anda tidak perlu menentukan skema model; Vertex AI Model Monitoring akan otomatis mengambilnya.

Contoh berikut menunjukkan struktur umum skema yang diharapkan:

Python SDK

ml_monitoring.spec.ModelMonitoringSchema(
  feature_fields=[
      ml_monitoring.spec.FieldSchema(
          name="FEATURE_NAME",
          data_type="DATA_TYPE",
          repeated=BOOLEAN
      )
  ],
    prediction_fields = [
      model_monitor.spec.FieldSchema(
          name="PREDICTION_NAME",
          data_type="DATA_TYPE",
          repeated=BOOLEAN
      )
  ],
  ground_truth_fields = [
      model_monitor.spec.FieldSchema(
          feature="GROUND_TRUTH_NAME",
          data_type="DATA_TYPE",
          repeated=BOOLEAN
      )
  ]
)

Jika kolom menyertakan array nilai, setel repeated ke true.

Untuk AutoML Tables, saat mengambil skema model, Model Monitoring v2 menggunakan fitur yang ada dalam set data pelatihan sebagai fitur input, tidak termasuk kolom target. Output prediksi ditetapkan ke kolom predicted_{target_column}. Selain itu, metode ekstraksi Model Monitoring v2 untuk nilai output prediksi bergantung pada jenis model. Untuk model klasifikasi Tabel AutoML, Vertex AI Model Monitoring memantau distribusi label argmax. Untuk model regresi AutoML Tables, Vertex AI Model Monitoring memantau distribusi nilai.

Set data dasar dan target

Set data dasar mewakili titik referensi yang Anda gunakan untuk mengukur metrik dari waktu ke waktu. Set data target mencakup data yang lebih baru yang Anda gunakan untuk dibandingkan dengan set data dasar. Pemantauan Model v2 menghitung metrik antara dua set data untuk membantu Anda melacak kualitas model. Set data dasar dan target dapat berasal dari sumber data yang didukung.

Sebagai contoh target dan dasar pengukuran, Anda dapat membandingkan set data penayangan (target) dengan set data pelatihan model (dasar pengukuran), atau Anda dapat membandingkan set data penayangan (target) dengan set data penayangan dari jangka waktu sebelumnya (dasar pengukuran).

Set data target

Saat Anda memilih set data target, Pemantauan Model v2 dapat memproses seluruh set data atau Anda dapat menetapkan periode, yang menentukan jumlah data yang akan diperiksa oleh Pemantauan Model v2. Misalnya, jika Anda menentukan periode 24 jam, Model Monitoring v2 hanya membandingkan data 24 jam terbaru dengan set data dasar.

Untuk analisis penyimpangan data, penyimpangan dapat berubah-ubah jika volume data yang tidak memadai diproses. Jendela waktu yang lebih besar dapat membantu menghindari pemberitahuan yang dipicu akibat jumlah sampel yang rendah.

Set data dasar

Anda dapat menyetel set data dasar ke sumber data yang didukung, seperti set data terkelola Vertex AI yang berisi data pelatihan model Anda. Mirip dengan set data target, Anda dapat memilih agar Pemantauan Model v2 memproses seluruh set data atau jendela tertentu.

Spesifikasi waktu

Anda dapat menetapkan spesifikasi waktu pemantauan melalui dua metode:

• Rentang waktu, yang mencakup pasangan waktu mulai dan waktu berakhir.
• Interval waktu dan offset, yang menentukan jumlah data yang akan disertakan dan jangka waktu antara set data perbandingan.

Misalnya, jika Anda ingin membandingkan data terbaru dengan data yang dikumpulkan sebelumnya, Anda dapat menetapkan offset. Offset menentukan jangka waktu antara set data target dan dasar. Sebagai contoh, bayangkan Anda menetapkan set data target dengan periode konversi satu hari, dan dasar pengukuran ditetapkan dengan offset satu minggu juga dengan periode konversi satu hari.

Dalam hal ini, set data target mencakup data dari 24 jam sebelum waktu mulai tugas pemantauan. Set data dasar mencakup data dari periode 24 jam yang sama, tetapi tepat satu minggu sebelumnya.

Membuat monitor model

Buat monitor model untuk mengaitkan detail pemantauan dengan versi model yang telah didaftarkan di Vertex AI Model Registry. Resource yang dihasilkan disebut pemantau model. Anda hanya dapat membuat satu pemantau model per versi model.

Saat membuat pemantau model, tentukan nama model, versinya, dan skemanya. Untuk beberapa model, seperti model AutoML, skema disediakan untuk Anda.

Anda dapat secara opsional menetapkan tujuan pemantauan, set data pelatihan, lokasi output pemantauan, dan setelan notifikasi di pemantau model. Saat Anda menjalankan tugas pemantauan, Pemantauan Model v2 menggunakan setelan ini sebagai default.

Catatan: Jika Anda menentukan lokasi output, agen layanan pemantauan (service-PROJECT_NUMBER@gcp-sa-vertex-mm.) harus memiliki akses tulis ke lokasi tersebut. Jika Anda tidak menentukan lokasi, Pemantauan Model akan membuat bucket Cloud Storage default di project Anda untuk menyimpan hasil pemantauan; Anda tidak perlu mengubah izin agen layanan.

Konsol

1. Di konsol Google Cloud , buka halaman Monitoring.

   Buka Monitoring

2. Klik Configure monitoring.

3. Pilih model dan versinya untuk dipantau.

4. Jika berlaku, tentukan skema fitur input dan output prediksi Anda, serta kebenaran dasar jika tersedia.

5. Opsional: Untuk memantau penyimpangan dari set data pelatihan, tentukan lokasi set data Anda.

6. Opsional: Untuk menentukan bucket Cloud Storage yang ada untuk mengekspor hasil pemantauan, luaskan Advanced options, lalu pilih bucket.

7. Untuk mengonfigurasi tujuan pemantauan, klik Lanjutkan atau klik Siapkan untuk membuat monitor model.

   Konfigurasi ini digunakan sebagai default saat menjalankan tugas.

8. Pilih tujuan yang akan dipantau. Untuk setiap sasaran, Anda dapat menetapkan metrik yang akan dipantau dan nilai minimum untuk pemberitahuan.

9. Tentukan alamat email dan, secara opsional, saluran notifikasi di Cloud Monitoring untuk pemberitahuan dan notifikasi pemantauan.

Python SDK

from vertexai.resources.preview import ml_monitoring
from google.cloud.aiplatform_v1beta1.types import ExplanationSpec, ExplanationParameters, ExplanationMetadata

# Define Monitoring Schema. For AutoML models, this is optional if the schema information is available.
MONITORING_SCHEMA=ml_monitoring.spec.ModelMonitoringSchema(
  feature_fields=[
      ml_monitoring.spec.FieldSchema(
          name="sepal_length_cm",
          data_type="float"
      ),
      ml_monitoring.spec.FieldSchema(
          name="sepal_width_cm",
          data_type="float"
      ),
      ml_monitoring.spec.FieldSchema(
          name="petal_length_cm",
          data_type="float"
      ),
      ml_monitoring.spec.FieldSchema(
          name="petal_width_cm",
          data_type="float"
      )
  ],
  prediction_fields = [
      ml_monitoring.spec.FieldSchema(
          name="predicted_species",
          data_type="categorical"
      )
  ]
)

TRAINING_DATASET = ml_monitoring.spec.MonitoringInput(
  gcs_uri=GCS_INPUT_URI,
  data_format=DATA_FORMAT,
)

DEFAULT_FEATURE_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
  categorical_metric_type="l_infinity",
  numeric_metric_type="jensen_shannon_divergence",
  default_categorical_alert_threshold=0.1,
  default_numeric_alert_threshold=0.1,
)

DEFAULT_PREDICTION_OUTPUT_DRIFT_SPEC=ml_monitoring.spec.DataDriftSpec(
  categorical_metric_type="l_infinity",
  numeric_metric_type="jensen_shannon_divergence",
  default_categorical_alert_threshold=0.1,
  default_numeric_alert_threshold=0.1,
)

DEFAULT_FEATURE_ATTRIBUTION_SPEC=ml_monitoring.spec.FeatureAttributionSpec(
  default_alert_threshold=0.0003,
  feature_alert_thresholds={"sepal_length_cm":0.0001},
)

EXPLANATION_SPEC=ExplanationSpec(
  parameters=ExplanationParameters(
      {"sampled_shapley_attribution": {"path_count": 2}}
  ),
  metadata=ExplanationMetadata(
      inputs={
          "sepal_length_cm": ExplanationMetadata.InputMetadata({
              "input_tensor_name": "sepal_length_cm",
              "encoding": "IDENTITY",
              "modality": "numeric",
          }),
          ...
      },
      ...
  )
)

DEFAULT_OUTPUT_SPEC = ml_monitoring.spec.output.OutputSpec(
  gcs_base_dir=GCS_OUTPUT_BASE_DIR
)

DEFAULT_NOTIFICATION_SPEC = ml_monitoring.spec.NotificationSpec(
  user_emails=['[e-mail]']
)

my_model_monitor = ml_monitoring.ModelMonitor.create(
  display_name=MONITORING_JOB_DISPLAY_NAME,
  model_name=MODEL_RESOURCE_NAME,
  model_version_id=MODEL_VERSION_ID,
  model_monitoring_schema=MONITORING_SCHEMA,
  # The following fields are optional for creating the model monitor.
  training_dataset=TRAINING_DATASET,
  tabular_objective_spec=ml_monitoring.spec.TabularObjective(
      feature_drift_spec=DEFAULT_FEATURE_DRIFT_SPEC,
      prediction_output_drift_spec=DEFAULT_PREDICTION_OUTPUT_DRIFT_SPEC,
      feature_attribution_spec=DEFAULT_FEATURE_ATTRIBUTION_SPEC,
  ),
  explanation_spec=DEFAULT_FEATURE_ATTRIBUTION_SPEC,
  output_spec=DEFAULT_OUTPUT_SPEC,
  notification_spec=DEFAULT_NOTIFICATION_SPEC
)