Memantau diferensiasi performa dan penyimpangan fitur

Halaman ini menjelaskan cara membuat, mengelola, dan menafsirkan hasil tugas Pemantauan Model untuk model yang di-deploy ke endpoint prediksi online. Pemantauan Model Vertex AI mendukung fitur diferensiasi performa dan deteksi penyimpangan untuk fitur input kategoris dan numerik.

Ketika model di-deploy di produksi dengan Pemantauan Model diaktifkan, permintaan prediksi yang masuk akan dicatat di tabel BigQuery di project Google Cloud Anda. Nilai fitur input yang terdapat dalam permintaan yang dicatat kemudian dianalisis untuk mengetahui adanya diferensiasi performa atau penyimpangan.

Anda dapat mengaktifkan deteksi diferensiasi performa jika memasukkan set data pelatihan asli untuk model Anda; jika tidak, Anda harus mengaktifkan deteksi penyimpangan. Untuk mengetahui informasi selengkapnya, lihat Pengantar Pemantauan Model Vertex AI.

Prasyarat

Untuk menggunakan Pemantauan Model, lakukan hal-hal berikut:

  1. Memiliki model yang tersedia di Vertex AI yang berupa AutoML tabular atau jenis pelatihan kustom tabular yang diimpor.

    • Jika Anda menggunakan endpoint yang sudah ada, pastikan semua model yang di-deploy pada endpoint adalah AutoML tabular atau jenis pelatihan kustom yang diimpor.

  2. Jika Anda mengaktifkan deteksi diferensiasi performa, upload data pelatihan ke Cloud Storage atau BigQuery dan dapatkan link URI ke data tersebut. Untuk deteksi penyimpangan, data pelatihan tidak diperlukan.

  3. Opsional: Untuk model yang dilatih khusus, upload skema instance analisis untuk model Anda ke Cloud Storage. Pemantauan Model memerlukan skema untuk memulai proses pemantauan dan menghitung distribusi dasar pengukuran untuk deteksi diferensiasi performa. Jika Anda tidak memberikan skema selama pembuatan tugas, tugas akan tetap dalam status tertunda sampai Pemantauan Model dapat secara otomatis mengurai skema dari 1.000 permintaan prediksi pertama yang diterima model.

Membuat tugas Pemantauan Model

Untuk menyiapkan deteksi diferensiasi performa atau deteksi penyimpangan, buat tugas pemantauan deployment model:

Konsol

Untuk membuat tugas pemantauan deployment model menggunakan konsol Google Cloud, buat endpoint:

  1. Di konsol Google Cloud, buka halaman Vertex AI Endpoints.

    Buka Endpoint

  2. Klik Buat Endpoint.

  3. Di panel Endpoint baru, beri nama endpoint dan tetapkan region.

  4. Klik Lanjutkan.

  5. Di kolom Nama model, pilih pelatihan kustom atau model AutoML tabular yang diimpor.

  6. Di kolom Versi, pilih versi untuk model Anda.

  7. Klik Lanjutkan.

  8. Di panel Pemantauan model, pastikan Aktifkan pemantauan model untuk endpoint ini diaktifkan. Setiap setelan pemantauan yang Anda konfigurasi berlaku untuk semua model yang di-deploy ke endpoint.

  9. Masukkan Nama tampilan tugas pemantauan.

  10. Masukkan Panjang jendela pemantauan.

  11. Di bagian Email notifikasi, masukkan satu atau beberapa alamat email yang dipisahkan koma, yang akan menerima pemberitahuan saat model melebihi nilai minimum pemberitahuan.

  12. (Opsional) Untuk Saluran notifikasi, tambahkan saluran Cloud Monitoring untuk menerima pemberitahuan saat model melebihi nilai minimum pemberitahuan. Anda dapat memilih saluran Cloud Monitoring yang sudah ada atau membuat yang baru dengan mengklik Mengelola saluran notifikasi. Konsol mendukung saluran notifikasi PagerDuty, Slack, dan Pub/Sub.

  13. Masukkan Frekuensi sampling.

  14. Opsional: Masukkan Skema input prediksi dan Skema input analisis.

  15. Klik Lanjutkan. Panel Pemantauan objektif akan terbuka, dengan opsi deteksi diferensiasi performa atau penyimpangan:

    Deteksi diferensiasi performa

    1. Pilih Deteksi diferensiasi performa pelatihan dan penayangan.
    2. Di bagian Sumber data pelatihan, masukkan sumber data pelatihan.
    3. Di bagian Kolom target, masukkan nama kolom dari data pelatihan yang ingin diprediksi oleh model. Bidang ini dikecualikan dari analisis pemantauan.
    4. Opsional: Di bagian Nilai minimum pemberitahuan, tentukan nilai minimum untuk memicu pemberitahuan. Untuk mengetahui informasi tentang cara memformat nilai minimum, arahkan kursor ke ikon Bantuan .
    5. Klik Buat.

    Deteksi penyimpangan

    1. Pilih Deteksi penyimpangan prediksi.
    2. Opsional: Di bagian Nilai minimum pemberitahuan, tentukan nilai minimum untuk memicu pemberitahuan. Untuk mengetahui informasi tentang cara memformat nilai minimum, arahkan kursor ke ikon Bantuan .
    3. Klik Buat.

gcloud

Untuk membuat tugas pemantauan deployment model menggunakan gcloud CLI, deploy model Anda ke endpoint terlebih dahulu.

Konfigurasi tugas pemantauan berlaku untuk semua model yang di-deploy di endpoint.

Jalankan perintah gcloud ai model-monitoring-jobs create.

gcloud ai model-monitoring-jobs create \
  --project=PROJECT_ID \
  --region=REGION \
  --display-name=MONITORING_JOB_NAME \
  --emails=EMAIL_ADDRESS_1,EMAIL_ADDRESS_2 \
  --endpoint=ENDPOINT_ID \
  [--feature-thresholds=FEATURE_1=THRESHOLD_1, FEATURE_2=THRESHOLD_2] \
  [--prediction-sampling-rate=SAMPLING_RATE] \
  [--monitoring-frequency=MONITORING_FREQUENCY] \
  [--analysis-instance-schema=ANALYSIS_INSTANCE_SCHEMA] \
  --target-field=TARGET_FIELD \
  --bigquery-uri=BIGQUERY_URI

dengan:

  • PROJECT_ID adalah ID project Google Cloud Anda. Contoh, my-project.

  • REGION adalah lokasi untuk tugas pemantauan Anda. Contoh, us-central1.

  • MONITORING_JOB_NAME adalah nama tugas pemantauan Anda. Contoh, my-job.

  • EMAIL_ADDRESS adalah alamat email tempat Anda ingin menerima pemberitahuan dari Pemantauan Model. Contoh, example@example.com.

  • ENDPOINT_ID adalah ID endpoint tempat model Anda di-deploy. Contoh, 1234567890987654321.

  • Opsional: FEATURE_1=THRESHOLD_1 adalah nilai minimum pemberitahuan untuk setiap fitur yang ingin Anda pantau. Misalnya, jika Anda menentukan Age=0.4, Model Monitoring akan mencatat pemberitahuan saat jarak statistik antara distribusi input dan dasar pengukuran untuk fitur Age melebihi 0,4. Secara default, setiap fitur kategoris dan numerik dipantau dengan nilai minimum 0,3.

  • Opsional: SAMPLING_RATE adalah fraksi permintaan prediksi masuk yang ingin Anda catat. Contoh, 0.5. Jika tidak ditentukan, Pemantauan Model akan mencatat semua permintaan prediksi.

  • Opsional: MONITORING_FREQUENCY adalah frekuensi yang Anda inginkan untuk menjalankan tugas pemantauan pada input yang baru-baru ini dicatat ke dalam log. Perincian minimum adalah 1 jam. Nilai defaultnya adalah 24 jam. Contoh, 2.

  • Opsional: ANALYSIS_INSTANCE_SCHEMA adalah Cloud Storage URI untuk file skema yang menjelaskan format data input Anda. Contoh, gs://test-bucket/schema.yaml.

  • (hanya diperlukan untuk deteksi diferensiasi performa) TARGET_FIELD adalah kolom yang diprediksi oleh model. Kolom ini dikecualikan dari analisis pemantauan. Contoh, housing-price.

  • (hanya diperlukan untuk deteksi diferensiasi performa) BIGQUERY_URI adalah link ke set data pelatihan yang disimpan di BigQuery, menggunakan format berikut:

    bq://\PROJECT.\DATASET.\TABLE

    Contoh, bq://\my-project.\housing-data.\san-francisco.

    Anda dapat mengganti flag bigquery-uri dengan link alternatif ke set data pelatihan Anda:

    • Untuk file CSV yang disimpan di bucket Cloud Storage, gunakan --data-format=csv --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • Untuk file TFRecord yang disimpan di bucket Cloud Storage, gunakan --data-format=tf-record --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • Untuk set data tabular yang dikelola AutoML, gunakan --dataset=DATASET_ID.

Python SDK

Untuk mengetahui informasi tentang alur kerja Model Monitoring API menyeluruh secara lengkap, lihat contoh notebook.

REST API

  1. Jika Anda belum melakukannya, deploy model ke endpoint. Selama langkah Mendapatkan ID endpoint di petunjuk deployment model, catat nilai deployedModels.id dalam respons JSON untuk digunakan nanti:

  2. Buat permintaan tugas pemantauan model. Petunjuk di bawah ini menunjukkan cara membuat tugas pemantauan dasar untuk deteksi penyimpangan. Untuk menyesuaikan permintaan JSON, lihat Referensi tugas pemantauan.

    Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

    • PROJECT_ID: adalah ID project Google Cloud Anda. Contoh, my-project.
    • LOCATION: adalah lokasi untuk tugas pemantauan Anda. Contoh, us-central1.
    • MONITORING_JOB_NAME: adalah nama tugas pemantauan Anda. Contoh , my-job
    • PROJECT_NUMBER: adalah nomor untuk project Google Cloud Anda. Contoh, 1234567890.
    • ENDPOINT_ID adalah ID untuk endpoint tempat model Anda di-deploy. Contoh, 1234567890.
    • DEPLOYED_MODEL_ID: adalah ID untuk model yang di-deploy.
    • FEATURE:VALUE adalah nilai minimum pemberitahuan untuk setiap fitur yang ingin Anda pantau. Misalnya, jika Anda menentukan "Age": {"value": 0.4}, Pemantauan Model akan mencatat pemberitahuan saat jarak statistik antara distribusi input dan dasar pengukuran untuk fitur Age melebihi 0,4. Secara default, setiap fitur kategoris dan numerik dipantau dengan nilai minimum 0,3.
    • EMAIL_ADDRESS: adalah alamat email untuk menerima pemberitahuan dari Pemantauan Model. Contoh, example@example.com.
    • NOTIFICATION_CHANNELS: daftar saluran notifikasi Cloud Monitoring tempat Anda ingin menerima pemberitahuan dari Pemantauan Model. Gunakan nama resource untuk saluran notifikasi, yang dapat Anda ambil dengan mencantumkan saluran notifikasi dalam project Anda. Contoh, "projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568"
    • Opsional: ANALYSIS_INSTANCE_SCHEMA adalah Cloud Storage URI untuk file skema yang menjelaskan format data input Anda. Contoh, gs://test-bucket/schema.yaml.

    Meminta isi JSON: 

    {
  "displayName":"MONITORING_JOB_NAME",
  "endpoint":"projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
  "modelDeploymentMonitoringObjectiveConfigs": {
     "deployedModelId": "DEPLOYED_MODEL_ID",
     "objectiveConfig":  {
        "predictionDriftDetectionConfig": {
            "driftThresholds": {
              "FEATURE_1": {
                "value": VALUE_1
               },
              "FEATURE_2": {
                "value": VALUE_2
               }
            }
         },
      },
  },
  "loggingSamplingStrategy": {
     "randomSampleConfig":  {
        "sampleRate":  0.5,
     },
  },
  "modelDeploymentMonitoringScheduleConfig": {
     "monitorInterval": {
        "seconds": 3600,
     },
  },
  "modelMonitoringAlertConfig": {
     "emailAlertConfig": {
        "userEmails": ["EMAIL_ADDRESS"],
     },
     "notificationChannels": [NOTIFICATION_CHANNELS]
  },
  "analysisInstanceSchemaUri": ANALYSIS_INSTANCE_SCHEMA
}

    Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

    Anda akan menerima respons JSON yang mirip dengan yang berikut ini:

    {
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_NUMBER",
  ...
  "state": "JOB_STATE_PENDING",
  "scheduleState": "OFFLINE",
  ...
  "bigqueryTables": [
    {
      "logSource": "SERVING",
      "logType": "PREDICT",
      "bigqueryTablePath": "bq://PROJECT_ID.model_deployment_monitoring_8451189418714202112.serving_predict"
    }
  ],
  ...
}

Setelah tugas pemantauan dibuat, Model Monitoring akan mencatat permintaan prediksi yang masuk ke dalam tabel BigQuery yang dihasilkan dengan nama PROJECT_ID.model_deployment_monitoring_ENDPOINT_ID.serving_predict. Jika logging permintaan-respons diaktifkan, Pemantauan Model akan mencatat permintaan masuk di tabel BigQuery yang sama dengan yang digunakan untuk logging permintaan-respons.

(Opsional) Mengonfigurasi pemberitahuan untuk tugas Pemantauan Model

Anda dapat memantau dan men-debug tugas Pemantauan Model melalui pemberitahuan. Pemantauan Model secara otomatis memberi tahu Anda tentang pembaruan tugas melalui email, tetapi Anda juga dapat menyiapkan pemberitahuan melalui saluran notifikasi Cloud Logging dan Cloud Monitoring.

Email

Untuk peristiwa berikut, Pemantauan Model mengirimkan notifikasi email ke setiap alamat email yang Anda tentukan saat membuat tugas Pemantauan Model:

  • Setiap kali deteksi diferensiasi performa atau penyimpangan disiapkan.
  • Setiap kali konfigurasi tugas Pemantauan Model yang ada diperbarui.
  • Setiap kali proses pipeline pemantauan terjadwal gagal.

Cloud Logging

Guna mengaktifkan log untuk proses pipeline pemantauan terjadwal, tetapkan kolom enableMonitoringPipelineLogs di konfigurasi modelDeploymentMonitoringJobs Anda ke true. Log proses debug ditulis ke Cloud Logging saat tugas pemantauan disiapkan dan pada setiap interval pemantauan.

Log proses debug ditulis ke Cloud Logging dengan nama log: model_monitoring. Contoh:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring" resource.labels.model_deployment_monitoring_job=6680511704087920640

Berikut ini contoh entri log progres tugas: 

{
"insertId": "e2032791-acb9-4d0f-ac73-89a38788ccf3@a1",
"jsonPayload": {
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringPipelineLogEntry",
  "statusCode": {
    "message": "Scheduled model monitoring pipeline finished successfully for job projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
  },
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-04T15:33:54.778883Z",
"severity": "INFO",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring",
"receiveTimestamp": "2022-02-04T15:33:56.343298321Z"
}

Saluran notifikasi

Setiap kali proses pipeline pemantauan terjadwal gagal, Pemantauan Model mengirimkan notifikasi ke saluran notifikasi Cloud Monitoring yang Anda tentukan saat membuat tugas Pemantauan Model.

Mengonfigurasi pemberitahuan untuk anomali fitur

Pemantauan Model mendeteksi anomali saat nilai minimum yang ditetapkan untuk suatu fitur terlampaui. Pemantauan Model secara otomatis memberi tahu Anda tentang anomali yang terdeteksi melalui email, tetapi Anda juga dapat menyiapkan pemberitahuan melalui saluran notifikasi Cloud Logging dan Cloud Monitoring.

Email

Pada setiap interval pemantauan, jika nilai minimum dari setidaknya satu fitur melebihi batas, Pemantauan Model akan mengirimkan peringatan email ke setiap alamat email yang Anda tentukan saat membuat tugas Pemantauan Model. Pesan email tersebut menyertakan hal-hal berikut:

  • Waktu saat tugas pemantauan berjalan.
  • Nama fitur yang memiliki diferensiasi performa atau penyimpangan.
  • Nilai minimum pemberitahuan serta ukuran jarak statistik yang dicatat.

Cloud Logging

Untuk mengaktifkan pemberitahuan Cloud Logging, tetapkan kolom enableLogging dari konfigurasi ModelMonitoringAlertConfig ke true.

Pada setiap interval pemantauan, log anomali ditulis ke Cloud Logging jika distribusi dari setidaknya satu fitur melebihi nilai minimum untuk fitur tersebut. Anda dapat meneruskan log ke layanan apa pun yang didukung Cloud Logging, seperti Pub/Sub.

Anomali ditulis ke Cloud Logging dengan nama log: model_monitoring_anomaly. Contoh:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring_anomaly" resource.labels.model_deployment_monitoring_job=6680511704087920640

Berikut adalah contoh entri log anomali: 

{
"insertId": "b0e9c0e9-0979-4aff-a5d3-4c0912469f9a@a1",
"jsonPayload": {
  "anomalyObjective": "RAW_FEATURE_SKEW",
  "endTime": "2022-02-03T19:00:00Z",
  "featureAnomalies": [
    {
      "featureDisplayName": "age",
      "deviation": 0.9,
      "threshold": 0.7
    },
    {
      "featureDisplayName": "education",
      "deviation": 0.6,
      "threshold": 0.3
    }
  ],
  "totalAnomaliesCount": 2,
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringAnomaliesLogEntry",
  "startTime": "2022-02-03T18:00:00Z",
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640",
  "deployedModelId": "1645828169292316672"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-03T19:00:00Z",
"severity": "WARNING",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring_anomaly",
"receiveTimestamp": "2022-02-03T19:59:52.121398388Z"
}

Saluran notifikasi

Pada setiap interval pemantauan, jika nilai minimum dari setidaknya satu fitur melebihi batas, Pemantauan Model akan mengirimkan pemberitahuan ke saluran notifikasi Cloud Monitoring yang Anda tentukan saat membuat tugas Pemantauan Model. Pemberitahuan tersebut berisi informasi tentang tugas Pemantauan Model yang memicu pemberitahuan.

Memperbarui tugas Pemantauan Model

Anda dapat melihat, memperbarui, menjeda, dan menghapus tugas Pemantauan Model. Anda harus menjeda tugas sebelum dapat menghapusnya.

Konsol

Penjedaan dan penghapusan tidak didukung di konsol Google Cloud; gunakan gcloud CLI.

Untuk memperbarui parameter tugas Pemantauan Model:

  1. Di konsol Google Cloud, buka halaman Vertex AI Endpoints.

    Buka Endpoint

  2. Klik nama endpoint yang ingin Anda edit.

  3. Klik Edit setelan.

  4. Di panel Edit endpoint, pilih Pemantauan model atau Objektif pemantauan.

  5. Perbarui kolom yang ingin diubah.

  6. Klik Perbarui.

Untuk melihat metrik, pemberitahuan, dan properti pemantauan untuk model:

  1. Di konsol Google Cloud, buka halaman Vertex AI Endpoints.

    Buka Endpoint

  2. Klik nama endpoint.

  3. Di kolom Pemantauan untuk model yang ingin Anda lihat, klik Aktifkan.

gcloud

Jalankan perintah berikut:

gcloud ai model-monitoring-jobs COMMAND MONITORING_JOB_ID \
  --PARAMETER=VALUE --project=PROJECT_ID --region=LOCATION

dengan:

  • COMMAND adalah perintah yang ingin Anda lakukan pada tugas pemantauan. Misalnya, update, pause, resume, or delete. Untuk mengetahui informasi selengkapnya, lihat referensi gcloud CLI.

  • MONITORING_JOB_ID adalah ID tugas pemantauan Anda. Contoh, 123456789. Anda dapat menemukan ID dengan [mengambil informasi endpoint][retrieve-id] atau melihat Properti pemantauan untuk model di konsol Google Cloud. ID ini disertakan dalam nama resource tugas pemantauan dalam format projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID.

  • (opsional) PARAMETER=VALUE adalah parameter yang ingin Anda perbarui. Flag ini hanya diperlukan saat menggunakan perintah update. Contoh, monitoring-frequency=2. Untuk mengetahui daftar parameter yang dapat Anda perbarui, lihat referensi gcloud CLI.

  • PROJECT_ID adalah ID untuk project Google Cloud Anda. Contoh, my-project.

  • LOCATION adalah lokasi untuk tugas pemantauan Anda. Contoh, us-central1.

REST API

Menjeda tugas

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_NUMBER: nomor project Google Cloud Anda. Contoh, 1234567890.
  • LOCATION: Lokasi untuk tugas pemantauan Anda. Contoh, us-central1.
  • MONITORING_JOB_ID: ID tugas pemantauan Anda. Contoh, 0987654321.

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan menerima respons JSON yang mirip dengan yang berikut ini:

{}

Menghapus tugas

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_NUMBER: nomor project Google Cloud Anda. Contoh, my-project.
  • LOCATION: Lokasi untuk tugas pemantauan Anda. Contoh, us-central1.
  • MONITORING_JOB_ID: ID tugas pemantauan Anda. Contoh, 0987654321.

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan menerima respons JSON yang mirip dengan yang berikut ini:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/operations/MONITORING_JOB_ID",
  ...
  "done": true,
  ...
}

Menganalisis diferensiasi performa dan penyimpangan data

Anda dapat menggunakan konsol Google Cloud untuk memvisualisasikan distribusi setiap fitur yang dipantau dan mempelajari perubahan mana yang menyebabkan diferensiasi performa atau penyimpangan dari waktu ke waktu. Anda dapat melihat distribusi nilai fitur sebagai histogram.

Konsol

  1. Untuk membuka histogram distribusi fitur di konsol Google Cloud, buka halaman Endpoint.

    Buka Endpoint

  2. Di halaman Endpoint, klik endpoint yang ingin Anda analisis.

  3. Di halaman detail endpoint yang Anda pilih, terdapat daftar semua model yang di-deploy pada endpoint tersebut. Klik nama model yang akan dianalisis.

  4. Halaman detail untuk model mencantumkan fitur input model, beserta informasi terkait, seperti nilai minimum pemberitahuan untuk setiap fitur dan jumlah pemberitahuan sebelumnya untuk fitur tersebut.

  5. Untuk menganalisis fitur, klik nama fitur tersebut. Halaman menampilkan histogram distribusi fitur untuk fitur tersebut.

    Untuk setiap fitur yang dipantau, Anda dapat melihat distribusi 50 tugas pemantauan terbaru di konsol Google Cloud. Untuk deteksi diferensiasi performa, distribusi data pelatihan ditampilkan tepat di samping distribusi data input:

    Histogram menunjukkan contoh distribusi data input dan distribusi data pelatihan untuk deteksi diferensiasi performa.

    Memvisualisasikan distribusi data sebagai histogram memungkinkan Anda dengan cepat berfokus pada perubahan yang terjadi dalam data. Setelah itu, Anda dapat memutuskan untuk menyesuaikan pipeline pembuatan fitur atau melatih kembali model.

Langkah berikutnya