特徴のスキューとドリフトをモニタリングする

このページでは、オンライン予測エンドポイントにデプロイされたモデルの Model Monitoring ジョブの結果を作成、管理、解釈する方法について説明します。Vertex AI Model Monitoring は、カテゴリ入力特徴および数値入力特徴のために、特徴のスキューとドリフトの検出をサポートします。

モデルが本番環境にデプロイされ、Model Monitoring が有効になっている場合、その受信予測リクエストは Google Cloud プロジェクトの BigQuery テーブルに記録されます。ログに記録されたリクエストに含まれる入力特徴値が分析され、スキューまたはドリフトが検出されます。

モデルに元のトレーニングデータセットを提供する場合は、スキュー検出を有効にできます。それ以外の場合は、ドリフト検出を有効にする必要があります。詳細については、Vertex AI Model Monitoring の概要をご覧ください。

前提条件

Model Monitoring を使用するには、次の手順を行います。

Vertex AI で使用可能な、表形式の AutoML またはインポートされた表形式のカスタムトレーニングのいずれかのタイプのモデルを用意します。
- 既存のエンドポイントを使用している場合は、エンドポイントにデプロイされたすべてのモデルが、表形式の AutoML またはインポートされたカスタムトレーニングタイプであることを確認します。
スキュー検出を有効にする場合は、トレーニングデータを Cloud Storage または BigQuery にアップロードし、そのデータの URI リンクを取得します。ドリフト検出の場合、トレーニングデータは必要ありません。
省略可: カスタムトレーニングされたモデルの場合は、モデルの分析インスタンススキーマを Cloud Storage にアップロードします。 Model Monitoring では、モニタリングプロセスを開始し、スキュー検出のベースライン分布を計算するためにスキーマが必要です。ジョブの作成時にスキーマを指定しない場合、Model Monitoring が、モデルが受け取った最初の 1,000 件の予測リクエストからスキーマを自動的に解析できるようになるまで、ジョブは保留状態のままになります。

Model Monitoring ジョブの作成

スキュー検出またはドリフト検出を設定するには、モデルのデプロイのモニタリングジョブを作成します。

コンソール

Google Cloud コンソールを使用してモデルのデプロイのモニタリングジョブを作成するには、エンドポイントを作成します。

Google Cloud Console で、Vertex AI の [エンドポイント] ページに移動します。

[エンドポイント] に移動
[エンドポイントの作成] をクリックします。
[新しいエンドポイント] ペインで、エンドポイントの名前を指定して、リージョンを設定します。
[続行] をクリックします。
[モデル名] フィールドで、インポートされたカスタムトレーニングまたは表形式の AutoML モデルを選択します。
[バージョン] フィールドで、モデルのバージョンを選択します。
[続行] をクリックします。
[モデルのモニタリング] ペインで、[このエンドポイントのモデルのモニタリングを有効にする] がオンになっていることを確認します。構成したモニタリングの設定は、このエンドポイントにデプロイされたすべてのモデルに適用されます。
[モニタリングジョブの表示名] を入力します。
[モニタリングウィンドウの長さ] を入力します。
[通知メール] に、モデルがアラートのしきい値を超えたときにアラートを受け取るメールアドレスを、カンマ区切り形式で 1 つ以上入力します。
省略可: 通知チャネルの場合、モデルがアラートのしきい値を超えたときにアラートを受け取るには、Cloud Monitoring チャネルを追加します。[通知チャンネルを管理] をクリックして、既存の Cloud Monitoring チャネルを選択するか、新しい Cloud Monitoring チャネルを作成できます。コンソールでは、PagerDuty、Slack、Pub/Sub 通知チャネルがサポートされています。
[サンプリングレート] を入力します。
省略可: [予測入力スキーマ] と [分析入力スキーマ] を入力します。
[続行] をクリックします。[モニタリングの目標] ペインが開き、スキュー検出またはドリフト検出のオプションが表示されます。
スキュー検出
1. [トレーニングサービングスキューの検出] を選択します。
2. [トレーニングデータソース] で、トレーニングデータソースを入力します。
3. [ターゲット列] に、モデルをトレーニングして予測するトレーニングデータの列名を入力します。このフィールドはモニタリング分析から除外されます。
4. （省略可）[アラートのしきい値] で、アラートをトリガーするしきい値を指定します。しきい値の形式については、ヘルプアイコンの上にポインタを置いてください。
5. [作成] をクリックします。
ドリフト検出
1. [予測ドリフト検出] を選択します。
2. （省略可）[アラートのしきい値] で、アラートをトリガーするしきい値を指定します。しきい値の形式については、ヘルプアイコンの上にポインタを置いてください。
3. [作成] をクリックします。

gcloud

gcloud CLI を使用してモデルデプロイのモニタリングジョブを作成するには、まずエンドポイントにモデルをデプロイします。

モニタリングジョブの構成は、エンドポイントにデプロイされたすべてのモデルに適用されます。

gcloud ai model-monitoring-jobs create コマンドを実行します。

gcloud ai model-monitoring-jobs create \
  --project=PROJECT_ID \
  --region=REGION \
  --display-name=MONITORING_JOB_NAME \
  --emails=EMAIL_ADDRESS_1,EMAIL_ADDRESS_2 \
  --endpoint=ENDPOINT_ID \
  [--feature-thresholds=FEATURE_1=THRESHOLD_1, FEATURE_2=THRESHOLD_2] \
  [--prediction-sampling-rate=SAMPLING_RATE] \
  [--monitoring-frequency=MONITORING_FREQUENCY] \
  [--analysis-instance-schema=ANALYSIS_INSTANCE_SCHEMA] \
  --target-field=TARGET_FIELD \
  --bigquery-uri=BIGQUERY_URI

ここで

PROJECT_ID は、Google Cloud プロジェクトの ID です。例: my-project
REGION は、モニタリングジョブのロケーションです。例: us-central1
MONITORING_JOB_NAME は、モニタリングジョブの名前です。例: my-job
EMAIL_ADDRESS は、Model Monitoring からアラートを受け取るメールアドレスです。例: example@example.com
ENDPOINT_ID は、モデルがデプロイされるエンドポイントの ID です。例: 1234567890987654321。
省略可: FEATURE_1=THRESHOLD_1 は、モニタリングする各特徴のアラートしきい値です。たとえば、Age=0.4 を指定した場合、Age 特徴について入力分布とベースライン分布の間の統計的距離が 0.4 を超えると、Model Monitoring によってアラートがログに記録されます。デフォルトでは、すべてのカテゴリ特徴と数値特徴がモニタリングされ、しきい値は 0.3 です。
省略可: SAMPLING_RATE は、ログに記録する受信予測リクエストの割合です。例: 0.5。指定しない場合、Model Monitoring はすべての予測リクエストをログに記録します。
省略可: MONITORING_FREQUENCY は、最近ログに記録された入力に対してモニタリングジョブを実行する頻度です。最小粒度は 1 時間です。デフォルトは 24 時間です。例: 2
省略可: ANALYSIS_INSTANCE_SCHEMA は、入力データの形式を記述するスキーマファイルの Cloud Storage URI です。例: gs://test-bucket/schema.yaml
（スキュー検出の場合のみ必須）TARGET_FIELD は、モデルによって予測されるフィールドです。このフィールドはモニタリング分析から除外されます。例: housing-price
（スキュー検出の場合のみ必須）BIGQUERY_URI は、次の形式で BigQuery に保存されているトレーニングデータセットへのリンクです。
```
bq://\PROJECT.\DATASET.\TABLE
```
例: bq://\my-project.\housing-data.\san-francisco

bigquery-uri フラグは、トレーニングデータセットへの代替リンクに置き換えることができます。
- Cloud Storage バケットに保存されている CSV ファイルの場合は、--data-format=csv --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME を使用します。
- Cloud Storage バケットに保存されている TFRecord ファイルの場合は、--data-format=tf-record --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME を使用します。
- 表形式の AutoML マネージドデータセットの場合は、--dataset=DATASET_ID を使用します。

Python SDK

エンドツーエンドの Model Monitoring API ワークフローの詳細については、サンプルノートブックをご覧ください。

REST API

まだデプロイしていない場合は、エンドポイントにモデルをデプロイします。モデルのデプロイ手順のエンドポイント ID を取得するステップで、JSON レスポンスの deployedModels.id 値を後で使用するために記録します。
- AutoML 表形式分類 / 回帰モデルをデプロイします。
- カスタム表形式モデルをデプロイします。

モデルモニタリングジョブリクエストを作成します。以下の手順は、ドリフト検出の基本的なモニタリングジョブを作成する方法を示しています。JSON リクエストをカスタマイズするには、モニタリングジョブのリファレンスをご覧ください。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: Google Cloud プロジェクトの ID。例: my-project
LOCATION: モニタリングジョブのロケーション。例: us-central1
MONITORING_JOB_NAME: モニタリングジョブの名前。例: my-job
PROJECT_NUMBER: Google Cloud プロジェクトの番号。例: 1234567890
ENDPOINT_ID: モデルがデプロイされるエンドポイントの ID。例: 1234567890
DEPLOYED_MODEL_ID: デプロイされたモデルの ID。
FEATURE:VALUE は、モニタリングする各特徴のアラートしきい値です。たとえば、"Age": {"value": 0.4} を指定した場合、Age 特徴について入力分布とベースライン分布の間の統計的距離が 0.4 を超えると、Model Monitoring によってアラートがログに記録されます。デフォルトでは、すべてのカテゴリ特徴と数値特徴がモニタリングされ、しきい値は 0.3 です。
EMAIL_ADDRESS: Model Monitoring からアラートを受け取るメールアドレス。例: example@example.com
NOTIFICATION_CHANNELS: Model Monitoring からアラートを受け取る Cloud Monitoring 通知チャネルのリスト。通知チャネルのリソース名を使用します。これはプロジェクトの通知チャネルを一覧表示することで取得できます。例: "projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568"
省略可: ANALYSIS_INSTANCE_SCHEMA は、入力データの形式を記述するスキーマファイルの Cloud Storage URI です。例: gs://test-bucket/schema.yaml

JSON 本文のリクエスト:

{
  "displayName":"MONITORING_JOB_NAME",
  "endpoint":"projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
  "modelDeploymentMonitoringObjectiveConfigs": {
     "deployedModelId": "DEPLOYED_MODEL_ID",
     "objectiveConfig":  {
        "predictionDriftDetectionConfig": {
            "driftThresholds": {
              "FEATURE_1": {
                "value": VALUE_1
               },
              "FEATURE_2": {
                "value": VALUE_2
               }
            }
         },
      },
  },
  "loggingSamplingStrategy": {
     "randomSampleConfig":  {
        "sampleRate":  0.5,
     },
  },
  "modelDeploymentMonitoringScheduleConfig": {
     "monitorInterval": {
        "seconds": 3600,
     },
  },
  "modelMonitoringAlertConfig": {
     "emailAlertConfig": {
        "userEmails": ["EMAIL_ADDRESS"],
     },
     "notificationChannels": [NOTIFICATION_CHANNELS]
  },
  "analysisInstanceSchemaUri": ANALYSIS_INSTANCE_SCHEMA
}

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存します。ターミナルで次のコマンドを実行して、このファイルを現在のディレクトリに作成または上書きします。

cat > request.json << 'EOF'
{
  "displayName":"MONITORING_JOB_NAME",
  "endpoint":"projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
  "modelDeploymentMonitoringObjectiveConfigs": {
     "deployedModelId": "DEPLOYED_MODEL_ID",
     "objectiveConfig":  {
        "predictionDriftDetectionConfig": {
            "driftThresholds": {
              "FEATURE_1": {
                "value": VALUE_1
               },
              "FEATURE_2": {
                "value": VALUE_2
               }
            }
         },
      },
  },
  "loggingSamplingStrategy": {
     "randomSampleConfig":  {
        "sampleRate":  0.5,
     },
  },
  "modelDeploymentMonitoringScheduleConfig": {
     "monitorInterval": {
        "seconds": 3600,
     },
  },
  "modelMonitoringAlertConfig": {
     "emailAlertConfig": {
        "userEmails": ["EMAIL_ADDRESS"],
     },
     "notificationChannels": [NOTIFICATION_CHANNELS]
  },
  "analysisInstanceSchemaUri": ANALYSIS_INSTANCE_SCHEMA
}
EOF

その後、次のコマンドを実行して REST リクエストを送信します。

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/modelDeploymentMonitoringJobs"

PowerShell（Windows）

@'
{
  "displayName":"MONITORING_JOB_NAME",
  "endpoint":"projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
  "modelDeploymentMonitoringObjectiveConfigs": {
     "deployedModelId": "DEPLOYED_MODEL_ID",
     "objectiveConfig":  {
        "predictionDriftDetectionConfig": {
            "driftThresholds": {
              "FEATURE_1": {
                "value": VALUE_1
               },
              "FEATURE_2": {
                "value": VALUE_2
               }
            }
         },
      },
  },
  "loggingSamplingStrategy": {
     "randomSampleConfig":  {
        "sampleRate":  0.5,
     },
  },
  "modelDeploymentMonitoringScheduleConfig": {
     "monitorInterval": {
        "seconds": 3600,
     },
  },
  "modelMonitoringAlertConfig": {
     "emailAlertConfig": {
        "userEmails": ["EMAIL_ADDRESS"],
     },
     "notificationChannels": [NOTIFICATION_CHANNELS]
  },
  "analysisInstanceSchemaUri": ANALYSIS_INSTANCE_SCHEMA
}
'@  | Out-File -FilePath request.json -Encoding utf8

その後、次のコマンドを実行して REST リクエストを送信します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/modelDeploymentMonitoringJobs" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_NUMBER",
  ...
  "state": "JOB_STATE_PENDING",
  "scheduleState": "OFFLINE",
  ...
  "bigqueryTables": [
    {
      "logSource": "SERVING",
      "logType": "PREDICT",
      "bigqueryTablePath": "bq://PROJECT_ID.model_deployment_monitoring_8451189418714202112.serving_predict"
    }
  ],
  ...
}

モニタリングジョブが作成されると、Model Monitoring は PROJECT_ID.model_deployment_monitoring_ENDPOINT_ID.serving_predict という名前の生成された BigQuery テーブルに受信予測リクエストのログを記録します。リクエスト / レスポンスロギングが有効になっている場合、Model Monitoring は、リクエスト / レスポンスロギングと同じ BigQuery テーブルに受信リクエストのログを記録します。

（省略可）Model Monitoring ジョブのアラートを構成する

Model Monitoring ジョブのモニタリングとデバッグでアラートを使用できます。Model Monitoring は、ジョブの更新をメールで自動的に通知しますが、Cloud Logging と Cloud Monitoring の通知チャネルでアラートを設定することもできます。

メールアドレス

次のイベントが発生したとき、Model Monitoring は Model Monitoring ジョブの作成時に指定された各メールアドレスに、通知メールを送信します。

スキュー検出またはドリフト検出が設定されたとき。
既存の Model Monitoring ジョブの構成が更新されたとき。
スケジュール設定されたモニタリングパイプラインの実行が失敗したとき。

Cloud Logging

スケジュール設定されたモニタリングパイプラインの実行のログを有効にするには、modelDeploymentMonitoringJobs 構成の enableMonitoringPipelineLogs フィールドを true に設定します。モニタリングジョブが設定されると、モニタリング間隔ごとにデバッグログが Cloud Logging に書き込まれます。

デバッグログは、model_monitoring というログ名で Cloud Logging に書き込まれます。例:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring" resource.labels.model_deployment_monitoring_job=6680511704087920640

ジョブの進行状況のログエントリの例を次に示します。

{
"insertId": "e2032791-acb9-4d0f-ac73-89a38788ccf3@a1",
"jsonPayload": {
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringPipelineLogEntry",
  "statusCode": {
    "message": "Scheduled model monitoring pipeline finished successfully for job projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
  },
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-04T15:33:54.778883Z",
"severity": "INFO",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring",
"receiveTimestamp": "2022-02-04T15:33:56.343298321Z"
}

通知チャネル

スケジュールされたモニタリングパイプラインの実行が失敗するたびに、Model Monitoring は、Model Monitoring ジョブの作成時に指定した Cloud Monitoring 通知チャネルに通知を送信します。

特徴異常のアラートを構成する

特徴に設定されたしきい値を超えると、Model Monitoring が異常を検出します。Model Monitoring は、検出された異常をメールで自動的に通知しますが、Cloud Logging と Cloud Monitoring の通知チャネルでアラートを設定することもできます。

メールアドレス

モニタリング間隔ごとに、少なくとも 1 つの特徴値がしきい値を超えていれば、Model Monitoring は Model Monitoring ジョブの作成時に指定した各メールアドレスにメール通知アラートを送信します。このメールメッセージには次の内容が含まれます。

モニタリングジョブの実行時刻。
スキューまたはドリフトがある特徴の名前。
アラートのしきい値と記録された統計的距離の測定値。

Cloud Logging

Cloud Logging アラートを有効にするには、ModelMonitoringAlertConfig 構成の enableLogging フィールドを true に設定します。

各モニタリング間隔で、少なくとも 1 つの特徴の分布がその特徴のしきい値を超えると、異常ログが Cloud Logging に書き込まれます。ログは、Cloud Logging がサポートする任意のサービス（Pub/Sub など）に転送できます。

異常は、model_monitoring_anomaly というログ名で Cloud Logging に書き込まれます。例:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring_anomaly" resource.labels.model_deployment_monitoring_job=6680511704087920640

以下に、異常のログエントリの例を示します。

{
"insertId": "b0e9c0e9-0979-4aff-a5d3-4c0912469f9a@a1",
"jsonPayload": {
  "anomalyObjective": "RAW_FEATURE_SKEW",
  "endTime": "2022-02-03T19:00:00Z",
  "featureAnomalies": [
    {
      "featureDisplayName": "age",
      "deviation": 0.9,
      "threshold": 0.7
    },
    {
      "featureDisplayName": "education",
      "deviation": 0.6,
      "threshold": 0.3
    }
  ],
  "totalAnomaliesCount": 2,
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringAnomaliesLogEntry",
  "startTime": "2022-02-03T18:00:00Z",
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640",
  "deployedModelId": "1645828169292316672"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-03T19:00:00Z",
"severity": "WARNING",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring_anomaly",
"receiveTimestamp": "2022-02-03T19:59:52.121398388Z"
}

通知チャネル

モニタリング間隔ごとに、少なくとも 1 つの特徴値がしきい値を超えていれば、Model Monitoring は Model Monitoring ジョブの作成時に指定した Cloud Monitoring 通知チャネルにアラートを送信します。このアラートには、アラートをトリガーした Model Monitoring ジョブに関する情報が含まれます。

Model Monitoring ジョブの更新

Model Monitoring ジョブは、次の方法で表示、更新、一時停止、削除できます。ジョブを削除するには、ジョブを一時停止する必要があります。

コンソール

Google Cloud コンソールでは、一時停止と削除はサポートされていません。代わりに gcloud CLI を使用してください。

Model Monitoring ジョブのパラメータを更新するには

Google Cloud コンソールで、[Vertex AI エンドポイント] ページに移動します。

エンドポイントに移動
編集するエンドポイントの名前をクリックします。
[設定を編集] をクリックします。
[エンドポイントの編集] ペインで、[モデルのモニタリング] または [モニタリングの目的] を選択します。

注: 既存のエンドポイントで Model Monitoring を有効にするには、[モデルのモニタリング] で [このエンドポイントのモデルのモニタリングを有効にする] がオンになっていることを確認します。
変更するフィールドを更新します。
[更新] をクリックします。

モデルの指標、アラート、モニタリングプロパティを表示するには

Google Cloud コンソールで、[Vertex AI エンドポイント] ページに移動します。

エンドポイントに移動します
エンドポイントの名前をクリックします。
表示するモデルの [モニタリング] 列で、[有効] をクリックします。

gcloud

次のコマンドを実行します。

gcloud ai model-monitoring-jobs COMMAND MONITORING_JOB_ID \
  --PARAMETER=VALUE --project=PROJECT_ID --region=LOCATION

ここで

COMMAND は、モニタリングジョブで実行するコマンドです。たとえば、update、pause、resume、delete などです。詳細については、gcloud CLI リファレンスをご覧ください。
MONITORING_JOB_ID は、モニタリングジョブの ID です。例: 123456789[retrieving the endpoint information][retrieve-id] を行うか、Google Cloud コンソールでモデルの [モニタリングプロパティ] を表示して ID を確認できます。ID は、projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID の形式でモニタリングジョブのリソース名に含まれています。
（省略可）PARAMETER=VALUE は、更新するパラメータです。このフラグは、update コマンドを使用する場合にのみ必要です。例: monitoring-frequency=2。更新できるパラメータの一覧については、gcloud CLI リファレンスをご覧ください。
PROJECT_IDは Google Cloud プロジェクトの ID です。例: my-project
LOCATION は、モニタリングジョブのロケーションです。例: us-central1

REST API

ジョブの一時停止

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_NUMBER: Google Cloud プロジェクトの番号。例: 1234567890
LOCATION: モニタリングジョブのロケーション。例: us-central1
MONITORING_JOB_ID: モニタリングジョブの ID。例: 0987654321

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

次のコマンドを実行します。

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d "" \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID:pause"

PowerShell（Windows）

次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID:pause" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{}

ジョブを削除する

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_NUMBER: Google Cloud プロジェクトの番号。例: my-project
LOCATION: モニタリングジョブのロケーション。例: us-central1
MONITORING_JOB_ID: モニタリングジョブの ID。例: 0987654321

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

次のコマンドを実行します。

curl -X DELETE \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID"

PowerShell（Windows）

次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method DELETE `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/operations/MONITORING_JOB_ID",
  ...
  "done": true,
  ...
}

スキューデータとドリフトデータを分析する

Google Cloud コンソールを使用すると、モニタリング対象の各特徴の分布を可視化し、どの変更がスキューやドリフトを発生させたかを時系列で確認できます。特徴値の分布はヒストグラムとして表示できます。

コンソール

Google Cloud コンソールで特徴分布のヒストグラムに移動するには、[エンドポイント] ページに移動します。

エンドポイントに移動
[エンドポイント] ページで、分析するエンドポイントをクリックします。
選択したエンドポイントの詳細ページには、そのエンドポイントにデプロイされているすべてのモデルのリストが表示されます。分析するモデルの名前をクリックします。
モデルの詳細ページには、モデルの入力特徴と、各特徴のアラートしきい値や、特徴の以前のアラート数などの関連情報が一覧表示されます。
特徴を分析するには、特徴の名前をクリックします。その特徴の特徴分布のヒストグラムがページに表示されます。

モニタリング対象の特徴ごとに、Google Cloud コンソールで直近 50 個のモニタリングジョブの分布を確認できます。スキュー検出の場合は、トレーニングデータの分布が入力データの分布の隣に表示されます。

データ分布をヒストグラムとして可視化すると、データ内で発生した変更をすばやく確認できます。その後、特徴生成パイプラインの調整や、モデルの再トレーニングを決定できます。

次のステップ

API ドキュメントに従って Model Monitoring を使用する。
gcloud CLI ドキュメントに従って Model Monitoring を使用する。
Colab でサンプルノートブックを試すか、GitHub で表示する。
Model Monitoring がトレーニング / サービングスキューと予測ドリフトを計算する方法を学習する。