オンライン予測ロギング

AutoML 表形式モデル、AutoML 画像モデル、カスタム トレーニング モデルの場合、モデルのデプロイまたはエンドポイントの作成中に予測ログを有効または無効にできます。このページでは、さまざまな種類の予測ログと、それらのログを有効または無効にする方法を説明します。

予測ログの種類

予測ノードから情報を取得するために、次の 2 種類の予測ログを使用できます。

  • コンテナ ロギング。予測ノードから Cloud Logging に stdout ストリームと stderr ストリームが記録されます。これらのログはデバッグに不可欠で、重要です。

    • v1 サービス エンドポイントでは、コンテナ ロギングがデフォルトで有効になっています。エンドポイントにモデルをデプロイするときに、この機能を無効にできます。

    • v1beta1 サービス エンドポイントでは、コンテナ ロギングがデフォルトで無効になっています。エンドポイントにモデルをデプロイするときに、コンテナ ロギングを有効にできます。

  • アクセス ロギング。Cloud Logging に各リクエストのタイムスタンプやレイテンシなどの情報が記録されます。

    v1v1beta1 のサービス エンドポイントの両方で、アクセス ロギングはデフォルトで無効になっています。エンドポイントにモデルをデプロイするときに、アクセス ロギングを有効にできます。

  • リクエスト / レスポンス ロギング。オンライン予測リクエストとレスポンスのサンプルが BigQuery テーブルに記録されます。

    リクエスト / レスポンス ロギングを有効にするには、予測エンドポイントを作成するか、パッチを適用します。

各タイプのログを個別に有効または無効にできます。

予測ログの設定

エンドポイントを作成するとき、またはエンドポイントにモデルをデプロイするときに、オンライン予測ログを有効または無効にできます。

コンテナログまたはアクセスログのデフォルト設定を更新するには、モデルのデプロイを解除してから、新しい設定でモデルを再デプロイする必要があります。

秒間クエリ数(QPS)が非常に多いオンライン予測の場合、かなりの数のログが生成される可能性があります。これらのログには Cloud Logging の料金が適用されます。オンライン予測ログの料金を見積もるには、ロギングの請求の見積もりをご覧ください。この費用を減らすには、予測ロギングを無効にします。

予測ログを有効または無効にする

次の例では、デフォルトのログ設定を変更する場所がハイライト表示されています。

コンソール

コンソールでモデルをデプロイするか、コンソールで新しいエンドポイントを作成するときに、[ロギング] ステップで有効にする予測ログの種類を指定できます。チェックボックスを選択してアクセス ロギングまたはコンテナ ロギングを有効にします。これらのログを無効にするにはチェックボックスをオフにします。

REST API を使用してリクエスト / レスポンス ロギングを有効にします。コンソールと gcloud CLI では、リクエスト / レスポンス ロギング構成がサポートされていません。

モデルをデプロイする方法については、コンソールを使用したモデルのデプロイをご覧ください。

gcloud

デプロイされたモデルで有効なログのデフォルトの動作を変更するには、gcloud コマンドにフラグを追加します。

v1 サービス エンドポイント

gcloud ai endpoints deploy-model を実行します。

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

v1beta1 サービス エンドポイント

gcloud beta ai endpoints deploy-model を実行します。

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

REST API を使用してリクエスト / レスポンス ロギングを有効にします。コンソールと gcloud CLI では、リクエスト / レスポンス ロギング構成がサポートされていません。

モデルをデプロイする方法の詳細については、Vertex AI API を使用したモデルのデプロイをご覧ください。

REST とコマンドライン

デプロイされたモデルで有効なログのデフォルトの動作を変更するには、関連するフィールドを True に設定します。

v1 サービス エンドポイント

コンテナ ロギングを無効にするには、projects.locations.endpoints.deployModel でモデルをデプロイするときに disableContainerLogging フィールドを True に設定します。

アクセス ロギングを有効にするには、projects.locations.endpoints.deployModel でモデルをデプロイするときに enableAccessLoggingTrue に設定します。

v1beta1 サービス エンドポイント

コンテナ ロギングを有効にするには、projects.locations.endpoints.deployModel でモデルをデプロイするときに enableContainerLogging フィールドを True に設定します。

アクセス ロギングを有効にするには、projects.locations.endpoints.deployModel でモデルをデプロイするときに enableAccessLoggingTrue に設定します。<