ログと指標

このドキュメントでは、Gemini on Google Distributed Cloud connected API が収集してエクスポートするログと指標について説明します。

ロギングとモニタリングの構成

ログと指標の収集を開始する前に、次の操作を行う必要があります。

  1. 次のコマンドを使用して、ロギング API を有効にします。

    gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
gcloud services enable logging.googleapis.com --project PROJECT_ID
gcloud services enable monitoring.googleapis.com --project PROJECT_ID

    PROJECT_ID は、ターゲット Google Cloud プロジェクトの ID に置き換えます。

  2. ログと指標の書き込みに必要なロールを付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/opsconfigmonitoring.resourceMetadata.writer \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/logging.logWriter \
     --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/monitoring.metricWriter \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"

    PROJECT_ID は、ターゲット Google Cloud プロジェクトの ID に置き換えます。

ログ

このセクションでは、Gemini on GDC connected API でサポートされている Cloud Logging リソースタイプの一覧を示します。Gemini on GDC 接続 API ログを表示するには、 Google Cloud コンソールのログ エクスプローラを使用します。Gemini on GDC connected API} ロギングは常に有効です。

Gemini on GDC 接続 API 接続ログのリソースタイプは aiplatform.googleapis.com/Endpoint です。

Cloud Logging API を使用して、Gemini on GDC 接続 API 接続ログをキャプチャして取得することもできます。このロギング メカニズムの構成方法については、Cloud Logging クライアント ライブラリのドキュメントをご覧ください。

指標

このセクションでは、Gemini on GDC 接続 API でサポートされている Cloud Monitoring 指標を示します。Gemini on GDC 接続 API 指標を表示するには、Google Cloud コンソールの Metrics Explorer を使用します。

Distributed Cloud コネクテッド クラスタの指標

Gemini on GDC connected API エンドポイントは、Distributed Cloud connected クラスタにデプロイされます。Distributed Cloud Connected のログと指標については、ログと指標をご覧ください。

推論 Gateway の指標

Prometheus 指標名 指標タイプ Datatype ラベル 化学物質の種類 Chemist metric_kind Chemist の value_type 薬剤師ラベル
ig_ops_successful_incoming_requests カウンタ モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests CUMULATIVE INT64 モデル
ig_ops_unique_users カウンタ モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users CUMULATIVE INT64 モデル
ig_tokens_per_minute ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min CUMULATIVE DISTRIBUTION モデル
ig_total_response_time ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time CUMULATIVE DISTRIBUTION モデル
ig_ops_ffmpeg_image_latency ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies CUMULATIVE DISTRIBUTION モデル
ig_ops_ffmpeg_video_latency ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies CUMULATIVE DISTRIBUTION モデル
ig_ops_ffmpeg_audio_latency ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies CUMULATIVE DISTRIBUTION モデル
ig_time_to_first_token ヒストグラム double モデルのコンテキスト ウィンドウ aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft CUMULATIVE DISTRIBUTION モデルのコンテキスト ウィンドウ
ig_time_per_output_token ヒストグラム double モデルのコンテキスト ウィンドウ aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot CUMULATIVE DISTRIBUTION モデルのコンテキスト ウィンドウ
ig_cache_hit カウンタ モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count CUMULATIVE DISTRIBUTION model _gdch_project
ig_cache_miss カウンタ モデル aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count CUMULATIVE DISTRIBUTION model _gdch_project

GenAI Router の指標

Prometheus 指標名 指標タイプ Datatype ラベル 化学物質の種類 Chemist metric_kind Chemist の value_type 薬剤師ラベル
llm_total_request_latency_milliseconds ヒストグラム double context_window モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies CUMULATIVE DISTRIBUTION context_window モデル
llm_unary_request_latency_milliseconds ヒストグラム double context_window モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies CUMULATIVE DISTRIBUTION context_window モデル
llm_streaming_ttft_milliseconds ヒストグラム double context_window モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms CUMULATIVE DISTRIBUTION context_window モデル
llm_streaming_tpot_milliseconds ヒストグラム double context_window モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms CUMULATIVE DISTRIBUTION context_window モデル
llm_input_token_count ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count CUMULATIVE DISTRIBUTION モデル
llm_output_token_count ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count CUMULATIVE DISTRIBUTION モデル
llm_success_response_count カウンタ double モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count CUMULATIVE INT64 モデル
llm_failure_response_count カウンタ double モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count CUMULATIVE INT64 モデル
llm_text_tokenization_latency_milliseconds ヒストグラム double モデル aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies CUMULATIVE DISTRIBUTION モデル
llm_image_tokenization_latency_milliseconds ヒストグラム double aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies CUMULATIVE DISTRIBUTION
llm_audio_tokenization_latency_milliseconds ヒストグラム double aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies CUMULATIVE DISTRIBUTION

GPU 指標

Prometheus 指標名 指標タイプ Datatype ラベル 化学物質の種類 Chemist metric_kind Chemist の value_type 薬剤師ラベル
DCGM_FI_DEV_MEM_COPY_UTIL ゲージ int64 gpu UUID pci_bus_id device modelName Hostname DCGM_FI_DRIVER_VERSION aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util GAUGE INT64 uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP ゲージ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp GAUGE INT64 上記と同じ
DCGM_FI_DEV_POWER_USAGE ゲージ double 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage GAUGE DOUBLE 上記と同じ
DCGM_FI_DEV_GPU_TEMP ゲージ double 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp GAUGE INT64 上記と同じ
DCGM_FI_DEV_GPU_UTIL ゲージ double 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util GAUGE INT64 上記と同じ
DCGM_FI_DEV_ENC_UTIL ゲージ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util GAUGE INT64 上記と同じ
DCGM_FI_DEV_XID_ERRORS カウンタ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors CUMULATIVE INT64 上記と同じ
DCGM_FI_DEV_POWER_VIOLATION カウンタ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power CUMULATIVE INT64 上記と同じ
DCGM_FI_DEV_THERMAL_VIOLATION カウンタ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal CUMULATIVE INT64 上記と同じ
DCGM_FI_DEV_SYNC_BOOST_VIOLATION カウンタ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost CUMULATIVE INT64 上記と同じ
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION カウンタ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit CUMULATIVE INT64 上記と同じ
DCGM_FI_DEV_LOW_UTIL_VIOLATION カウンタ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util CUMULATIVE INT64 上記と同じ
DCGM_FI_DEV_RELIABILITY_VIOLATION カウンタ int64 上記と同じ aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability CUMULATIVE INT64 上記と同じ