日志和指标

本文档介绍了 Gemini on Google Distributed Cloud Connected API 收集和导出的日志和指标。

配置日志记录和监控

您必须先执行以下操作，然后才能开始收集日志和指标：

使用以下命令启用日志记录 API：

gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
gcloud services enable logging.googleapis.com --project PROJECT_ID
gcloud services enable monitoring.googleapis.com --project PROJECT_ID

将 PROJECT_ID 替换为目标 Google Cloud 项目的 ID。

授予写入日志和指标所需的角色：

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/opsconfigmonitoring.resourceMetadata.writer \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/logging.logWriter \
     --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --role roles/monitoring.metricWriter \
    --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"

将 PROJECT_ID 替换为目标 Google Cloud 项目的 ID。

日志

本部分列出了 Gemini on GDC connected API 支持的 Cloud Logging 资源类型。如需查看 Gemini on GDC connected API 日志，请使用 Google Cloud 控制台中的日志浏览器。Gemini on GDC connected API} 日志记录始终处于启用状态。

Gemini on GDC 已连接的 API 已连接的已记录资源类型为 aiplatform.googleapis.com/Endpoint。

您还可以使用 Cloud Logging API 捕获和检索 Gemini on GDC 连接的 API 连接日志。如需了解如何配置此日志记录机制，请参阅 Cloud Logging 客户端库的相关文档。

指标

本部分列出了 Gemini on GDC Connected API 支持的 Cloud Monitoring 指标。如需查看 Gemini on GDC connected API 指标，请使用Google Cloud 控制台中的 Metrics Explorer。

Distributed Cloud Connected 集群指标

GDC Connected 上的 Gemini API 端点部署在 Distributed Cloud Connected 集群上。如需了解 Distributed Cloud Connected 的日志和指标，请参阅日志和指标。

推理网关指标

Prometheus 指标名称	指标类型	数据类型	标签	化学家类型	Chemist metric_kind	Chemist value_type	药剂师标签
ig_ops_successful_incoming_requests	计数器		模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests	累计	INT64	模型
ig_ops_unique_users	计数器		模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users	累计	INT64	模型
ig_tokens_per_minute	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min	累计	DISTRIBUTION	模型
ig_total_response_time	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time	累计	DISTRIBUTION	模型
ig_ops_ffmpeg_image_latency	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies	累计	DISTRIBUTION	模型
ig_ops_ffmpeg_video_latency	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies	累计	DISTRIBUTION	模型
ig_ops_ffmpeg_audio_latency	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies	累计	DISTRIBUTION	模型
ig_time_to_first_token	直方图	双精度	模型上下文窗口	aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft	累计	DISTRIBUTION	模型上下文窗口
ig_time_per_output_token	直方图	双精度	模型上下文窗口	aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot	累计	DISTRIBUTION	模型上下文窗口
ig_cache_hit	计数器		模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count	累计	DISTRIBUTION	model _gdch_project
ig_cache_miss	计数器		模型	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count	累计	DISTRIBUTION	model _gdch_project

GenAI 路由器指标

Prometheus 指标名称	指标类型	数据类型	标签	化学家类型	Chemist metric_kind	Chemist value_type	药剂师标签
llm_total_request_latency_milliseconds	直方图	双精度	context_window 模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies	累计	DISTRIBUTION	context_window 模型
llm_unary_request_latency_milliseconds	直方图	双精度	context_window 模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies	累计	DISTRIBUTION	context_window 模型
llm_streaming_ttft_milliseconds	直方图	双精度	context_window 模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms	累计	DISTRIBUTION	context_window 模型
llm_streaming_tpot_milliseconds	直方图	双精度	context_window 模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms	累计	DISTRIBUTION	context_window 模型
llm_input_token_count	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count	累计	DISTRIBUTION	模型
llm_output_token_count	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count	累计	DISTRIBUTION	模型
llm_success_response_count	计数器	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count	累计	INT64	模型
llm_failure_response_count	计数器	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count	累计	INT64	模型
llm_text_tokenization_latency_milliseconds	直方图	双精度	模型	aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies	累计	DISTRIBUTION	模型
llm_image_tokenization_latency_milliseconds	直方图	双精度		aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies	累计	DISTRIBUTION
llm_audio_tokenization_latency_milliseconds	直方图	双精度		aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies	累计	DISTRIBUTION

GPU 指标

Prometheus 指标名称	指标类型	数据类型	标签	化学家类型	Chemist metric_kind	Chemist value_type	药剂师标签
DCGM_FI_DEV_MEM_COPY_UTIL	仪表盘	int64	gpu UUID pci_bus_id 设备 modelName 主机名 DCGM_FI_DRIVER_VERSION	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util	仪表盘	INT64	uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP	仪表盘	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp	仪表盘	INT64	同上
DCGM_FI_DEV_POWER_USAGE	仪表盘	双精度	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage	仪表盘	DOUBLE	同上
DCGM_FI_DEV_GPU_TEMP	仪表盘	双精度	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp	仪表盘	INT64	同上
DCGM_FI_DEV_GPU_UTIL	仪表盘	双精度	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util	仪表盘	INT64	同上
DCGM_FI_DEV_ENC_UTIL	仪表盘	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util	仪表盘	INT64	同上
DCGM_FI_DEV_XID_ERRORS	计数器	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors	累计	INT64	同上
DCGM_FI_DEV_POWER_VIOLATION	计数器	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power	累计	INT64	同上
DCGM_FI_DEV_THERMAL_VIOLATION	计数器	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal	累计	INT64	同上
DCGM_FI_DEV_SYNC_BOOST_VIOLATION	计数器	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost	累计	INT64	同上
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION	计数器	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit	累计	INT64	同上
DCGM_FI_DEV_LOW_UTIL_VIOLATION	计数器	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util	累计	INT64	同上
DCGM_FI_DEV_RELIABILITY_VIOLATION	计数器	int64	同上	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability	累计	INT64	同上