Log dan metrik

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dokumen ini menjelaskan log dan metrik yang dikumpulkan dan diekspor oleh Gemini di Google Distributed Cloud Connected API.

Mengonfigurasi logging dan pemantauan

Sebelum dapat mulai mengumpulkan log dan metrik, Anda harus melakukan hal berikut:

1. Aktifkan API logging menggunakan perintah berikut:

   gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
   gcloud services enable logging.googleapis.com --project PROJECT_ID
   gcloud services enable monitoring.googleapis.com --project PROJECT_ID
   

   Ganti PROJECT_ID dengan ID project Google Cloud target.

2. Berikan peran yang diperlukan untuk menulis log dan metrik:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/opsconfigmonitoring.resourceMetadata.writer \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/logging.logWriter \
        --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/monitoring.metricWriter \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"
   

   Ganti PROJECT_ID dengan ID project Google Cloud target.

Log

Bagian ini mencantumkan jenis resource Cloud Logging yang didukung oleh Gemini di API yang terhubung ke GDC. Untuk melihat log API yang terhubung ke Gemini di GDC, gunakan Logs Explorer di konsol Google Cloud . Logging Gemini di API terhubung GDC} selalu diaktifkan.

Jenis resource yang dicatat oleh API yang terhubung ke Gemini di GDC yang terhubung adalah aiplatform.googleapis.com/Endpoint.

Anda juga dapat merekam dan mengambil log yang terhubung ke API dan terhubung ke GDC Gemini dengan menggunakan Cloud Logging API. Untuk mengetahui informasi tentang cara mengonfigurasi mekanisme logging ini, lihat dokumentasi untuk library klien Cloud Logging.

Metrik

Bagian ini mencantumkan metrik Cloud Monitoring yang didukung oleh Gemini di GDC API yang terhubung. Untuk melihat metrik API yang terhubung ke Gemini di GDC, gunakan Metrics Explorer di konsol Google Cloud .

Metrik cluster Distributed Cloud terhubung

Endpoint API Gemini di GDC connected di-deploy di cluster Distributed Cloud connected. Lihat Log dan metrik untuk mengetahui informasi tentang log dan metrik untuk Distributed Cloud terhubung.

Metrik Inference Gateway

Nama Metrik Prometheus	Jenis Metrik	Jenis data	Label	Jenis ahli kimia	Chemist metric_kind	Chemist value_type	Label apoteker
ig_ops_successful_incoming_requests	Penghitung		model	aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests	KUMULATIF	INT64	model
ig_ops_unique_users	Penghitung		model	aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users	KUMULATIF	INT64	model
ig_tokens_per_minute	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min	KUMULATIF	DISTRIBUSI	model
ig_total_response_time	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time	KUMULATIF	DISTRIBUSI	model
ig_ops_ffmpeg_image_latency	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies	KUMULATIF	DISTRIBUSI	model
ig_ops_ffmpeg_video_latency	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies	KUMULATIF	DISTRIBUSI	model
ig_ops_ffmpeg_audio_latency	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies	KUMULATIF	DISTRIBUSI	model
ig_time_to_first_token	Histogram	double	model context_window	aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft	KUMULATIF	DISTRIBUSI	model context_window
ig_time_per_output_token	Histogram	double	model context_window	aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot	KUMULATIF	DISTRIBUSI	model context_window
ig_cache_hit	Penghitung		model	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count	KUMULATIF	DISTRIBUSI	model _gdch_project
ig_cache_miss	Penghitung		model	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count	KUMULATIF	DISTRIBUSI	model _gdch_project

Metrik GenAI Router

Nama Metrik Prometheus	Jenis Metrik	Jenis data	Label	Jenis ahli kimia	Chemist metric_kind	Chemist value_type	Label apoteker
llm_total_request_latency_milliseconds	Histogram	double	Model context_window	aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies	KUMULATIF	DISTRIBUSI	Model context_window
llm_unary_request_latency_milliseconds	Histogram	double	Model context_window	aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies	KUMULATIF	DISTRIBUSI	Model context_window
llm_streaming_ttft_milliseconds	Histogram	double	Model context_window	aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms	KUMULATIF	DISTRIBUSI	Model context_window
llm_streaming_tpot_milliseconds	Histogram	double	Model context_window	aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms	KUMULATIF	DISTRIBUSI	Model context_window
llm_input_token_count	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count	KUMULATIF	DISTRIBUSI	model
llm_output_token_count	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count	KUMULATIF	DISTRIBUSI	model
llm_success_response_count	Penghitung	double	model	aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count	KUMULATIF	INT64	model
llm_failure_response_count	Penghitung	double	model	aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count	KUMULATIF	INT64	model
llm_text_tokenization_latency_milliseconds	Histogram	double	model	aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies	KUMULATIF	DISTRIBUSI	model
llm_image_tokenization_latency_milliseconds	Histogram	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies	KUMULATIF	DISTRIBUSI
llm_audio_tokenization_latency_milliseconds	Histogram	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies	KUMULATIF	DISTRIBUSI

Metrik GPU

Nama Metrik Prometheus	Jenis Metrik	Jenis data	Label	Jenis ahli kimia	Chemist metric_kind	Chemist value_type	Label apoteker
DCGM_FI_DEV_MEM_COPY_UTIL	Meteran	int64	gpu UUID pci_bus_id device modelName Hostname DCGM_FI_DRIVER_VERSION	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util	GAUGE	INT64	uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP	Meteran	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp	GAUGE	INT64	Sama seperti di atas
DCGM_FI_DEV_POWER_USAGE	Meteran	double	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage	GAUGE	DOUBLE	Sama seperti di atas
DCGM_FI_DEV_GPU_TEMP	Meteran	double	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp	GAUGE	INT64	Sama seperti di atas
DCGM_FI_DEV_GPU_UTIL	Meteran	double	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util	GAUGE	INT64	Sama seperti di atas
DCGM_FI_DEV_ENC_UTIL	Meteran	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util	GAUGE	INT64	Sama seperti di atas
DCGM_FI_DEV_XID_ERRORS	Penghitung	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors	KUMULATIF	INT64	Sama seperti di atas
DCGM_FI_DEV_POWER_VIOLATION	Penghitung	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power	KUMULATIF	INT64	Sama seperti di atas
DCGM_FI_DEV_THERMAL_VIOLATION	Penghitung	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal	KUMULATIF	INT64	Sama seperti di atas
DCGM_FI_DEV_SYNC_BOOST_VIOLATION	Penghitung	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost	KUMULATIF	INT64	Sama seperti di atas
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION	Penghitung	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit	KUMULATIF	INT64	Sama seperti di atas
DCGM_FI_DEV_LOW_UTIL_VIOLATION	Penghitung	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util	KUMULATIF	INT64	Sama seperti di atas
DCGM_FI_DEV_RELIABILITY_VIOLATION	Penghitung	int64	Sama seperti di atas	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability	KUMULATIF	INT64	Sama seperti di atas