Logs und Messwerte

Vorabversion

Diese Funktion unterliegt den „Pre-GA-Angebotsbedingungen“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie gesehen“ verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie in den Beschreibungen der Produkteinführungsphasen.

In diesem Dokument werden die Logs und Messwerte beschrieben, die von der verbundenen API von Gemini on Google Distributed Cloud erfasst und exportiert werden.

Logging und Monitoring konfigurieren

Bevor Sie mit dem Erfassen von Logs und Messwerten beginnen können, müssen Sie Folgendes tun:

1. Aktivieren Sie die Logging APIs mit den folgenden Befehlen:

   gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
   gcloud services enable logging.googleapis.com --project PROJECT_ID
   gcloud services enable monitoring.googleapis.com --project PROJECT_ID
   

   Ersetzen Sie PROJECT_ID durch die ID des Zielprojekts Google Cloud .

2. Weisen Sie die Rollen zu, die zum Schreiben von Logs und Messwerten erforderlich sind:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/opsconfigmonitoring.resourceMetadata.writer \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/logging.logWriter \
        --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/monitoring.metricWriter \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"
   

   Ersetzen Sie PROJECT_ID durch die ID des Zielprojekts Google Cloud .

Logs

In diesem Abschnitt werden die Cloud Logging-Ressourcentypen aufgeführt, die von der Gemini on GDC connected API unterstützt werden. Wenn Sie sich Logs für die API für Gemini auf GDC Connected ansehen möchten, verwenden Sie den Log-Explorer in der Google Cloud Console. Die Protokollierung von Gemini auf GDC-verbundenen APIs ist immer aktiviert.

Der protokollierte Ressourcentyp für die API-Verbindung von Gemini on GDC connected ist aiplatform.googleapis.com/Endpoint.

Sie können auch Logs von Gemini on GDC-verbundenen APIs mit der Cloud Logging API erfassen und abrufen. Informationen zum Konfigurieren dieses Logging-Mechanismus finden Sie in der Dokumentation zu Cloud Logging-Clientbibliotheken.

Messwerte

In diesem Abschnitt werden die Cloud Monitoring-Messwerte aufgeführt, die von der Gemini on GDC-API unterstützt werden. Wenn Sie Messwerte für Gemini-APIs mit GDC-Verbindung aufrufen möchten, verwenden Sie den Metrics Explorer in derGoogle Cloud -Konsole.

Clustermesswerte für Distributed Cloud Connected

Gemini on GDC Connected API-Endpunkte werden in Distributed Cloud Connected-Clustern bereitgestellt. Informationen zu Logs und Messwerten für Distributed Cloud Connected finden Sie unter Logs und Messwerte.

Messwerte für Inference Gateway

Prometheus-Messwertname	Messwerttyp	Datentyp	Labels	Chemiker-Typ	Chemist-Messwertart	Chemist-Werttyp	Chemiker-Labels
ig_ops_successful_incoming_requests	Zähler		Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests	CUMULATIVE	INT64	Modell
ig_ops_unique_users	Zähler		Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users	CUMULATIVE	INT64	Modell
ig_tokens_per_minute	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min	CUMULATIVE	VERTRIEB	Modell
ig_total_response_time	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time	CUMULATIVE	VERTRIEB	Modell
ig_ops_ffmpeg_image_latency	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies	CUMULATIVE	VERTRIEB	Modell
ig_ops_ffmpeg_video_latency	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies	CUMULATIVE	VERTRIEB	Modell
ig_ops_ffmpeg_audio_latency	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies	CUMULATIVE	VERTRIEB	Modell
ig_time_to_first_token	Histogramm	double	Kontextfenster des Modells	aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft	CUMULATIVE	VERTRIEB	Kontextfenster des Modells
ig_time_per_output_token	Histogramm	double	Kontextfenster des Modells	aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot	CUMULATIVE	VERTRIEB	Kontextfenster des Modells
ig_cache_hit	Zähler		Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count	CUMULATIVE	VERTRIEB	model _gdch_project
ig_cache_miss	Zähler		Modell	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count	CUMULATIVE	VERTRIEB	model _gdch_project

Messwerte für den GenAI-Router

Prometheus-Messwertname	Messwerttyp	Datentyp	Labels	Chemiker-Typ	Chemist-Messwertart	Chemist-Werttyp	Chemiker-Labels
llm_total_request_latency_milliseconds	Histogramm	double	Kontextfenstermodell	aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies	CUMULATIVE	VERTRIEB	Kontextfenstermodell
llm_unary_request_latency_milliseconds	Histogramm	double	Kontextfenstermodell	aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies	CUMULATIVE	VERTRIEB	Kontextfenstermodell
llm_streaming_ttft_milliseconds	Histogramm	double	Kontextfenstermodell	aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms	CUMULATIVE	VERTRIEB	Kontextfenstermodell
llm_streaming_tpot_milliseconds	Histogramm	double	Kontextfenstermodell	aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms	CUMULATIVE	VERTRIEB	Kontextfenstermodell
llm_input_token_count	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count	CUMULATIVE	VERTRIEB	Modell
llm_output_token_count	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count	CUMULATIVE	VERTRIEB	Modell
llm_success_response_count	Zähler	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count	CUMULATIVE	INT64	Modell
llm_failure_response_count	Zähler	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count	CUMULATIVE	INT64	Modell
llm_text_tokenization_latency_milliseconds	Histogramm	double	Modell	aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies	CUMULATIVE	VERTRIEB	Modell
llm_image_tokenization_latency_milliseconds	Histogramm	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies	CUMULATIVE	VERTRIEB
llm_audio_tokenization_latency_milliseconds	Histogramm	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies	CUMULATIVE	VERTRIEB

GPU-Messwerte

Prometheus-Messwertname	Messwerttyp	Datentyp	Labels	Chemiker-Typ	Chemist-Messwertart	Chemist-Werttyp	Chemiker-Labels
DCGM_FI_DEV_MEM_COPY_UTIL	Gauge	int64	gpu UUID pci_bus_id device modelName Hostname DCGM_FI_DRIVER_VERSION	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util	ANZEIGE	INT64	uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP	Gauge	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp	ANZEIGE	INT64	Wie oben
DCGM_FI_DEV_POWER_USAGE	Gauge	double	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage	ANZEIGE	DOUBLE	Wie oben
DCGM_FI_DEV_GPU_TEMP	Gauge	double	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp	ANZEIGE	INT64	Wie oben
DCGM_FI_DEV_GPU_UTIL	Gauge	double	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util	ANZEIGE	INT64	Wie oben
DCGM_FI_DEV_ENC_UTIL	Gauge	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util	ANZEIGE	INT64	Wie oben
DCGM_FI_DEV_XID_ERRORS	Zähler	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors	CUMULATIVE	INT64	Wie oben
DCGM_FI_DEV_POWER_VIOLATION	Zähler	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power	CUMULATIVE	INT64	Wie oben
DCGM_FI_DEV_THERMAL_VIOLATION	Zähler	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal	CUMULATIVE	INT64	Wie oben
DCGM_FI_DEV_SYNC_BOOST_VIOLATION	Zähler	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost	CUMULATIVE	INT64	Wie oben
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION	Zähler	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit	CUMULATIVE	INT64	Wie oben
DCGM_FI_DEV_LOW_UTIL_VIOLATION	Zähler	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util	CUMULATIVE	INT64	Wie oben
DCGM_FI_DEV_RELIABILITY_VIOLATION	Zähler	int64	Wie oben	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability	CUMULATIVE	INT64	Wie oben