로그 및 측정항목

프리뷰

이 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참고하세요.

이 문서에서는 Google Distributed Cloud Connected API의 Gemini가 수집하고 내보내는 로그와 측정항목을 설명합니다.

로깅 및 모니터링 구성

로그와 측정항목을 수집하기 전에 다음을 수행해야 합니다.

1. 다음 명령어를 사용하여 로깅 API를 사용 설정합니다.

   gcloud services enable opsconfigmonitoring.googleapis.com --project PROJECT_ID
   gcloud services enable logging.googleapis.com --project PROJECT_ID
   gcloud services enable monitoring.googleapis.com --project PROJECT_ID
   

   PROJECT_ID를 타겟 Google Cloud 프로젝트의 ID로 바꿉니다.

2. 로그 및 측정항목을 작성하는 데 필요한 역할을 부여합니다.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/opsconfigmonitoring.resourceMetadata.writer \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/metadata-agent]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/logging.logWriter \
        --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/stackdriver-log-forwarder]"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
       --role roles/monitoring.metricWriter \
       --member "serviceAccount:PROJECT_ID.svc.id.goog[kube-system/gke-metrics-agent]"
   

   PROJECT_ID를 타겟 Google Cloud 프로젝트의 ID로 바꿉니다.

로그

이 섹션에는 GDC 연결 API의 Gemini에서 지원하는 Cloud Logging 리소스 유형이 나열되어 있습니다. GDC 연결 API 로그에서 Gemini를 보려면 Google Cloud 콘솔에서 로그 탐색기를 사용하세요. Gemini on GDC connected API} 로깅은 항상 사용 설정되어 있습니다.

GDC 연결 Gemini API 연결 로깅된 리소스 유형은 aiplatform.googleapis.com/Endpoint입니다.

Cloud Logging API를 사용하여 GDC 연결 Gemini의 API 연결 로그를 캡처하고 검색할 수도 있습니다. 이 로깅 메커니즘을 구성하는 방법에 대한 자세한 내용은 Cloud Logging 클라이언트 라이브러리 문서를 참고하세요.

측정항목

이 섹션에는 GDC 연결 API의 Gemini에서 지원하는 Cloud Monitoring 측정항목이 나와 있습니다. GDC 연결 API 측정항목의 Gemini를 보려면Google Cloud 콘솔에서 측정항목 탐색기를 사용하세요.

Distributed Cloud Connected 클러스터 측정항목

GDC 연결 API의 Gemini 엔드포인트는 Distributed Cloud 연결 클러스터에 배포됩니다. Distributed Cloud Connected의 로그 및 측정항목에 대한 자세한 내용은 로그 및 측정항목을 참고하세요.

추론 게이트웨이 측정항목

Prometheus 측정항목 이름	측정항목 유형	데이터 유형	라벨	화학자 유형	Chemist metric_kind	Chemist value_type	약사 라벨
ig_ops_successful_incoming_requests	카운터		모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/successful_requests	누적	INT64	모델
ig_ops_unique_users	카운터		모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/unique_users	누적	INT64	모델
ig_tokens_per_minute	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/tokens_per_min	누적	DISTRIBUTION	모델
ig_total_response_time	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/response_time	누적	DISTRIBUTION	모델
ig_ops_ffmpeg_image_latency	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_image_latencies	누적	DISTRIBUTION	모델
ig_ops_ffmpeg_video_latency	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_video_latencies	누적	DISTRIBUTION	모델
ig_ops_ffmpeg_audio_latency	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/ffmpeg_audio_latencies	누적	DISTRIBUTION	모델
ig_time_to_first_token	히스토그램	double	모델 컨텍스트 윈도우	aiplatform.googleapis.com/prediction/internal/gdc/ig/ttft	누적	DISTRIBUTION	모델 컨텍스트 윈도우
ig_time_per_output_token	히스토그램	double	모델 컨텍스트 윈도우	aiplatform.googleapis.com/prediction/internal/gdc/ig/tpot	누적	DISTRIBUTION	모델 컨텍스트 윈도우
ig_cache_hit	카운터		모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_hit_count	누적	DISTRIBUTION	model _gdch_project
ig_cache_miss	카운터		모델	aiplatform.googleapis.com/prediction/internal/gdc/ig/cache_miss_count	누적	DISTRIBUTION	model _gdch_project

생성형 AI 라우터 측정항목

Prometheus 측정항목 이름	측정항목 유형	데이터 유형	라벨	화학자 유형	Chemist metric_kind	Chemist value_type	약사 라벨
llm_total_request_latency_milliseconds	히스토그램	double	컨텍스트 윈도우 모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/total_request_latencies	누적	DISTRIBUTION	컨텍스트 윈도우 모델
llm_unary_request_latency_milliseconds	히스토그램	double	컨텍스트 윈도우 모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/unary_request_latencies	누적	DISTRIBUTION	컨텍스트 윈도우 모델
llm_streaming_ttft_milliseconds	히스토그램	double	컨텍스트 윈도우 모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/ttft_ms	누적	DISTRIBUTION	컨텍스트 윈도우 모델
llm_streaming_tpot_milliseconds	히스토그램	double	컨텍스트 윈도우 모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/tpot_ms	누적	DISTRIBUTION	컨텍스트 윈도우 모델
llm_input_token_count	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/input_token_count	누적	DISTRIBUTION	모델
llm_output_token_count	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/output_token_count	누적	DISTRIBUTION	모델
llm_success_response_count	카운터	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/success_response_count	누적	INT64	모델
llm_failure_response_count	카운터	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/failure_response_count	누적	INT64	모델
llm_text_tokenization_latency_milliseconds	히스토그램	double	모델	aiplatform.googleapis.com/prediction/internal/gdc/gair/text_tokenization_latencies	누적	DISTRIBUTION	모델
llm_image_tokenization_latency_milliseconds	히스토그램	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/image_tokenization_latencies	누적	DISTRIBUTION
llm_audio_tokenization_latency_milliseconds	히스토그램	double		aiplatform.googleapis.com/prediction/internal/gdc/gair/audio_tokenization_latencies	누적	DISTRIBUTION

GPU 측정항목

Prometheus 측정항목 이름	측정항목 유형	데이터 유형	라벨	화학자 유형	Chemist metric_kind	Chemist value_type	약사 라벨
DCGM_FI_DEV_MEM_COPY_UTIL	게이지	int64	GPU UUID pci_bus_id device modelName Hostname DCGM_FI_DRIVER_VERSION	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_util	게이지	INT64	uuid gpu_model
DCGM_FI_DEV_MEMORY_TEMP	게이지	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/memory_temp	게이지	INT64	위와 동일
DCGM_FI_DEV_POWER_USAGE	게이지	double	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/power_usage	게이지	DOUBLE	위와 동일
DCGM_FI_DEV_GPU_TEMP	게이지	double	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_temp	게이지	INT64	위와 동일
DCGM_FI_DEV_GPU_UTIL	게이지	double	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/gpu_util	게이지	INT64	위와 동일
DCGM_FI_DEV_ENC_UTIL	게이지	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/encode_util	게이지	INT64	위와 동일
DCGM_FI_DEV_XID_ERRORS	카운터	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/xid_errors	누적	INT64	위와 동일
DCGM_FI_DEV_POWER_VIOLATION	카운터	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_power	누적	INT64	위와 동일
DCGM_FI_DEV_THERMAL_VIOLATION	카운터	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_thermal	누적	INT64	위와 동일
DCGM_FI_DEV_SYNC_BOOST_VIOLATION	카운터	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_sync_boost	누적	INT64	위와 동일
DCGM_FI_DEV_BOARD_LIMIT_VIOLATION	카운터	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_board_limit	누적	INT64	위와 동일
DCGM_FI_DEV_LOW_UTIL_VIOLATION	카운터	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_low_util	누적	INT64	위와 동일
DCGM_FI_DEV_RELIABILITY_VIOLATION	카운터	int64	위와 동일	aiplatform.googleapis.com/prediction/internal/gdc/gpu/violation_reliability	누적	INT64	위와 동일