Cloud Monitoring은 클라우드 기반 애플리케이션의 성능, 업타임, 전반적인 상태에 관한 정보를 제공합니다. Google Cloud Observability는 Dataproc Metastore 서비스에서 측정항목, 이벤트, 메타데이터를 수집하여 대시보드와 차트를 사용하여 통계를 생성합니다.
비용을 알아보려면 Monitoring 가격 책정을 참조하세요.
측정항목 데이터 보관에 대한 자세한 내용은 Monitoring 할당량 및 한도를 참조하세요.
Monitoring의 서비스 측정항목 액세스
Dataproc Metastore 서비스 리소스 측정항목은 Dataproc Metastore 서비스에 자동으로 사용 설정됩니다. 이러한 측정항목을 보려면 Monitoring을 사용하세요.
Google Cloud 콘솔에서 또는 Monitoring API를 사용하여 Monitoring에 액세스할 수 있습니다.
콘솔
Google Cloud 콘솔에서 Cloud Monitoring > 측정항목 탐색기 페이지로 이동합니다.
'리소스 유형 및 측정항목 찾기' 드롭다운 목록에서
Dataproc Metastore Service리소스를 선택합니다.입력 상자를 다시 클릭한 후 드롭다운 목록에서 측정항목을 선택합니다. 측정항목 이름에 마우스를 가져가면 측정항목에 대한 정보가 표시됩니다.
필터를 선택하고, 측정항목 라벨별로 그룹화하고, 집계를 수행하고, 차트 보기 옵션을 선택할 수 있습니다.
REST
Monitoring timeSeries.list API를 사용하여 filter 표현식으로 정의된 측정항목을 캡처 및 나열합니다.
API 페이지에서 API 사용해 보기 템플릿을 사용하여 API 요청을 전송하고 응답을 표시하세요.
Monitoring의 Dataproc Metastore 서비스 측정항목
Dataproc Metastore의 측정항목. 다음 측정항목의 출시 단계: BETA GA
이 표의 '측정항목 유형' 문자열 앞에 metastore.googleapis.com/가 포함된 프리픽스를 붙여야 합니다. 표의 항목에서는 이 프리픽스가 생략되었습니다.
라벨을 쿼리할 때 metric.labels. 프리픽스를 사용합니다(예: metric.labels.LABEL="VALUE").
| 측정항목 유형 시작 단계 표시 이름 |
|
|---|---|
| 종류, 유형, 단위 모니터링 리소스 |
설명 라벨 |
federation/server/request_count
베타
제휴 서비스 요청 수 |
|
DELTA, INT64, {request}
metastore.googleapis.com/Federation |
제휴 Dataproc Metastore 서비스로 전송된 요청 수.
method_name:
요청 메서드 이름.
status:
요청의 종료 상태([success, client_error, server_error] 중 하나).
version:
서비스의 Hive metastore 버전.
|
service/grpc/finished_requests_count
BETA
gRPC 요청 완료 수 |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
GRPC Dataproc Metastore 서비스에서 완료된 요청 수.
tier:
서비스의 서비스 등급 또는 인스턴스 크기(예: 엔터프라이즈).
version:
서비스의 Hive Metastore 버전.
status:
요청의 상태(예를 들어 `BAD_REQUEST`).
method_name:
요청 메서드의 이름.
|
service/grpc/received_bytes_count
BETA
수신된 gRPC 바이트 |
|
DELTA, INT64, By
metastore.googleapis.com/Service |
Dataproc Metastore 서비스에서 수신한 바이트 수.
tier:
서비스 등급 또는 서비스의 인스턴스 크기.
version:
서비스의 Hive metastore 버전.
|
service/grpc/request_latencies
BETA
gRPC 요청 지연 시간 |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Dataproc Metastore 서비스의 gRPC 요청 지연 시간 분포
tier:
서비스 등급 또는 서비스의 인스턴스 크기.
version:
서비스의 Hive Metastore 버전.
status:
요청의 상태(예를 들어 `BAD_REQUEST`).
method_name:
요청 메서드의 이름.
|
service/grpc/sent_bytes_count
베타
전송된 gRPC 바이트 |
|
DELTA, INT64, By
metastore.googleapis.com/Service |
Dataproc Metastore 서비스에서 전송된 바이트 수.
tier:
서비스 등급 또는 서비스의 인스턴스 크기.
version:
서비스의 Hive metastore 버전.
|
service/grpc/started_requests_count
BETA
gRPC 요청 시작 횟수 |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
GRPC Dataproc Metastore 서비스에서 수신되고 시작된 요청 수.
tier:
서비스 등급 또는 서비스의 인스턴스 크기.
version:
서비스의 Hive Metastore 버전.
method_name:
요청 메서드 이름.
|
service/health
GA
서비스 상태 |
|
GAUGE, INT64, 1
metastore.googleapis.com/Service |
Dataproc Metastore 서비스 상태.
tier:
서비스의 서비스 등급 또는 인스턴스 크기(예: 엔터프라이즈).
version:
서비스의 Hive Metastore 버전.
release_tag:
Dataproc Metastore 출시 태그. 서비스 백엔드로 채워지며 서비스 전체 기간 동안 변경될 수 있습니다.
|
service/multi_region/health
GA
멀티 리전 서비스 상태 |
|
GAUGE, INT64, 1
metastore.googleapis.com/Service |
멀티 리전 Dataproc Metastore 서비스 상태.
version:
서비스의 Hive Metastore 버전.
release_tag:
Dataproc Metastore 출시 태그. 서비스 백엔드로 채워지며 서비스 전체 기간 동안 변경될 수 있습니다.
service_region:
Dataproc Metastore 서비스가 호스팅되는 구성 리전.
scaling_factor:
서비스의 확장 계수이며 [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0] 중 하나.
|
service/multi_region/request_count
GA
멀티 리전 서비스 요청 수 |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
멀티 리전 Dataproc Metastore 서비스로 전송된 요청 수.
method_name:
요청 메서드 이름.
version:
서비스의 Hive Metastore 버전.
service_region:
Dataproc Metastore 서비스가 호스팅되는 구성 리전.
scaling_factor:
서비스의 확장 계수이며 [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0] 중 하나.
|
service/multi_region/request_latencies
GA
멀티 리전 서비스 요청 지연 시간 |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
멀티 리전 Dataproc Metastore 서비스로 전송된 요청의 지연 시간.
method_name:
요청 메서드 이름.
version:
서비스의 Hive Metastore 버전.
service_region:
Dataproc Metastore 서비스가 호스팅되는 구성 리전.
scaling_factor:
서비스의 확장 계수이며 [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0] 중 하나.
|
service/query_metadata/request_count
BETA
관리 인터페이스 요청 수 |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
관리자 인터페이스 요청 수.
database_type:
데이터베이스 유형이며 [SQL, Spanner] 중 하나입니다.
code:
gRPC 상태 코드.
|
service/query_metadata/request_latencies
BETA
관리 인터페이스 요청 지연 시간 |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
관리 인터페이스 요청의 엔드 투 엔드 요청 지연 시간.
database_type:
데이터베이스 유형이며 [SQL, Spanner] 중 하나입니다.
code:
gRPC 상태 코드.
|
service/request_count
GA
요청 수 |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
Dataproc Metastore 서비스로 전송된 요청 수.
method_name:
요청 메서드 이름.
version:
서비스의 Hive metastore 버전.
|
service/scheduled_backups/backup_count
베타
예약된 백업 수 |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
서비스에 현재 저장된 예약 백업 수입니다.
state:
백업 상태로, [SUCCEEDED, FAILED, IN_PROGRESS] 중 하나입니다.
database_type:
데이터베이스 유형이며 [SQL, Spanner] 중 하나입니다.
version:
서비스의 Hive metastore 버전.
|
service/scheduled_backups/last_backup_duration
BETA
예약된 백업 - 마지막 백업 기간 |
|
GAUGE, INT64, s
metastore.googleapis.com/Service |
마지막으로 성공한 예약 백업 기간(초)입니다. 60초마다 샘플링됩니다. 샘플링되면 데이터는 최대 120초 동안 표시되지 않습니다.
state:
백업 상태로, [SUCCEEDED, FAILED, IN_PROGRESS] 중 하나입니다.
database_type:
데이터베이스 유형이며 [SQL, Spanner] 중 하나입니다.
version:
서비스의 Hive metastore 버전.
|
service/scheduled_backups/last_backup_size
BETA
예약된 백업 요청 - 마지막 백업 크기 |
|
GAUGE, INT64, By
metastore.googleapis.com/Service |
마지막으로 성공한 예약 백업의 크기(바이트)입니다. 60초마다 샘플링됩니다. 샘플링되면 데이터는 최대 120초 동안 표시되지 않습니다.
state:
백업 상태로, [SUCCEEDED, FAILED, IN_PROGRESS] 중 하나입니다.
database_type:
데이터베이스 유형이며 [SQL, Spanner] 중 하나입니다.
version:
서비스의 Hive metastore 버전.
|
2024년 6월 12일 16:39:55(UTC)에 생성된 표입니다.
커스텀 Monitoring 대시보드 빌드
선택한 Dataproc Metastore 서비스 측정항목의 차트를 표시하는 커스텀 Monitoring 대시보드를 빌드할 수 있습니다.
Monitoring 대시보드 개요 페이지에서 + 대시보드 만들기를 선택합니다.
대시보드의 이름을 입력합니다.
오른쪽 상단 메뉴에서 차트 추가를 클릭하여 차트 추가 창을 엽니다.
리소스 유형에서
Dataproc Metastore Service를 선택합니다.하나 이상의 측정항목 및 차트 속성을 선택한 후 저장을 클릭하여 차트를 저장합니다.
원하는 경우 대시보드에 차트를 추가합니다.
대시보드를 저장하려면 저장을 클릭합니다. 제목이 Monitoring 대시보드 개요 페이지에 표시됩니다.
대시보드 표시 페이지에서 대시보드 차트를 보고, 업데이트하고, 삭제할 수 있습니다.
Monitoring 알림 사용
Dataproc Metastore 서비스 또는 작업 측정항목이 지정된 기준을 초과할 때 알림을 표시하는 Monitoring 알림을 만들 수 있습니다.
알림 만들기
Google Cloud 콘솔에서 Monitoring 알림을 엽니다.
새 알림 정책 만들기 양식을 열려면 + 정책 만들기를 클릭합니다.
알림 조건, 정책 트리거, 알림 채널, 문서를 추가하여 알림을 정의합니다.
조건 추가를 선택하여 측정항목 탭이 선택된 알림 조건 양식을 엽니다.
필드를 입력하여 알림 조건을 정의한 다음 추가를 클릭합니다.
알림 조건을 추가한 후 알림 채널, 정책 트리거, 문서, 알림 정책 이름을 설정하여 알림 정책을 완료합니다.
알림 보기
측정항목 기준 조건에 의해 알림이 트리거되면 Monitoring에서 이슈 및 해당 이벤트가 만들어집니다. Google Cloud 콘솔의 Monitoring 알림 페이지에서 이슈를 볼 수 있습니다. 알림 정책에 이메일 또는 SMS 알림과 같은 알림 메커니즘을 정의한 경우 Monitoring에서 이슈에 대한 알림도 전송합니다.