Cloud Monitoring

Cloud Monitoring은 클라우드 기반 애플리케이션의 성능, 업타임, 전반적인 상태에 관한 정보를 제공합니다. Google Cloud 운영 제품군은 Dataproc 클러스터에서 클러스터별 HDFS, YARN, 작업, 작업 측정항목 등의 측정항목, 이벤트, 메타데이터를 수집하여 대시보드와 차트를 통해 통계를 생성합니다(Cloud Monitoring Dataproc 측정항목 참조).

Cloud Monitoring 클러스터 측정항목을 사용하여 Dataproc 클러스터의 성능과 상태를 모니터링합니다.

Cloud Monitoring 클러스터 측정항목

Dataproc 클러스터 리소스 측정항목은 Dataproc 클러스터에서 자동으로 사용 설정됩니다. 이러한 측정항목을 보려면 Monitoring을 사용하세요.

Google Cloud Console에서 또는 Monitoring API를 사용하여 Monitoring에 액세스할 수 있습니다.

Console

  1. 클러스터를 만든 후 Cloud Console의 Monitoring으로 이동하여 클러스터 모니터링 데이터를 확인합니다.

    Monitoring 콘솔이 표시되면 추가 설정 단계로 프로젝트의 VM에 Monitoring 에이전트를 설치할 수 있습니다. Dataproc 클러스터를 만들 때 이 단계가 수행되므로 Dataproc 클러스터의 VM에 에이전트를 설치할 필요가 없습니다.

  2. 측정항목 탐색기를 선택하고 '리소스 유형 및 측정항목 찾기' 드롭다운 목록에서 'Cloud Dataproc 클러스터' 리소스를 선택하거나 상자에 'cloud_dataproc_cluster'를 입력합니다.
  3. 입력 상자를 다시 클릭한 다음 드롭다운 목록에서 측정항목을 선택합니다. 다음 스크린샷에서 'YARN 메모리 크기'가 선택됩니다. 측정항목 이름에 마우스를 가져가면 측정항목에 대한 정보가 표시됩니다.

    필터를 선택하고, 측정항목 라벨별로 그룹화하고, 집계를 수행하고, 차트 보기 옵션을 선택합니다(Monitoring 문서 참조).

API

Monitoring timeSeries.list API를 사용하여 filter 표현식으로 정의된 측정항목을 캡처 및 나열합니다. API 페이지에서 API 사용해 보기 템플릿을 사용하여 API 요청을 전송하고 응답을 표시합니다.

: 다음은 아래의 Monitoring timeSeries.list 매개변수에 해당하는 템플릿 요청과 반환된 JSON 응답을 보여주는 스냅샷입니다.

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

커스텀 Monitoring 대시보드 빌드

선택한 Cloud Dataproc 클러스터 측정항목의 차트를 표시하는 커스텀 Monitoring 대시보드를 빌드할 수 있습니다.

  1. Monitoring 대시보드 개요 페이지에서 + 대시보드 만들기를 선택합니다. 대시 보드의 이름을 입력한 다음 오른쪽 상단 메뉴에서 차트 추가를 클릭하여 차트 추가 창을 엽니다. 리소스 유형으로 'Cloud Dataproc 클러스터'를 선택합니다. 하나 이상의 측정항목과 측정항목 및 차트 속성을 선택합니다. 그런 다음 차트를 저장합니다.

  2. 추가 차트를 대시보드에 추가할 수 있습니다. 대시보드를 저장하면 해당 제목이 Monitoring 대시보드 개요 페이지에 표시됩니다. 대시보드 차트를 대시보드 표시 페이지에서 보고, 업데이트하고, 삭제할 수 있습니다.

Monitoring 알림 사용

Dataproc 클러스터 또는 작업 측정항목이 지정된 임계값을 초과할 때, 예를 들어 HDFS 여유 용량이 낮을 때 알려주는 Monitoring 알림을 만들 수 있습니다.

알림 만들기

  1. Cloud Console에서 Monitoring Alerting을 엽니다. + 정책 만들기를 클릭하여 새 알림 정책 만들기 양식을 엽니다. 알림 조건, 정책 트리거, 알림 채널, 문서를 추가하여 알림을 정의합니다.

  2. 조건 추가를 선택하여 측정항목 탭이 선택된 알림 조건 양식을 엽니다. 필드를 입력하여 알림 조건을 정의한 다음 추가를 클릭합니다. Dataproc 클러스터 HDFS 용량이 1분 동안 지정된 930GiB(2진수 GB) 임곗값(998,579,896,320바이트) 아래로 떨어지면 아래의 알림 조건 예가 트리거됩니다.

  3. 알림 조건을 추가한 후 알림 채널, 정책 트리거, 문서, 알림 정책 이름을 설정하여 알림 정책을 완료합니다.

알림 보기

측정항목 기준 조건에 의해 알림이 트리거되면 Monitoring에서 이슈 및 해당 이벤트가 만들어집니다. Cloud Console의 Monitoring Alerting 페이지에서 이슈를 볼 수 있습니다. 알림 정책에 이메일 또는 SMS 알림과 같은 알림 메커니즘을 정의한 경우 Monitoring에서 이슈에 대한 알림도 전송합니다.

다음 단계