Cloud Data Fusion 시스템, 인스턴스, 파이프라인 상태 모니터링

이 가이드에서는 Monitoring의 Cloud Data Fusion 모니터링 대시보드를 사용하여 Cloud Data Fusion 인스턴스 및 파이프라인을 모니터링하는 방법을 설명합니다.

Cloud Data Fusion 대시보드는 주요 측정항목의 맞춤설정 가능한 뷰를 제공합니다. Monitoring에서 이러한 측정항목을 직접 확인하면 측정항목의 필터링 및 집계를 맞춤설정할 수 있습니다.

대시보드에는 다음 보기가 포함됩니다.

  • 개요: Cloud Data Fusion 시스템 측정항목과 로그를 모니터링합니다.
  • 인스턴스: 프로젝트의 모든 Cloud Data Fusion 인스턴스를 모니터링합니다.
  • 파이프라인: 파이프라인 실행 및 성능에 관한 정보를 제공합니다.

뷰의 측정항목에 관한 자세한 정보를 보려면 위젯 위로 마우스를 가져간 후 더보기 > 측정항목 탐색기에서 보기를 클릭하세요.

시작하기 전에

가격 책정

Cloud Monitoring 사용 시 요금이 청구됩니다. 자세한 내용은 Google Cloud Observability 가격 책정을 참고하세요.

필요한 역할

측정항목을 보는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 Monitoring 뷰어 (roles/monitoring.viewer) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

인스턴스 보기 위젯

이 표에서는 인스턴스 뷰의 위젯을 설명합니다.

위젯 설명
실행 중인 동시 파이프라인 동시에 실행되는 파이프라인 수입니다.
실행된 동시 파이프라인 프로비저닝 또는 시작 상태의 파이프라인 수입니다.
수신된 API 요청 수신된 API 요청의 누적 수입니다.
API 응답 수 전송된 API 응답의 누적 수입니다.
승인 확인 수 승인 확인의 누적 수입니다.
승인 확인 시간 승인 확인 지연 시간입니다.
배포된 파이프라인 수 배포된 파이프라인 수입니다.
초안 파이프라인 수 초안 파이프라인 수입니다.
네임스페이스 수 네임스페이스 수입니다.

파이프라인 보기 위젯

이 표에서는 파이프라인 뷰의 위젯을 설명합니다.

위젯 설명
성공한 파이프라인 실행 성공한 파이프라인 실행의 누적 수입니다.
실패한 파이프라인 실행 실패한 파이프라인 실행의 누적 수입니다.
강제 종료된 파이프라인 실행 종료된 파이프라인 실행의 누적 수입니다.
거부된 파이프라인 실행 거부된 파이프라인 실행의 누적 수입니다.
성공한 파이프라인 실행 시간 성공한 파이프라인 실행이 완료되는 데 걸린 시간입니다.
파이프라인 시작 지연 시간 파이프라인 실행이 '실행 중' 상태에 도달하는 데 걸린 시간입니다.
Dataproc 프로비저닝 지연 시간 Dataproc 클러스터를 프로비저닝하는 데 걸린 시간입니다.
Dataproc API 요청 수 Dataproc에 전송된 API 요청의 누적 수입니다.
성공한 미리보기 실행 시간 성공한 미리보기 실행이 완료되는 데 걸린 시간입니다.
실행 미리보기 미리보기 실행 횟수입니다.
읽은 파이프라인 바이트 파이프라인에서 읽은 바이트의 누적 수입니다.
작성된 파이프라인 바이트 파이프라인에서 작성한 바이트의 누적 수입니다.
셔플된 파이프라인 바이트 파이프라인에서 셔플된 바이트의 누적 수입니다.
수신하여 처리된 플러그인 레코드 플러그인에 입력되는 레코드의 누적 수입니다.
처리되어 전송된 플러그인 레코드 플러그인에서 나가는 레코드의 누적 수입니다.

측정항목 보기 및 필터링

Monitoring에서 직접 측정항목을 보고 필터링합니다.

  1. Google Cloud 콘솔에서 측정항목 탐색기 페이지로 이동합니다.

    측정항목 탐색기로 이동

  2. Cloud Data Fusion 모니터링 리소스를 선택합니다.

  3. 측정항목을 선택합니다.

  4. 필터 및 집계를 선택합니다.

다음 단계