Cloud Data Fusion 시스템, 인스턴스, 파이프라인 상태 모니터링

이 가이드에서는 Cloud Data Fusion 인스턴스 및 파이프라인을 모니터링하는 방법을 설명합니다. Cloud Data Fusion 모니터링 대시보드에서 주요 측정항목을 볼 수 있습니다. 추가 집계 또는 필터링의 경우 Cloud Monitoring에서 측정항목을 확인할 수 있습니다.

시작하기 전에

Cloud Data Fusion 인스턴스 및 파이프라인 모니터링을 시작하기 전에 가격을 검토하고 필요한 역할을 부여하세요.

가격 책정

Cloud Monitoring 사용량에 따라 요금이 청구됩니다. 자세한 내용은 Google Cloud Observability 가격 책정을 참고하세요.

필요한 역할

측정항목을 보는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 Monitoring 뷰어 (roles/monitoring.viewer) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Cloud Data Fusion에서 모니터링

모니터링 대시보드를 사용하여 Cloud Data Fusion에서 직접 인스턴스 및 파이프라인의 측정항목을 확인하고 필터링합니다.

  1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

  2. 인스턴스를 클릭한 후 인스턴스 이름을 클릭하여 인스턴스 세부정보 페이지로 이동합니다.

    인스턴스로 이동

  3. 모니터링 탭을 클릭합니다. 그러면 인스턴스 및 파이프라인의 차트가 있는 대시보드가 표시됩니다.

    대시보드에는 다음 보기가 표시됩니다.

    • 개요: Cloud Data Fusion 시스템 측정항목을 모니터링합니다.
    • 인스턴스: 프로젝트의 모든 Cloud Data Fusion 인스턴스를 모니터링합니다.
    • 파이프라인: 파이프라인 실행 및 성능에 관한 정보를 제공합니다.

    뷰의 측정항목에 관한 자세한 정보를 보려면 위젯 위로 마우스를 가져간 후 더보기 > 측정항목 탐색기에서 보기를 클릭하세요.

모니터링 대시보드의 위젯

다음 섹션에서는 개요, 인스턴스, 파이프라인 뷰에서 사용할 수 있는 위젯을 설명합니다.

개요 뷰 위젯

이 표에는 개요 뷰의 위젯이 설명되어 있습니다.

위젯 설명
AppFabric 서비스 상태 AppFabric 서비스 가용성
측정항목 서비스 상태 측정항목의 서비스 가용성
Wrangler 서비스 상태 Wrangler 서비스 사용 가능 여부
데이터 세트 실행자 상태 데이터 세트의 서비스 가용성
Pipeline Studio 상태 Pipeline Studio 서비스 가용성
런타임 서비스 상태 런타임의 서비스 가용성
로그 세이버 서비스 상태 로그 세이버 서비스 가용성
메타데이터 서비스 상태 메타데이터 서비스 가용성

파이프라인 보기 위젯

이 표에서는 파이프라인 뷰의 위젯을 설명합니다.

위젯 설명
성공한 파이프라인 실행 성공한 파이프라인 실행의 누적 수입니다.
실패한 파이프라인 실행 실패한 파이프라인 실행의 누적 수입니다.
강제 종료된 파이프라인 실행 종료된 파이프라인 실행의 누적 수입니다.
거부된 파이프라인 실행 거부된 파이프라인 실행의 누적 수입니다.
성공한 파이프라인 실행 시간 성공한 파이프라인 실행이 완료되는 데 걸린 시간입니다.
파이프라인 시작 지연 시간 파이프라인 실행이 '실행 중' 상태에 도달하는 데 걸린 시간입니다.
Dataproc 프로비저닝 지연 시간 Dataproc 클러스터를 프로비저닝하는 데 걸린 시간입니다.
Dataproc API 요청 수 Dataproc에 전송된 API 요청의 누적 수입니다.
성공한 미리보기 실행 시간 성공한 미리보기 실행이 완료되는 데 걸린 시간입니다.
실행 미리보기 미리보기 실행 횟수입니다.
읽은 파이프라인 바이트 파이프라인에서 읽은 바이트의 누적 수입니다.
작성된 파이프라인 바이트 파이프라인에서 작성한 바이트의 누적 수입니다.
셔플된 파이프라인 바이트 파이프라인에서 셔플된 바이트의 누적 수입니다.
수신하여 처리된 플러그인 레코드 플러그인에 입력되는 레코드의 누적 수입니다.
처리되어 전송된 플러그인 레코드 플러그인에서 나가는 레코드의 누적 수입니다.

인스턴스 보기 위젯

다음 표에서는 인스턴스 뷰의 위젯을 설명합니다.

위젯 설명
실행 중인 동시 파이프라인 동시에 실행되는 파이프라인 수입니다.
실행된 동시 파이프라인 프로비저닝 또는 시작 상태의 파이프라인 수입니다.
수신된 API 요청 수신된 API 요청의 누적 수입니다.
API 응답 수 전송된 API 응답의 누적 수입니다.
승인 확인 수 승인 확인의 누적 수입니다.
승인 확인 시간 승인 확인의 지연 시간입니다.
배포된 파이프라인 수 배포된 파이프라인 수입니다.
초안 파이프라인 수 초안 파이프라인 수입니다.
네임스페이스 수 네임스페이스 수입니다.

Cloud Monitoring에서 고급 분석을 위한 측정항목 보기

추가 필터링 및 집계 옵션은 Cloud Monitoring에서 측정항목을 확인하세요.

  1. Google Cloud 콘솔에서 Cloud Monitoring 측정항목 탐색기 페이지로 이동합니다.

    측정항목 탐색기로 이동

  2. Cloud Data Fusion 모니터링 리소스를 선택합니다.

  3. 측정항목을 선택합니다.

  4. 필터 및 집계를 선택합니다.

다음 단계