파이프라인 알림 만들기

이 페이지에서는 Cloud Data Fusion에서 데이터 파이프라인에 대해 알림을 설정하는 방법을 설명합니다.

다음 서비스를 통해 알림을 만들 수 있습니다.

  • Cloud Data Fusion을 통한 알림: Cloud Data Fusion에서 일괄 파이프라인을 설계할 때 이러한 알림을 설정합니다. 파이프라인을 배포한 후에는 알림을 추가하거나 수정할 수 없습니다.

  • Cloud Monitoring을 통한 로그 기반 알림: 파이프라인을 배포하기 전후에 Google Cloud Console에서 이러한 알림을 설정합니다.

시작하기 전에

Cloud Data Fusion 인스턴스가 필요합니다. 자세한 내용은 Cloud Data Fusion 인스턴스 만들기를 참조하세요.

Cloud Data Fusion에서 알림 추가

  1. 인스턴스를 엽니다.

    1. Google Cloud 콘솔에서 Cloud Data Fusion 페이지로 이동합니다.

    2. Cloud Data Fusion Studio에서 인스턴스를 열려면 인스턴스를 클릭한 다음 인스턴스 보기를 클릭합니다.

      인스턴스로 이동

  2. 파이프라인을 설계하는 스튜디오 페이지로 이동합니다.

  3. 구성 > 파이프라인 알림 > 추가를 클릭합니다.

  4. 경고를 선택하고 구성합니다. 알림 구성에 대한 자세한 내용은 일괄 파이프라인 알림을 참조하세요.

  5. 알림을 구성한 후 검증을 클릭하여 오류를 확인하고 확인을 클릭합니다.

Monitoring에서 알림 만들기

  1. Cloud Data Fusion 인스턴스에서 Cloud Logging을 사용 설정합니다.

  2. 로그 기반 알림을 만듭니다.

    1. Google Cloud Console에서 로그 탐색기 페이지로 이동합니다.

      로그 탐색기로 이동

      이 페이지에서 데이터를 저장, 쿼리, 업데이트, 삭제할 수 있습니다.

    2. 다음 쿼리를 입력합니다.

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      PROJECT_ID를 프로젝트 ID로 바꿉니다.

    3. 경고 만들기를 클릭하고 알림을 구성합니다.

알림은 파이프라인이 Dataproc 클러스터에서 실행되고 실패할 때만 생성됩니다. Dataproc 클러스터 생성 실패의 경우 알림이 생성되지 않습니다.

다음 단계