Cloud Monitoring을 사용하여 파이프라인 모니터링 대시보드 만들기

Cloud Monitoring을 사용하여 파이프라인 모니터링 대시보드 만들기

Cloud Monitoring을 사용하여 파이프라인을 모니터링하는 대시보드를 만드는 방법을 알아봅니다.

---

Google Cloud 콘솔에서 이 태스크에 대한 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

---

시작하기 전에

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. 커스텀 대시보드를 만들려면 서비스 계정에 모니터링 편집자(roles/monitoring.editor) IAM 역할을 부여해야 합니다.

   역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

Cloud Logging이 사용 설정된 Cloud Data Fusion 인스턴스 만들기

Cloud Data Fusion 파이프라인에서 Cloud Logging을 사용하려면 Cloud Logging이 사용 설정된 Cloud Data Fusion 인스턴스를 만듭니다.

1. Cloud Data Fusion 인스턴스 페이지로 이동하고 인스턴스 만들기를 클릭합니다.

   인스턴스 만들기

2. 인스턴스 이름 필드에 새 인스턴스의 이름을 입력합니다.

3. 리전 드롭다운에서 인스턴스를 만들려는 Google Cloud 리전을 선택합니다.

4. 버전 드롭다운에서 Cloud Data Fusion 버전을 선택합니다.

5. 버전을 선택합니다.

6. 고급 옵션을 펼칩니다.

7. 로깅 및 모니터링 섹션에서 Stackdriver Logging 서비스 사용 설정을 선택합니다.

8. 만들기를 클릭합니다.

인스턴스를 만든 후에는 Google Cloud 콘솔에서 Cloud Logging을 사용 설정할 수 없습니다.

로그 기반 측정항목 만들기

1. Cloud Logging 로그 기반 측정항목 페이지로 이동합니다.

   로그 기반 측정항목으로 이동

2. 측정항목 만들기를 클릭합니다.

3. 측정항목 만들기 페이지에서 다음을 수행합니다.

   1. 측정항목 유형에서 카운터를 선택합니다.
   2. 로그 기반 측정항목 이름 필드에 pipeline_logs를 입력합니다.
   3. 단위 필드에 1을 입력합니다.

   4. 필터 빌드 필드에 다음을 입력합니다.

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      

   5. 라벨 섹션에서 라벨 추가를 클릭하고 다음 라벨을 만듭니다. 각 라벨을 입력한 후 완료를 클릭하고 다시 라벨 추가를 클릭하여 다음 라벨을 만듭니다.

      라벨 이름	라벨 유형	필드 이름
      Project	STRING	resource.labels.project_id
      Message	STRING	jsonPayload.message
      LoggerName	STRING	labels.loggerName
      ClusterName	STRING	resource.labels.cluster_name
      SparkPhase	STRING	labels.".workflowSparkId"
      Region	STRING	resource.labels.region
      Pipeline	STRING	labels.".applicationId"
      RunId	STRING	labels.".runId"
      Namespace	STRING	labels.".namespaceId"
      LogLevel	STRING	labels.levelName

   6. 측정항목 만들기를 클릭합니다.

      새로 생성된 측정항목이 사용자 정의 측정항목 테이블에 표시됩니다. 측정항목이 즉시 표시되지 않으면 페이지를 새로고침합니다.

      대시보드에는 다음 차트가 포함되어 있습니다.

      • 모든 파이프라인
      • 완료된 파이프라인
      • 실패한 파이프라인
      • 모든 파이프라인 실행
      • 완료된 파이프라인 실행
      • 실패한 파이프라인 실행
      • 실행에 사용되는 Dataproc 클러스터

      측정항목이 생성된 후 시계열 데이터가 표시되는 데 최대 24시간이 걸릴 수 있습니다.

대시보드 설치

1. 로컬 머신에 JSON 파일을 다운로드합니다.

2. Cloud Monitoring 대시보드 페이지로 이동합니다.

   Monitoring 대시보드로 이동

3. 대시보드 만들기를 클릭합니다.

4. 대시보드 설정 > JSON > JSON 편집기를 클릭합니다.

5. 텍스트 편집기에서 다운로드한 JSON 파일을 엽니다.

6. 다운로드한 JSON 파일의 콘텐츠를 복사하여 JSON 편집기에 붙여넣고 JSON 편집기에 기본적으로 포함된 콘텐츠를 바꿉니다.

7. 변경사항 적용을 클릭합니다.

   그러면 대시보드가 새로고침됩니다. 측정항목이 생성된 후에 실행된 Cloud Data Fusion 파이프라인이 대시보드에 표시됩니다. 측정항목이 생성된 후에 실행된 파이프라인이 없으면 대시보드가 비어 있게 됩니다.

8. 기본적으로 자동저장이 사용 설정되어 있습니다. 자동저장이 중지된 경우에 대시보드를 저장하려면 저장을 클릭합니다.

9. 편집기 닫기를 클릭합니다.

   새 대시보드는 모니터링 개요 페이지의 대시보드 목록에 표시됩니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

Cloud Data Fusion 인스턴스 삭제

다음 안내에 따라 Cloud Data Fusion 인스턴스를 삭제합니다.

프로젝트 삭제

비용이 청구되지 않도록 하는 가장 쉬운 방법은 튜토리얼에서 만든 프로젝트를 삭제하는 것입니다.

프로젝트를 삭제하는 방법은 다음과 같습니다.

주의: 프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼, 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

다음 단계

• Cloud Monitoring 자세히 알아보기