Dataflow 프로젝트 모니터링 대시보드

Dataflow 웹 기반 모니터링 인터페이스에는 프로젝트 수준에서 Dataflow 작업을 모니터링하는 대시보드가 포함됩니다. 차트에는 하나의 프로젝트에 있는 모든 작업에 대한 데이터가 표시됩니다.

대시보드로 이동

대시보드는 다음 태스크를 수행하는 데 도움이 됩니다.

  • 할당량 오류의 원인을 감지하고 식별합니다.
  • 작업에서 비정상적인 수평 자동 확장을 감지합니다.
  • 느리거나 중단된 스트리밍 작업을 식별합니다.

대시보드는 Cloud Monitoring을 사용하여 Dataflow 작업 측정항목에 액세스합니다. 차트에 표시된 정보를 맞춤설정하려면 측정항목 탐색기를 사용합니다.

기능

대시보드에는 다음 기능이 포함됩니다.

  • 정규 표현식을 사용하여 대시보드에 표시할 작업을 선택합니다.
  • 개별 차트에서 작업 세부정보 페이지에 액세스합니다.
  • 대시보드 위젯 및 차트를 맞춤설정합니다.

필요한 역할

그래프 데이터를 보는 데 필요한 권한을 얻으려면 관리자에게 모니터링 뷰어(roles/monitoring.viewer) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 그래프 데이터를 보는 데 필요한 monitoring.timeSeries.list 권한이 포함되어 있습니다.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

대시보드에 액세스

대시보드에 액세스하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에 로그인합니다.
  2. Google Cloud Platform 프로젝트를 선택합니다.
  3. 탐색 메뉴를 엽니다.
  4. 애널리틱스에서 Dataflow를 클릭합니다.

  5. Dataflow 탐색 메뉴에서 Monitoring을 클릭합니다.

    대시보드로 이동

대시보드 측정항목

기본적으로 대시보드에 다음 시계열 차트가 표시됩니다. 표시된 측정항목에 대한 자세한 내용은 작업 측정항목을 참조하세요.

다음 차트는 일괄 및 스트리밍 작업에 적용됩니다.

  • 실행 중인 작업. 프로젝트에서 실행 중인 활성 작업 수를 보여줍니다. 이 차트는 시간 경과에 따른 프로젝트의 전체 Dataflow 활동을 나타냅니다.
  • 작업당 작업자 수(상위 25개). 가장 병렬 처리된 작업 25개의 현재 작업자 수를 보여줍니다. 이 차트는 리소스 할당을 이해하고 워크로드가 높은 작업을 식별하는 데 유용합니다. 작업에 예기치 않은 확장 동작이 있는지 확인할 수도 있습니다.
  • 총 vCPU 수. 프로젝트의 모든 작업에서 사용 중인 총 가상 CPU(vCPU) 수를 보여줍니다. 총 vCPU 수는 Compute Engine 할당량에 영향을 미칩니다.
  • 작업당 vCPU 수(상위 25개) vCPU 리소스를 가장 많이 사용하는 25개 작업을 보여줍니다. 이 차트는 비용이 많이 들 수 있는 작업을 강조 표시합니다.
  • 총 vCPU 수. 사용 중인 vCPU의 프로젝트 전체 집계를 보여줍니다. 이 차트는 작업에서 사용하는 Compute Engine 리소스를 대략적으로 보여줍니다.
  • 할당량 초과 오류. Dataflow 할당량 또는 Compute Engine 할당량에 도달한 인스턴스를 보고합니다. 이 차트를 사용하면 잠재적인 작업 실패 또는 확장 속도 저하를 찾을 수 있습니다.

다음 차트는 스트리밍 작업에 적용됩니다.

  • 평균 시스템 지연 시간. 소스 단계를 통과할 때 데이터에 발생하는 일반적인 지연을 반영하는 평균 시스템 지연 시간을 보여줍니다. 이 차트는 잠재적인 입력 병목 현상을 나타낼 수 있습니다. 이 차트를 사용하면 데이터가 소스에 표시되는 시점과 데이터가 모든 싱크에 기록되는 시점 사이에 비정상적으로 지연되는 스트리밍 작업을 식별할 수 있습니다.
  • 시스템 지연(상위 25개) 시스템 지연이 가장 긴 25개의 스트리밍 파이프라인을 보여줍니다. 시스템 지연은 데이터가 처리되거나 처리를 기다리는 데 걸리는 가장 긴 시간입니다. 이 차트는 잠재적인 실시간 처리 병목 현상을 나타낼 수 있습니다.
  • 단계별 데이터 워터마크 지연 시간(상위 25개) 워터마크 지연이 가장 긴 스트리밍 작업 25개를 보여줍니다. 단계별 워터마크 지연은 단계에서 수신한 최신 이벤트 시간과 워터마크의 차이입니다. 이 차트는 단계별 세부사항에서 잠재적인 병목 현상을 나타낼 수 있습니다. 이 차트를 사용하면 느리거나 중단되었을 수 있는 스트리밍 작업을 찾을 수 있습니다. 자세한 내용은 느리거나 중단된 스트리밍 작업 문제 해결을 참조하세요.
  • SECU 사용량(상위 25개) Streaming Engine 컴퓨팅 단위를 가장 많이 사용하는 스트리밍 작업 25개를 보여줍니다. 이 차트를 사용하면 리소스 기반 결제를 사용하는 스트리밍 작업의 비용과 강도를 측정할 수 있습니다.
  • 사용자 처리 지연 시간(상위 25개) 처리 단계에서 사용자 정의 코드가 가장 오래 걸리는 스트리밍 작업 25개를 보여줍니다. 이 차트를 사용하면 애플리케이션 로직의 잠재적인 성능 병목 현상을 찾을 수 있습니다.
  • 최대 백로그 바이트(상위 25개). 모든 단계에서 대기 중인 미처리 데이터의 양이 가장 많은 스트리밍 작업 25개를 보여줍니다. 이 차트는 잠재적인 입력 과부하 또는 느린 처리를 나타낼 수 있습니다.
  • 백로그된 키(상위 25개) 병목 현상 단계에서 백로그된 키가 많은 순으로 백로그된 스트리밍 작업을 보여줍니다. 자세한 내용은 병목 현상 문제 해결을 참고하세요.
  • 병목 현상의 가능한 원인(상위 10개) 백로그된 작업에서 병목 현상이 발생한 단계의 상위 10개 원인을 표시합니다. 자세한 내용은 병목 현상 문제 해결을 참고하세요.

차트 작업에 대한 자세한 내용은 차트 데이터 탐색을 참조하세요.

대시보드 맞춤설정

대시보드 콘텐츠와 차트에 표시되는 정보를 맞춤설정할 수 있습니다. 대시보드를 수정하면 맞춤설정된 새 대시보드가 생성됩니다.

대시보드는 Cloud Monitoring을 사용하여 Dataflow 작업 측정항목에 액세스합니다. Cloud Monitoring 도구를 사용하여 차트를 맞춤설정하세요.

  1. 대시보드를 열고 대시보드 맞춤설정을 클릭합니다.
  2. 대시보드를 수정합니다.
  3. 저장을 클릭한 다음 맞춤설정된 대시보드 보기를 클릭합니다.

맞춤설정된 대시보드를 만든 후 기본 대시보드로 돌아가려면 대시보드 메뉴에서 사전 정의됨을 선택합니다.

대시보드에 커스텀 측정항목 차트를 추가하는 예시를 보려면 Dataflow 모니터링 대시보드 맞춤설정을 참조하세요.

문제 해결

이 섹션에서는 일반적인 문제를 해결하는 방법을 안내합니다.

사용 가능한 데이터 없음

대시보드를 열면 하나 이상의 차트에 다음 메시지가 표시됩니다.

No data is available for the selected time frame.

이 메시지는 차트에 포함된 기간에 데이터가 없을 때 표시됩니다. 이 문제를 해결하려면 기간을 변경하거나 확장합니다.

표시된 시간 범위를 변경하려면 차트에서 데이터 탐색을 클릭한 후 기간 선택기를 사용합니다.

삭제된 위젯을 복원할 수 없음

대시보드에서 위젯을 삭제하면 맞춤설정된 대시보드가 생성됩니다. 맞춤설정된 대시보드를 만든 후 기본 대시보드로 돌아가려면 대시보드 메뉴에서 사전 정의됨을 선택합니다.

차트를 볼 수 없음

그래프 데이터를 보려면 monitoring.timeSeries.list 권한이 필요합니다. 자세한 내용은 필요한 역할을 참조하세요.

다음 단계