Dataflow 작업 모니터링 인터페이스 사용

Dataflow를 사용하여 파이프라인을 실행하면 Dataflow 모니터링 인터페이스를 사용하여 해당 작업과 기타 작업을 볼 수 있습니다. 모니터링 인터페이스를 사용하면 Dataflow 작업을 확인하고 상호작용할 수 있습니다.

Google Cloud console에서 Dataflow 모니터링 인터페이스에 액세스할 수 있습니다.

모니터링 인터페이스를 사용하여 수행할 수 있는 작업은 다음과 같습니다.

  • 실행 중, 완료됨, 실패한 작업 목록 확인
  • 작업의 단계와 각 단계의 진행 상황을 그래픽으로 표시
  • 데이터 최신 상태, 리소스 사용률, I/O 요청과 같은 작업 측정항목의 그래프 확인
  • 작업의 예상 비용 모니터링
  • 파이프라인 로그 확인
  • 파이프라인 지연을 일으킬 수 있는 단계 식별하기
  • 소스 및 싱크의 지연 시간 원인 파악하기
  • 파이프라인 오류 이해하기

모니터링 인터페이스 구성요소

모니터링 인터페이스에는 다음 시각화 도구와 차트가 포함됩니다.

프로젝트 모니터링 대시보드
프로젝트 수준에서 Dataflow 작업을 모니터링하는 대시보드
작업 목록
실행 중인 모든 Dataflow 작업과 최근 30일 이내에 실행된 모든 작업의 목록이 상태, 리전, 경과 시간, 기타 정보와 함께 표시됩니다.
작업 그래프
파이프라인을 그래픽으로 표현한 것입니다. 작업 그래프는 작업 요약, 작업 로그, 파이프라인의 각 단계에 대한 정보도 제공합니다.
실행 세부정보
작업의 실행 단계, 스트리밍 작업의 데이터 최신 상태, 일괄 작업의 작업자 진행 상황을 보여줍니다.
작업 측정항목
작업 기간 동안의 측정항목을 표시하는 차트입니다.
예상 비용
리소스 사용량 측정항목을 기반으로 한 Dataflow 작업의 예상 비용입니다.
권장사항
작업 성능 개선, 비용 절감, 오류 문제 해결을 위한 권장사항입니다.
자동 확장
스트리밍 작업의 자동 확장 동작을 이해하는 데 도움이 되는 차트 집합입니다.
파이프라인 로그
파이프라인과 Dataflow 서비스에서 방출된 로그입니다.
데이터 샘플링
파이프라인의 각 단계에서 샘플링된 데이터를 관찰할 수 있는 도구입니다.

다음 단계