Dataflow를 사용하여 파이프라인을 실행하면 Dataflow 모니터링 인터페이스를 사용하여 해당 작업과 기타 작업을 볼 수 있습니다. 모니터링 인터페이스를 사용하면 Dataflow 작업을 확인하고 상호작용할 수 있습니다.
Google Cloud console에서 Dataflow 모니터링 인터페이스에 액세스할 수 있습니다.
모니터링 인터페이스를 사용하여 수행할 수 있는 작업은 다음과 같습니다.
- 실행 중, 완료됨, 실패한 작업 목록 확인
- 작업의 단계와 각 단계의 진행 상황을 그래픽으로 표시
- 데이터 최신 상태, 리소스 사용률, I/O 요청과 같은 작업 측정항목의 그래프 확인
- 작업의 예상 비용 모니터링
- 파이프라인 로그 확인
- 파이프라인 지연을 일으킬 수 있는 단계 식별하기
- 소스 및 싱크의 지연 시간 원인 파악하기
- 파이프라인 오류 이해하기
모니터링 인터페이스 구성요소
모니터링 인터페이스에는 다음 시각화 도구와 차트가 포함됩니다.
- 프로젝트 모니터링 대시보드
- 프로젝트 수준에서 Dataflow 작업을 모니터링하는 대시보드
- 작업 목록
- 실행 중인 모든 Dataflow 작업과 최근 30일 이내에 실행된 모든 작업의 목록이 상태, 리전, 경과 시간, 기타 정보와 함께 표시됩니다.
- 작업 그래프
- 파이프라인을 그래픽으로 표현한 것입니다. 작업 그래프는 작업 요약, 작업 로그, 파이프라인의 각 단계에 대한 정보도 제공합니다.
- 실행 세부정보
- 작업의 실행 단계, 스트리밍 작업의 데이터 최신 상태, 일괄 작업의 작업자 진행 상황을 보여줍니다.
- 작업 측정항목
- 작업 기간 동안의 측정항목을 표시하는 차트입니다.
- 예상 비용
- 리소스 사용량 측정항목을 기반으로 한 Dataflow 작업의 예상 비용입니다.
- 권장사항
- 작업 성능 개선, 비용 절감, 오류 문제 해결을 위한 권장사항입니다.
- 자동 확장
- 스트리밍 작업의 자동 확장 동작을 이해하는 데 도움이 되는 차트 집합입니다.
- 파이프라인 로그
- 파이프라인과 Dataflow 서비스에서 방출된 로그입니다.
- 데이터 샘플링
- 파이프라인의 각 단계에서 샘플링된 데이터를 관찰할 수 있는 도구입니다.
다음 단계
- Cloud Monitoring을 사용하여 알림을 만들고 커스텀 측정항목을 포함한 Dataflow 측정항목 보기
- 프로덕션에 즉시 가용 가능한 데이터 파이프라인 빌드 자세히 알아보기
- 파이프라인 문제 해결 방법 알아보기