Dataflow 웹 기반 모니터링 인터페이스에는 프로젝트 수준에서 Dataflow 작업을 모니터링하는 대시보드가 포함됩니다. 차트에는 하나의 프로젝트에 있는 모든 작업에 대한 데이터가 표시됩니다.
대시보드는 다음 태스크를 수행하는 데 도움이 됩니다.
- 할당량 오류의 원인을 감지하고 식별합니다.
- 작업에서 비정상적인 수평 자동 확장을 감지합니다.
- 느리거나 중단된 스트리밍 작업을 식별합니다.
대시보드는 Cloud Monitoring을 사용하여 Dataflow 작업 측정항목에 액세스합니다. 차트에 표시된 정보를 맞춤설정하려면 측정항목 탐색기를 사용합니다.
기능
대시보드에는 다음 기능이 포함됩니다.
- 정규 표현식을 사용하여 대시보드에 표시할 작업을 선택합니다.
- 개별 차트에서 작업 세부정보 페이지에 액세스합니다.
- 대시보드 위젯 및 차트를 맞춤설정합니다.
필요한 역할
그래프 데이터를 보는 데 필요한 권한을 얻으려면 관리자에게 모니터링 뷰어(roles/monitoring.viewer) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이 사전 정의된 역할에는 그래프 데이터를 보는 데 필요한 monitoring.timeSeries.list 권한이 포함되어 있습니다.
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
측정항목
기본적으로 대시보드에 다음 차트가 표시됩니다. 표시된 측정항목에 대한 자세한 내용은 작업 측정항목을 참조하세요.
| 차트 | 설명 | 지원 |
|---|---|---|
| 작업 실행 | 프로젝트에서 실행 중인 작업 수를 보여주는 시계열 차트입니다. | 일괄 및 스트리밍 작업 |
| 작업당 작업자 수 | 작업당 사용 중인 작업자 수를 보여주는 시계열 차트입니다. 이 차트를 사용하면 프로젝트 전반의 자동 확장 동작을 이해할 수 있습니다.
작업에 예기치 않거나 비정상적인 확장 동작이 있는지 확인할 수 있습니다. 이 차트를 할당량 및 CPU 차트와 함께 사용하면 할당량 오류로 인해 확장이 제한된 작업을 식별할 수 있습니다. |
일괄 및 스트리밍 작업 |
| 할당량 초과 오류 | Compute Engine CPU 할당량으로 범위가 지정된 프로젝트에서 할당량 초과 오류 내역을 보여주는 시계열 차트입니다. Compute Engine에는 리전별 총 CPU 할당량이 있으며 일부 머신 계열의 경우 리전별 및 유형별 할당량이 있습니다. 이러한 할당량으로 인해 작업이 시작되지 않거나 확장되지 않을 수 있습니다. 이 차트를 할당량 및 CPU 차트와 함께 사용하면 할당량 오류의 원인을 식별할 수 있습니다. |
일괄 및 스트리밍 작업 |
| 작업당 CPU 수 | 각 작업의 작업자가 사용 중인 CPU 수를 보여주는 시계열 차트입니다. 이 차트에는 각 작업의 머신 유형과 위치도 표시됩니다. 동일한 계열의 머신 유형은 CPU 수가 다릅니다. 총 CPU 수는 Compute Engine 할당량에 영향을 미칩니다. 이 차트를 사용하면 할당량 오류의 원인을 식별할 수 있습니다. |
일괄 및 스트리밍 작업 |
| 시스템 지연 시간 | 데이터 항목이 각 작업에 대해 처리 중이거나 처리 대기 중인 최대 시간(초)을 보여주는 시계열 차트입니다. 이 차트를 사용하면 데이터가 소스에 표시되는 시점과 데이터가 모든 싱크에 기록되는 시점 사이에 비정상적으로 지연되는 스트리밍 작업을 식별할 수 있습니다. |
스트리밍 작업 |
| 데이터 최신 상태 | 각 작업의 모든 단계에 대한 최대 데이터 최신 상태를 보여주는 시계열 차트입니다. 이 차트를 사용하면 느리거나 중단되었을 수 있는 스트리밍 작업을 찾을 수 있습니다. |
스트리밍 작업 |
| 최대 백로그 바이트 | 각 작업의 모든 단계에 대한 최대 백로그 바이트를 보여주는 시계열 차트입니다. 이 차트를 사용하면 처리 관련 병목 현상을 나타내는 이상을 식별할 수 있습니다. |
스트리밍 작업 |
대시보드에 액세스
대시보드에 액세스하려면 다음 단계를 따르세요.
- Google Cloud 콘솔에 로그인합니다.
- Google Cloud 프로젝트를 선택합니다.
- 탐색 메뉴를 엽니다.
- 애널리틱스에서 Dataflow를 클릭합니다.
Dataflow 탐색 메뉴에서 Monitoring을 클릭합니다.
대시보드 맞춤설정
대시보드 콘텐츠와 차트에 표시되는 정보를 맞춤설정할 수 있습니다. 대시보드를 수정하면 맞춤설정된 새 대시보드가 생성됩니다.
대시보드는 Cloud Monitoring을 사용하여 Dataflow 작업 측정항목에 액세스합니다. Cloud Monitoring 도구를 사용하여 차트를 맞춤설정하세요.
- 대시보드를 열고 대시보드 맞춤설정을 클릭합니다.
- 대시보드를 수정합니다.
- 대시보드에 표시되는 작업을 필터링하려면 커스텀 대시보드에 임시 필터 추가 및 커스텀 대시보드에 영구 필터 추가를 참조하세요.
- 위젯을 수정하거나 삭제하려면 대시보드 위젯 관리를 참조하세요.
- 차트의 콘텐츠를 수정하려면 대시보드의 차트 측정항목 선택을 참조하세요.
- 대시보드에 차트를 추가하려면 커스텀 대시보드에 차트 및 테이블 추가를 참조하세요.
- 저장을 클릭한 다음 맞춤설정된 대시보드 보기를 클릭합니다.
맞춤설정된 대시보드를 만든 후 기본 대시보드로 돌아가려면 대시보드 메뉴에서 사전 정의됨을 선택합니다.
문제 해결
이 섹션에서는 일반적인 문제를 해결하는 방법을 안내합니다.
사용 가능한 데이터 없음
대시보드를 열면 하나 이상의 차트에 다음 메시지가 표시됩니다.
No data is available for the selected time frame.
이 메시지는 차트에 포함된 기간에 데이터가 없을 때 표시됩니다. 이 문제를 해결하려면 기간을 변경하거나 확장합니다.
표시된 시간 범위를 변경하려면 차트에서 데이터 탐색을 클릭한 후 기간 선택기를 사용합니다.
삭제된 위젯을 복원할 수 없음
대시보드에서 위젯을 삭제하면 맞춤설정된 대시보드가 생성됩니다. 맞춤설정된 대시보드를 만든 후 기본 대시보드로 돌아가려면 대시보드 메뉴에서 사전 정의됨을 선택합니다.
차트를 볼 수 없음
그래프 데이터를 보려면 monitoring.timeSeries.list 권한이 필요합니다. 자세한 내용은 필요한 역할을 참조하세요.
다음 단계
- 개별 작업 측정항목에 대해 자세히 알아보기
- Cloud Monitoring을 통해 측정항목을 살펴보기
- 느리거나 중단된 작업 문제 해결