Cloud Dataflow 파이프라인에서 Stackdriver Monitoring 사용

Stackdriver는 강력한 모니터링, 로깅, 진단 기능을 제공합니다. Stackdriver Monitoring과 Cloud Dataflow가 통합되어 작업 상태, 요소 개수, 시스템 지연(스트리밍 작업의 경우), 사용자 카운터 등의 Cloud Dataflow 작업 측정항목에 액세스할 수 있습니다. Stackdriver 알림 기능을 사용하여 긴 스트리밍 시스템 지연이나 작업 실패와 같은 다양한 상태를 알 수 있습니다.

시작하기 전에

빠른 시작 중 한 가지를 따라 Cloud Dataflow 프로젝트를 설정하고 파이프라인을 구성 및 실행합니다.

측정항목 살펴보기

Stackdriver를 사용하여 Cloud Dataflow 측정항목을 탐색할 수 있습니다. 이 섹션의 단계를 따라 각 Apache Beam 파이프라인에 제공되는 몇 가지 표준 측정항목을 살펴보세요.

참고: Apache Beam 파이프라인에 정의한 모든 애그리게이터는 Cloud Dataflow에 의해 Stackdriver에 커스텀 측정항목으로 보고됩니다. Cloud Dataflow는 약 30초마다 증분 업데이트를 Stackdriver에 보고합니다. 모든 사용자 측정항목은 충돌을 피하기 위해 '이중' 데이터 유형으로 내보내집니다.

  1. Google Cloud Platform Console로 이동하여 Stackdriver Monitoring 메뉴를 선택합니다. Stackdriver Monitoring

  2. Google Cloud Platform Console의 단계에 따라 Stackdriver 계정을 만들고 Stackdriver 무료 평가판을 시작합니다.

  3. Stackdriver의 Cloud Dataflow 대시보드로 이동하고 리소스 > 측정항목 탐색기(베타)로 이동합니다. 측정항목 탐색기

  4. 측정항목 탐색기에서 dataflow_job 리소스 유형을 선택합니다. dataflow_job

  5. 표시되는 목록에서 한 가지 작업에 대해 관찰하려는 측정항목을 선택합니다.


    측정항목 선택
    : 이 예는 Cloud Pub/Sub 주제에서는 읽기, BigQuery에서는 쓰기를 수행하는 스트리밍 파이프라인을 보여줍니다. 여기에는 5단계가 있으며 그 중 하나가 PubsubIO.Read입니다. 아래 이미지는 파이프라인의 PubsubIO.Read 단계에 대한 dataflow/job/element_count를 나타냅니다. 예

알림 및 대시보드 만들기

Stackdriver는 Cloud Dataflow 관련 측정항목에 대한 액세스를 제공할 뿐만 아니라 알림 및 대시보드를 만들어 측정항목의 시계열 차트를 작성하고 이러한 측정항목이 지정된 값에 도달하면 알림을 받도록 선택할 수 있습니다.

리소스 그룹 만들기

여러 Apache Beam 파이프라인을 포함하는 리소스 그룹을 만들어 알림을 쉽게 설정하고 대시보드를 빌드할 수 있습니다.

  1. Stackdriver의 Cloud Dataflow 대시보드에서 그룹 메뉴로 이동하고 그룹 만들기를 선택합니다.

  2. 그룹에 포함된 Cloud Dataflow 리소스를 정의하는 필터 기준을 추가합니다. 예를 들어 파이프라인의 프리픽스 이름이 필터 기준이 될 수 있습니다. 그룹 만들기

  3. 그룹을 만든 후에는 해당 그룹의 리소스와 관련된 기본 측정항목을 볼 수 있습니다. 그룹 만들기

Cloud Dataflow 측정항목 알림 만들기

Stackdriver를 사용하면 알림을 만들어 특정 측정항목이 지정된 임계값을 초과할 때 알림을 받을 수 있습니다. 예를 들어 스트리밍 파이프라인의 시스템 지연이 사전 정의된 값을 초과할 때 알림을 받게 됩니다.

  1. Stackdriver의 Cloud Dataflow 대시보드에서 알림 메뉴로 이동하고 정책 개요를 선택합니다.

  2. 정책 추가를 클릭합니다. 정책 추가

  3. 새 알림 정책 만들기 페이지에서 알림 조건 및 알림 수신 채널을 정의할 수 있습니다.
    예를 들어 WindowedWordCount Apache Beam 파이프라인 그룹의 시스템 지연 알림을 설정하려면 리소스 유형 드롭다운에서 'Dataflow 작업'을, 적용 대상 드롭다운에서 '그룹'을, If 측정항목 드롭다운에서 '시스템 지연'을 선택합니다. 알림 만들기

  4. 알림을 만든 후 알림 > 이벤트로 이동하여 Cloud Dataflow와 관련된 이벤트를 검토할 수 있습니다. 측정항목 임계값 조건에 의해 알림이 트리거될 때마다 Stackdriver에서 이슈 및 이에 상응하는 이벤트가 만들어집니다. 이메일, SMS 등의 알림 도구에서 알림 메커니즘을 지정한 경우에도 알림을 받게 됩니다. 이슈 알림

커스텀 모니터링 대시보드 만들기

관련성이 가장 높은 Cloud Dataflow 관련 차트를 사용하여 Stackdriver Monitoring 대시보드를 만들 수 있습니다.

  1. Stackdriver의 Cloud Dataflow 대시보드에서 대시보드 메뉴로 이동하고 대시보드 만들기를 선택합니다.

  2. 차트 추가를 클릭합니다.

  3. 차트 추가 창에서 리소스 유형으로 'Dataflow 작업'을 선택하고 측정항목 유형 필드에서 차트로 만들 측정항목을 선택한 다음 필터 패널에서 Apache Beam 파이프라인을 포함하는 그룹을 선택합니다. 차트 추가

대시보드에 원하는 만큼 차트를 추가할 수 있습니다.

Stackdriver Monitoring 에이전트에서 작업자 VM 측정항목 수신

Cloud Dataflow 작업자 VM 인스턴스의 영구 디스크, CPU, 네트워크, 프로세스 측정항목을 모니터링하려면 파이프라인을 실행할 때 Stackdriver Monitoring 에이전트를 사용 설정할 수 있습니다. 사용할 수 있는 Monitoring 에이전트 측정항목 목록을 참조하세요.

Monitoring 에이전트를 사용 설정하려면 파이프라인을 실행할 때 --experiments=enable_stackdriver_agent_metrics 옵션을 사용하세요.

파이프라인을 중지하지 않고 Monitoring 에이전트를 중지하려면 --experiments=enable_stackdriver_agent_metrics 매개변수를 지정하지 않고 교체 작업을 시작하여 파이프라인을 업데이트합니다.

다음 단계

자세한 내용은 다음 리소스를 참조하세요.

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.