실행 중인 파이프라인 중지

실행 중인 Cloud Dataflow 작업을 중지해야 하는 경우 Cloud Dataflow 모니터링 인터페이스 또는 Cloud Dataflow 명령줄 인터페이스를 사용하여 명령어를 실행합니다. 취소드레이닝의 두 가지 명령어를 사용하여 작업 중지를 실행할 수 있습니다.

Cloud Dataflow 모니터링 UI를 사용한 작업 중지

Cloud Dataflow 모니터링 인터페이스의 작업 목록에서 중지할 작업을 선택합니다. 작업 정보 카드에서 작업 중지를 클릭합니다.

그림 1: 작업 중지 버튼이 있는 Cloud Dataflow 작업용 정보 카드

작업 중지 방법에 대한 옵션이 있는 작업 중지 대화상자가 나타납니다.

그림 2: 취소 및 드레이닝 옵션이 있는 작업 중지 대화상자

취소 또는 드레이닝 옵션을 적절히 선택하고 작업 중지 버튼을 클릭합니다.

취소

취소 옵션을 사용하여 작업을 중지하면 Cloud Dataflow 서비스가 작업을 즉시 취소합니다. 이 서비스는 가능한 한 빨리 모든 데이터 수집 및 처리를 중지하고 작업에 연결된 Google Cloud Platform(GCP) 리소스 삭제를 즉시 시작합니다. 여기에는 Compute Engine 작업자 인스턴스 종료와 I/O 소스 또는 싱크에 대한 활성 연결을 종료하는 작업이 포함됩니다.

취소는 즉시 처리를 중단하기 때문에 '처리 중인' 데이터가 손실될 수 있습니다. '처리 중인' 데이터는 읽었지만 아직 파이프라인에서 처리 중인 데이터를 말합니다. 취소 명령어를 실행하기 전에 파이프라인에서 출력 싱크에 기록된 데이터는 출력 싱크에서 계속 액세스할 수 있습니다.

데이터 손실에 대한 우려가 크지 않다면 작업과 관련된 GCP 리소스가 가능한 빨리 종료되도록 취소 옵션을 사용하여 작업을 중지해야 합니다.

드레이닝

드레이닝 옵션을 사용하여 작업을 중지하면 Cloud Dataflow 서비스는 현재 상태로 작업을 완료하게 됩니다. 작업은 입력 소스에서 새 데이터 수집을 즉시 중지합니다. 하지만 Cloud Dataflow 서비스는 기존 리소스(예: 작업자 인스턴스)를 유지하여 파이프라인의 버퍼링된 데이터를 처리하고 기록합니다. 보류 중인 모든 처리 및 쓰기 작업이 완료되면 Cloud Dataflow 서비스는 작업과 관련된 GCP 리소스를 삭제합니다.

파이프라인을 종료할 때 데이터 손실을 방지하려면 드레이닝 옵션을 사용하여 작업을 중지하세요.

작업 드레이닝의 효과

드레이닝 명령어를 실행하면 Cloud Dataflow가 진행 중인 모든 윈도우를 즉시 종료하고 모든 트리거를 시작합니다. 시스템은 처리되지 않은 시간 기반 윈도우가 종료될 때까지 기다리지 않습니다. 예를 들어 드레이닝 명령어를 실행할 때 파이프라인이 2시간 분량의 윈도우에서 10분만 진행된 경우 Cloud Dataflow는 나머지 윈도우가 완료될 때까지 기다리지 않습니다. 즉시 윈도우를 종료하여 부분적인 결과만 받습니다.

파이프라인의 변환 자세히 보기에서 진행 중인 드레이닝 명령어의 효과를 확인할 수 있습니다.

그림 3: 드레이닝이 진행 중인 단계 보기(워터마크가 최댓값으로 설정되어 있음)

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.