Dataproc 클러스터 중지 및 시작

클러스터를 만든 후에는 중지한 뒤 필요할 때 다시 시작할 수 있습니다. 유휴 클러스터를 중지하면 비용이 청구되지 않으며 유휴 클러스터를 삭제할 필요가 없으므로 나중에 동일한 구성으로 클러스터를 만들 수 있습니다.

기능 노트:

클러스터 시작/중지 기능은 다음 Dataproc 이미지 버전 이상에서만 지원됩니다.
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
중지된 VM의 상태가 클러스터 상태와 동기화되지 않아 오류가 발생할 수 있으므로 개별 클러스터 노드를 중지하지 않는 것이 좋습니다.

클러스터 중지

클러스터를 중지하면 모든 클러스터 Compute Engine VM이 중지됩니다. VM이 정지된 동안에는 이러한 VM에 대한 비용을 지불하지 않습니다. 그러나 영구 디스크와 같은 연결된 클러스터 리소스에 대한 비용은 계속 청구됩니다.

참고:

실행 중인 작업: 클러스터에 실행 중인 작업(예: 업데이트 또는 진단 작업)이 있으면 중지 요청이 실패합니다.
실행 중인 작업: 클러스터에 실행 중인 작업이 있으면 중지 요청이 성공하고, VM이 중지되고, 실행 중인 작업이 실패합니다.
중지 요청: 중지 요청이 응답에서 사용자 또는 호출자에게 중지 작업을 반환하면 클러스터는 STOPPING 상태가 되고 더 이상 작업을 제출할 수 없습니다(SubmitJob 요청이 실패함).
자동 확장: 자동 확장이 사용 설정된 클러스터를 중지하면 Dataproc 자동 확장 처리가 클러스터 확장을 중지합니다. 클러스터가 다시 시작되면 클러스터 확장이 재개됩니다. 중지된 클러스터에서 자동 확장을 사용 설정하는 경우 클러스터가 시작되면 자동 확장 정책이 적용됩니다.

gcloud dataproc operations describe operation-id를 실행하여 장기 실행 클러스터 작업 중지를 모니터링할 수 있습니다. 또한 gcloud dataproc clusters describe cluster-name 명령어를 사용하여 클러스터 상태가 RUNNING에서 STOPPING, STOPPED로 전환되는 것을 모니터링할 수도 있습니다.

다음을 중지할 수 없습니다.
- 보조 작업자가 있는 클러스터
- 로컬 ssd가 있는 클러스터
클러스터가 중지되면 다음 작업을 수행할 수 없습니다.
- 클러스터를 업데이트합니다.
- 클러스터에 작업 제출
- Dataproc 구성요소 게이트웨이를 사용하여 클러스터의 메모장에 액세스

중지된 클러스터를 시작하면 초기화 작업이 다시 실행되지 않습니다. 초기화 작업은 클러스터가 생성될 때와 클러스터가 확장될 때 노드가 추가되는 경우에만 클러스터 노드에서 실행됩니다.
시작 작업이 완료된 후 작업을 즉시 클러스터에 제출할 수 있습니다. 그러나 HDFS 및 YARN이 작동하려면 이러한 작업 실행이 약 30초 정도 지연될 수 있습니다.

gcloud CLI 또는 Dataproc API를 사용하여 클러스터를 중지하고 시작할 수 있습니다.

클러스터 중지

gcloud dataproc clusters stop cluster-name \
    --region=region

클러스터 시작

gcloud dataproc clusters start cluster-name \
    --region=region

클러스터 중지

clusters.stop 요청을 제출합니다.

클러스터 시작

clusters.start 요청을 제출합니다.

Google Cloud 콘솔의 Dataproc 클러스터 페이지에서 클러스터 이름을 클릭한 후 클러스터를 중지하려면 중지를, 클러스터를 시작하려면 시작을 클릭합니다.