클러스터 관리

이 페이지에서는 기존 Dataproc 클러스터를 업데이트하거나 삭제하는 방법에 대해 설명합니다.

클러스터 업데이트

Dataproc API clusters.patch 요청을 실행하거나, 로컬 터미널 창 또는 Cloud Shell에서 gcloud dataproc clusters update 명령어를 실행하거나, Google Cloud 콘솔에 있는 클러스터 세부정보 페이지의 구성 탭에서 클러스터의 클러스터 매개변수를 수정하여 클러스터를 업데이트할 수 있습니다.

다음 클러스터 매개변수를 업데이트할 수 있습니다.

  • 클러스터에 있는 표준 작업자 노드의 수 - 클러스터 확장 참조
  • 클러스터의 보조 워커 노드 수 — 선점형 VM 참조
  • 작업이 완료된 후 작업자 종료를 관리하기 위해 단계적 해제 사용 여부
  • 클러스터 라벨 추가 또는 삭제

클러스터 업데이트 오류

클러스터 업데이트 작업이 실패하면 Dataproc에서 ERROR_DUE_TO_UPDATE 오류를 발생시킵니다. 이 오류로 인해 데이터 손실을 방지하기 위해 클러스터가 장애 안전 상태가 되고 추가 클러스터 작업이 제한됩니다. 클러스터에 작업을 계속 제출할 수 있고 클러스터를 삭제할 수 있지만 추가 클러스터 업데이트 작업은 허용되지 않습니다.

권장사항: 클러스터에서 ERROR_DUE_TO_UPDATE를 수신한 후 클러스터 구성을 내보내 새 클러스터를 만든 다음 실패한 클러스터를 삭제하여 클러스터를 다시 만드세요. 클러스터 재생성에 실패하면 Cloud Customer Care에 문의하여 클러스터를 RUNNING 상태로 복원하세요.

클러스터 삭제

클러스터는 Dataproc API clusters.delete HTTP 또는 프로그래매틱 요청을 통해, 터미널 창 또는 Cloud Shell에서 로컬로 Google Cloud CLI gcloud 명령줄 도구를 사용하여, Google Cloud 콘솔에서 삭제할 수 있습니다.

gcloud 명령어

Dataproc 클러스터를 삭제하려면 터미널 창 또는 Cloud Shell에서 로컬로 gcloud CLI gcloud dataproc clusters delete 명령어를 사용합니다.

gcloud dataproc clusters delete cluster-name \
    --region=region

REST API

Dataproc clusters.delete API를 사용하여 클러스터를 삭제합니다.

콘솔

Google Cloud 콘솔에서 Dataproc 클러스터 페이지를 엽니다. 클러스터 이름 왼쪽의 체크박스를 선택하여 클러스터를 선택한 후 삭제를 클릭하여 클러스터를 삭제합니다.