템플릿을 사용한 Dataproc 클러스터 업데이트

이 페이지에서는 Google API 탐색기 템플릿을 사용해 Dataproc 클러스터를 업데이트하여 클러스터의 작업자 수를 변경하는 방법을 보여줍니다. 대규모 작업을 처리하기 위해 추가 작업자가 필요할 때 더 많은 작업자를 포함하도록 클러스터를 확장하는 것이 일반적인 작업입니다.

Dataproc 클러스터를 업데이트하는 다른 방법은 다음을 참조하세요.

시작하기 전에

이 빠른 시작에서는 Dataproc 클러스터를 이미 만들었다고 가정합니다. API 탐색기, Google Cloud Console, gcloud CLI gcloud 명령줄 도구 또는 빠른 시작: Cloud 클라이언트 라이브러리 사용을 사용하여 클러스터를 만들 수 있습니다.

클러스터 업데이트

클러스터의 작업자 수를 업데이트하려면 Google API 탐색기 API 사용해 보기 템플릿을 작성하고 실행합니다.

요청 매개변수:
1. projectId를 삽입합니다.
2. 클러스터가 있는 리전을 지정합니다('us-central1' 확인 또는 교체). 클러스터 리전은 Google Cloud 콘솔의 Dataproc 클러스터 페이지에 나열됩니다.
3. 업데이트할 기존 클러스터의 clusterName을 지정합니다('example-cluster' 확인 또는 교체).
4. updateMask: 'config.worker_config.num_instances'. 업데이트할 numInstances 매개변수에 대한 클러스터 리소스와 관련된 JSON PATH입니다(요청 본문 안내 참조).
요청 본문:
1. config.workerConfig.numInstances: ('3': 새 작업자 수). 이 값을 변경하여 더 적거나 많은 작업자를 추가할 수 있습니다. 예를 들어 표준 클러스터의 기본 작업자 수가 2개인 경우 '3'을 지정하면 작업자 1개가 추가되고 '4'를 지정하면 2개가 추가됩니다. 표준 Dataproc 클러스터에는 2개 이상의 작업자가 있어야 합니다.
실행을 클릭합니다. API 템플릿을 처음 실행하면 Google 계정을 선택하여 로그인한 다음 Google API 탐색기가 사용자 계정에 액세스할 수 있도록 승인하라는 메시지가 표시될 수 있습니다. 요청이 성공하면 JSON 응답은 클러스터 업데이트가 대기 중임을 나타냅니다.
클러스터의 작업자 수가 업데이트되었는지 확인하려면 Google Cloud 콘솔에서 Dataproc 클러스터 페이지를 열고 클러스터의 총 워커 노드 수 열을 확인합니다. 클러스터 업데이트가 완료된 후 업데이트된 값을 보려면 페이지 상단에서 '새로고침'을 클릭해야 할 수 있습니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

다른 빠른 시작을 살펴보거나 다른 작업을 실행하기 위해 클러스터가 필요하지 않은 경우 API 탐색기, Google Cloud Console, gcloud CLI gcloud 명령줄 도구, 또는 빠른 시작: Cloud 클라이언트 라이브러리 사용을 사용하여 클러스터를 삭제합니다.

다음 단계

이 빠른 시작 템플릿을 사용하여 클러스터를 이전 workerConfig.numInstances 값으로 복원할 수 있습니다.
Spark Scala 작업 작성 및 실행 방법 알아보기