Dataproc 자동 영역 배치

Dataproc 클러스터를 만들 때 클러스터 리소스는 Compute Engine 영역을 기반으로 리전 엔드포인트를 사용합니다. 리전을 선택하는 경우 해당 리전 내에서 영역을 선택할 수도 있고, 영역을 생략하고 Dataproc 자동 영역 기능을 통해 선택한 리전에서 영역을 선택할 수도 있습니다. 영역을 선택하면 해당 클러스터의 모든 노드가 해당 영역에 배포됩니다.

자동 영역 및 리소스 예약

자동 영역에서는 다음과 같이 리소스 예약이 있는 영역에 클러스터를 만드는 방식이 선호됩니다.

  • 요청한 클러스터 리소스가 예약 리소스 및 주문형 리소스(필요한 경우)로 완전히 충족될 수 있는 경우, 자동 영역에서 예약 리소스와 주문형 리소스를 사용하고 해당 영역에서 클러스터를 만듭니다.

  • 자동 영역은 영역의 총 CPU 코어(vCPU) 예약에 따라 선택 영역의 우선순위를 지정합니다.

    예: 클러스터 생성 요청은 20개의 n2-standard-2와 1개의 n2-standard-64를 지정합니다(40 + 64 vCPUs 요청). 자동 영역은 영역에서 사용할 수 있는 총 vCPU 예약에 따라 다음 영역의 선택에 우선순위를 둡니다.

    1. zone-c에 사용 가능한 예약: n2-standard-2 3개 및 n2-standard-64 1개(70개의 vCPUs)
    2. zone-b에 사용 가능한 예약: n2-standard-64 1개(64개의 vCPUs)

    3. zone-a에 사용 가능한 예약: n2-standard-2 25개(50개의 vCPUs)

      위의 각 영역에 클러스터 요청을 충족할 수 있는 충분한 주문형 vCPU 및 기타 리소스가 있다고 가정하면 자동 영역은 zone-c를 선택하여 클러스터를 만듭니다.

  • 요청된 클러스터 리소스가 영역에 있는 예약된 리소스와 주문형 리소스로 완전히 충족될 수 없는 경우 자동 영역은 주문형 리소스를 사용해서 요청을 충족시킬 가능성이 가장 높은 영역에 클러스터를 만듭니다.

자동 영역 배치 사용

콘솔

자동 영역 배치를 사용하는 Dataproc 클러스터를 만드는 방법은 다음과 같습니다.

  • Google Cloud 콘솔에서 Dataproc Compute Engine에서 Dataproc 클러스터 만들기 페이지를 엽니다. 클러스터 설정 패널이 선택되었습니다.
  • 위치 섹션에서 다음을 수행합니다.
    • 클러스터의 리전을 선택합니다.
    • 영역에서 '모두'를 선택합니다.

gcloud 명령어

자동 영역 배치를 사용하는 Dataproc 클러스터를 만들려면 gcloud dataproc clusters create 명령어를 사용하세요. --region 플래그를 리전으로 설정하고 --zone 플래그를 생략하거나 --zone= 또는 zone="" 플래그를 비워 둡니다.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

자동 영역 배치를 사용하는 Cloud Dataproc 클러스터를 만들려면 JSON clusters.create API 요청을 구성하고 gceClusterConfig.zoneUri 필드를 비워 둡니다. REST 엔드포인트 https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters에 리전 이름을 삽입합니다. Cloud Dataproc 자동 영역은 지정된 리전 내에서 클러스터의 영역을 선택합니다.

자동 영역 배치와 함께 짧은 리소스 이름 사용: 자동 영역 배치 REST API 클러스터 만들기 요청에서 machineTypeUri 또는 acceleratorTypeUri 같은 리소스 URI를 지정할 때 영역(zone) 지정 없이 짧은 리소스 이름을 사용합니다(예: 'n1-standard-2' 또는 'nvidia-tesla-k80').