Penempatan Zona Otomatis Dataproc

Saat Anda membuat cluster Dataproc, resource cluster menggunakan endpoint regional berdasarkan zona Compute Engine. Saat memilih region, Anda dapat memilih zona dalam region tersebut, atau Anda dapat menghilangkan zona agar fitur Dataproc Auto Zone memilih zona untuk Anda di region yang Anda pilih. Setelah zona dipilih, semua node untuk cluster tersebut akan di-deploy ke zona tersebut.

Reservasi zona dan resource otomatis

Zona Otomatis memprioritaskan pembuatan cluster di zona dengan reservasi resource, sebagai berikut:

• Jika resource cluster yang diminta dapat dipenuhi sepenuhnya oleh reservasi, ditambah, jika perlu, resource on-demand di suatu zona, Auto Zone akan menggunakan resource yang dicadangkan dan on-demand, serta membuat cluster di zona tersebut.

• Zona Otomatis memprioritaskan zona untuk pemilihan sesuai dengan reservasi total core CPU (vCPU) dalam suatu zona.

  Contoh: Permintaan pembuatan cluster menentukan 20 n2-standard-2 dan 1 n2-standard-64 (diminta 40 + 64 vCPUs). Zona Otomatis akan memprioritaskan zona berikut untuk pemilihan sesuai dengan total reservasi vCPU yang tersedia di zona tersebut:

  1. zone-c reservasi yang tersedia: 3 n2-standard-2 dan 1 n2-standard-64 (70 vCPUs)
  2. zone-b reservasi yang tersedia: 1 n2-standard-64 (64 vCPUs)

  3. zone-a reservasi yang tersedia: 25 n2-standard-2 (50 vCPUs)

     Dengan asumsi bahwa setiap zona di atas memiliki vCPU sesuai permintaan tambahan dan resource lain yang memadai untuk memenuhi permintaan cluster, Auto Zone akan memilih zone-c untuk pembuatan cluster.

• Jika resource cluster yang diminta tidak dapat dipenuhi sepenuhnya oleh resource yang dicadangkan plus resource on-demand di suatu zona, Zona Otomatis akan membuat cluster di zona yang kemungkinan besar akan memenuhi permintaan menggunakan resource on-demand.

Menggunakan penempatan Zona Otomatis

Konsol

Untuk membuat cluster Dataproc yang menggunakan penempatan Zona Otomatis:

• Di Konsol Google Cloud, buka halaman Membuat cluster Dataproc di Compute Engine Dataproc. Panel Siapkan cluster dipilih.
• Di bagian Lokasi:
  • Pilih Region untuk cluster Anda.
  • Di bagian Zona, pilih "Semua".

Perintah gcloud

Untuk membuat cluster Dataproc yang menggunakan penempatan Zona Otomatis, gunakan perintah gcloud dataproc cluster create. Setel flag --region ke suatu wilayah, dan hapus flag --zone (atau kosongkan tanda: --zone= atau zone="").

Catatan: Jika menjalankan perintah gcloud config set compute/zone untuk menetapkan zona default, Anda harus memberikan tanda --zone= atau zone="" ke gcloud dataproc clusters create untuk mengaktifkan fitur Zona Otomatis. Pengguna Power Shell harus mengapit tanda kutip kosong dengan tanda kutip tunggal: --zone='""'.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone="" \
    other args ...

REST API

Untuk membuat cluster Dataproc yang menggunakan penempatan Zona Otomatis, buat permintaan API clusters.create JSON, dan kosongkan kolom gceClusterConfig.zoneUri. Di endpoint REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, masukkan nama region. Dataproc Auto Zone akan memilih zona untuk cluster dalam region yang ditentukan.

Gunakan nama pendek resource dengan penempatan Auto Zone: Saat menentukan URI resource, seperti machineTypeUri atau acceleratorTypeUri, dalam permintaan pembuatan cluster REST API penempatan Auto Zone, gunakan nama resource singkat tanpa spesifikasi zona, misalnya, "n1-standard-2" atau "nvidia-tesla-k80".