Cara membuat cluster Dataproc
Persyaratan:
Nama: Nama cluster harus dimulai dengan huruf kecil, diikuti dengan maksimal 51 huruf kecil, angka, dan tanda hubung, serta tidak boleh diakhiri dengan tanda hubung.
Region cluster: Anda harus menentukan region Compute Engine untuk cluster, seperti
us-east1
ataueurope-west1
, guna mengisolasi resource cluster, seperti instance VM dan metadata cluster yang disimpan di Cloud Storage, dalam region tersebut.- Lihat Endpoint regional untuk informasi selengkapnya tentang endpoint regional.
- Lihat Region & zona yang tersedia untuk mengetahui informasi tentang cara memilih region. Anda juga dapat menjalankan perintah
gcloud compute regions list
untuk menampilkan listingan region yang tersedia.
Konektivitas: Instance Mesin Virtual Compute Engine (VM) di cluster Dataproc, yang terdiri dari VM master dan worker, memerlukan konektivitas lintas IP internal lengkap. Jaringan VPC
default
menyediakan konektivitas ini (lihat Konfigurasi Jaringan Cluster Dataproc).
gcloud
Untuk membuat cluster Dataproc di command line, jalankan perintah gcloud dataproc clusters create secara lokal di jendela terminal atau di Cloud Shell.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION
Perintah ini akan membuat cluster dengan setelan layanan Dataproc default untuk instance virtual machine master dan worker, ukuran dan jenis disk, jenis jaringan, region, dan zona tempat cluster di-deploy, serta setelan cluster lainnya. Lihat perintah gcloud dataproc clusters create untuk mengetahui informasi tentang cara menggunakan flag command line guna menyesuaikan setelan cluster.
Membuat cluster dengan file YAML
- Jalankan perintah
gcloud
berikut untuk mengekspor konfigurasi cluster Dataproc yang ada ke dalam filecluster.yaml
.gcloud dataproc clusters export EXISTING_CLUSTER_NAME \ --region=REGION \ --destination=cluster.yaml
- Buat cluster baru dengan mengimpor konfigurasi file YAML.
gcloud dataproc clusters import NEW_CLUSTER_NAME \ --region=REGION \ --source=cluster.yaml
Catatan: Selama operasi ekspor, kolom khusus cluster, seperti nama cluster, kolom khusus output, dan label yang diterapkan secara otomatis akan difilter. Kolom ini tidak diizinkan dalam file YAML yang diimpor yang digunakan untuk membuat cluster.
REST
Bagian ini menunjukkan cara membuat cluster dengan nilai yang diperlukan dan konfigurasi default (1 master, 2 pekerja).
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: Project ID Google Cloud
- region: region cluster
- clusterName: nama cluster
Metode HTTP dan URL:
POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters
Meminta isi JSON:
{ "clusterName": "cluster-name", "config": {} }
Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "name": "projects/project-id/regions/region/operations/b5706e31......", "metadata": { "@type": "type.googleapis.com/google.cloud.dataproc.v1.ClusterOperationMetadata", "clusterName": "cluster-name", "clusterUuid": "5fe882b2-...", "status": { "state": "PENDING", "innerState": "PENDING", "stateStartTime": "2019-11-21T00:37:56.220Z" }, "operationType": "CREATE", "description": "Create cluster with 2 workers", "warnings": [ "For PD-Standard without local SSDs, we strongly recommend provisioning 1TB ..."" ] } }
Konsol
Buka halaman Buat cluster Dataproc di konsol Google Cloud di browser Anda, lalu klik Buat di cluster pada baris Compute Engine di halaman Buat cluster Dataproc di Compute Engine. Panel Siapkan cluster dipilih dengan kolom yang diisi dengan nilai default. Anda dapat memilih setiap panel dan mengonfirmasi atau mengubah nilai default untuk menyesuaikan cluster Anda.
Klik Create untuk membuat cluster. Nama cluster akan muncul di halaman Clusters, dan statusnya akan diperbarui menjadi Berjalan setelah cluster disediakan. Klik nama cluster untuk membuka halaman detail cluster tempat Anda dapat memeriksa tugas, instance, dan setelan konfigurasi untuk cluster Anda, serta terhubung ke antarmuka web yang berjalan di cluster Anda.
Go
- Instal library klien.
- Siapkan kredensial default aplikasi.
- Jalankan kode.
Java
- Instal library klien.
- Siapkan kredensial default aplikasi.
- Jalankan kode.
Node.js
- Instal library klien.
- Siapkan kredensial default aplikasi.
- Jalankan kode.
Python
- Instal library klien.
- Siapkan kredensial default aplikasi.
- Jalankan kode.