Dataproc menetapkan nilai metadata khusus untuk instance yang berjalan di cluster Anda:
| Kunci metadata | Nilai |
|---|---|
dataproc-bucket | Nama bucket penyiapan cluster |
dataproc-region | Region endpoint cluster |
dataproc-worker-count | Jumlah node pekerja di cluster. Nilainya adalah 0 untuk cluster node tunggal. |
dataproc-cluster-name | Nama cluster |
dataproc-cluster-uuid | UUID cluster |
dataproc-role | Peran instance, Master atau Worker |
dataproc-master | Nama host node master pertama. Nilainya adalah [CLUSTER_NAME]-m di cluster standar atau node tunggal, atau [CLUSTER_NAME]-m-0 di cluster ketersediaan tinggi, dengan [CLUSTER_NAME] adalah nama cluster Anda. |
dataproc-master-additional | Daftar nama host yang dipisahkan koma untuk node master tambahan dalam cluster ketersediaan tinggi, misalnya, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dalam cluster yang memiliki 3 node master. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | Versi atau URL yang mengarah ke versi konektor Spark BigQuery yang akan digunakan dalam aplikasi Spark, misalnya, 0.42.1 atau gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Versi konektor Spark BigQuery default telah diinstal sebelumnya di cluster versi image Dataproc 2.1 dan yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Menggunakan konektor Spark BigQuery. |
Anda dapat menggunakan nilai ini untuk menyesuaikan perilaku tindakan inisialisasi.
Anda dapat menggunakan flag --metadata dalam perintah
gcloud dataproc clusters create
untuk memberikan metadata Anda sendiri:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...