Dataproc imposta valori di metadati speciali per le istanze in esecuzione nel cluster:
| Chiave metadati | Valore |
|---|---|
dataproc-bucket | Nome del bucket di staging del cluster |
dataproc-region | Regione dell'endpoint del cluster |
dataproc-worker-count | Numero di nodi worker nel cluster. Il valore è 0 per i cluster a nodo singolo. |
dataproc-cluster-name | Nome del cluster |
dataproc-cluster-uuid | UUID del cluster |
dataproc-role | Ruolo dell'istanza, Master o Worker |
dataproc-master | Il nome host del primo nodo master. Il valore è [CLUSTER_NAME]-m in un cluster standard o a un solo nodo oppure [CLUSTER_NAME]-m-0 in un cluster ad alta disponibilità, dove [CLUSTER_NAME] è il nome del cluster. |
dataproc-master-additional | Elenco separato da virgole dei nomi host per i nodi master aggiuntivi in un cluster ad alta disponibilità, ad esempio [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 in un cluster con 3 nodi master. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | La versione o l'URL che rimanda a una versione del connettore Spark BigQuery da utilizzare nelle applicazioni Spark, ad esempio 0.42.1 o gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Una versione predefinita del connettore Spark BigQuery è preinstallata nei cluster Dataproc 2.1 e nelle versioni successive delle immagini. Per saperne di più, consulta Utilizzare il connettore Spark BigQuery. |
Puoi utilizzare questi valori per personalizzare il comportamento delle azioni di inizializzazione.
Puoi utilizzare il flag --metadata nel
comando gcloud dataproc clusters create
per fornire i tuoi metadati:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...