Dataproc définit des valeurs de métadonnées spéciales pour les instances exécutées dans votre cluster :
| Clé de métadonnée | Valeur |
|---|---|
dataproc-bucket | Nom du bucket de préproduction du cluster |
dataproc-region | Région du point de terminaison du cluster |
dataproc-worker-count | Nombre de nœuds de calcul dans le cluster. La valeur est 0 pour les clusters à nœud unique. |
dataproc-cluster-name | Nom du cluster |
dataproc-cluster-uuid | UUID du cluster |
dataproc-role | Rôle de l'instance : soit Master, soit Worker |
dataproc-master | Nom d'hôte du premier nœud maître. La valeur est [CLUSTER_NAME]-m dans un cluster standard ou à nœud unique, ou [CLUSTER_NAME]-m-0 dans un cluster à haute disponibilité, où [CLUSTER_NAME] est le nom de votre cluster. |
dataproc-master-additional | Liste des noms d'hôtes séparés par une virgule pour les nœuds maîtres supplémentaires d'un cluster à haute disponibilité, par exemple [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dans un cluster comportant trois nœuds maîtres. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | Version ou URL pointant vers une version du connecteur Spark BigQuery à utiliser dans les applications Spark (par exemple, 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar). Une version par défaut du connecteur Spark BigQuery est préinstallée dans les clusters Dataproc 2.1 et versions d'image ultérieures. Pour en savoir plus, consultez Utiliser le connecteur Spark-BigQuery. |
Vous pouvez utiliser ces valeurs pour personnaliser le comportement des actions d'initialisation.
Vous pouvez utiliser l'option --metadata dans la commande gcloud dataproc clusters create pour fournir vos propres métadonnées :
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...