O Dataproc define valores de metadados especiais para as instâncias executadas no cluster:
| Chave de metadados | Valor |
|---|---|
dataproc-bucket | Nome do bucket de preparação do cluster |
dataproc-region | Região do ponto de extremidade do cluster |
dataproc-worker-count | Número de workers nodes no cluster. O valor é 0 para clusters de nó único. |
dataproc-cluster-name | Nome do cluster |
dataproc-cluster-uuid | UUID do cluster |
dataproc-role | Papel da instância, Master ou Worker |
dataproc-master | Nome do host do primeiro nó mestre. O valor é [CLUSTER_NAME]-m em um cluster de nó padrão ou único, ou [CLUSTER_NAME]-m-0 em um cluster de alta disponibilidade, em que [CLUSTER_NAME] é o nome do cluster. |
dataproc-master-additional | Lista separada por vírgulas de nomes de host para os nós mestres adicionais em um cluster de alta disponibilidade, por exemplo, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 em um cluster com três nós mestres. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | A versão ou o URL que aponta para uma versão do conector do BigQuery para Spark a ser usada em aplicativos Spark, por exemplo, 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Uma versão padrão do conector do Spark BigQuery é pré-instalada no Dataproc 2.1 e em clusters de versões de imagem posteriores. Para mais informações, consulte Usar o conector do BigQuery para Spark. |
É possível usar esses valores para personalizar o comportamento das ações de inicialização.
É possível usar a flag --metadata no comando
gcloud dataproc clusters create
para fornecer seus próprios metadados:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...