集群元数据

Dataproc 会为集群中运行的实例设置特殊元数据值:

元数据键
dataproc-bucket集群的暂存存储分区的名称
dataproc-region集群端点所在的区域
dataproc-worker-count集群中的工作器节点数。对于单节点集群,值为 0
dataproc-cluster-name集群的名称
dataproc-cluster-uuid集群的 UUID
dataproc-role实例的角色(MasterWorker
dataproc-master第一个主节点的主机名。该值为 [CLUSTER_NAME]-m(在标准或单个节点集群中)或 [CLUSTER_NAME]-m-0(在高可用性集群中),其中 [CLUSTER_NAME] 是您的集群名称。
dataproc-master-additional高可用性集群中其他主节点的主机名列表(用英文逗号分隔),例如具有 3 个主节点的集群中的 [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2

您可以使用这些值来自定义初始化操作的行为。

您还可以使用 gcloud dataproc clusters create--metadata 标志 命令(位于 gcloud CLI 中)提供您自己的自定义元数据:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...