Dataproc 暂存存储分区和临时存储分区

默认情况下,在创建集群时,Dataproc 会在您的项目中创建一个 Cloud Storage 存储分区和一个 Cloud Storage 临时存储分区,或者重复使用 Dataproc 根据先前集群创建请求创建的现有暂存存储分区和临时存储分区。

  • 暂存存储分区:用于暂存集群作业依赖项、作业驱动程序输出和集群配置文件。暂存存储分区还会接收 Cloud SDK gcloud dataproc clusters diagnose 命令的输出。

  • 临时存储分区:用于存储临时集群和作业数据,例如 Spark 和 MapReduce 历史记录文件。

如果您未指定暂存存储分区或临时存储分区,Dataproc 会根据部署您的集群的 Compute Engine 区域为集群的暂存存储分区和临时存储分区设置 Cloud Storage 在美国、亚洲或欧盟的位置,然后创建和管理这些按位置的项目级存储分区。Dataproc 创建的暂存存储分区和临时存储分区在同一地区的集群之间共享。默认情况下,临时存储分区的 TTL 为 90 天。

您也可以指定现有 Cloud Storage 存储分区供 Dataproc 用作集群暂存存储分区和临时存储分区,而非依靠创建默认的暂存存储分区和临时存储分区。

gcloud 命令

使用 --bucket 和/或 --temp-bucket 在终端窗口或 Cloud Shell 中在本地运行 gcloud dataproc clusters create 命令,以指定集群的暂存存储分区和/或临时存储分区。

gcloud dataproc clusters create cluster-name \
    --region=region \
    --bucket=bucket-name \
    --temp-bucket=bucket-name \
    other args ...

REST API

clusters.create 请求中使用 ClusterConfig.configBucketClusterConfig.tempBucket 字段指定集群的暂存存储分区和临时存储分区。

控制台

使用 Google Cloud Console 创建集群→高级选项面板中的 Cloud Storage staging bucket 字段指定或选择集群的暂存存储分区。

注意:目前不支持使用 Cloud Console 指定临时存储分区。

Dataproc 会将已定义的文件夹结构用于附加到集群的 Cloud Storage 存储分区。Dataproc 还支持将多个集群连接到 Cloud Storage 存储分区。用于在 Cloud Storage 中保存作业驱动程序输出的文件夹结构如下:

cloud-storage-bucket-name
  - google-cloud-dataproc-metainfo
    - list of cluster IDs
        - list of job IDs
          - list of output logs for a job

您可以使用 gcloud 命令行工具、Dataproc API 或 Google Cloud Console 列出集群的暂存存储分区和临时存储分区的名称。

gcloud 命令

在终端窗口或 Cloud Shell 中本地运行 gcloud dataproc clusters describe 命令。输出中会列出与集群关联的暂存存储分区和临时存储分区。

gcloud dataproc clusters describe cluster-name \
    --region=region \
...
clusterName: cluster-name
clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec ...
config:
    configBucket: dataproc-...
    ...
    tempBucket: dataproc-temp...

REST API

调用 clusters.get 可列出集群详细信息,包括集群暂存存储分区和临时存储分区的名称。

{
 "projectId": "vigilant-sunup-163401",
 "clusterName": "cluster-name",
 "config": {
  "configBucket": "dataproc-...",
...
  "tempBucket": "dataproc-temp-...",
}

控制台

Cloud Console 中查看集群详细信息,包括集群暂存存储分区的名称。

注意:目前不支持临时存储分区的控制台显示。