Dataproc Serverless 暂存和临时存储桶

Dataproc 无服务器会在项目中创建 Cloud Storage 暂存存储分区和 Cloud Storage 临时存储分区,或重复使用之前批量创建请求中的现有暂存存储分区和临时存储分区。请注意,这些是 Dataproc 在 Compute Engine 集群上创建的默认存储分区(请参阅 Dataproc 暂存和临时存储分区)。

  • 暂存存储桶:用于暂存工作负载依赖项、输出和配置文件。

  • 临时存储桶:用于存储临时数据,例如 Spark 事件日志文件。

Dataproc 无服务器会根据部署您的工作负载的 Compute Engine 区域在 Cloud Storage 位置中设置区域暂存和临时存储分区,然后创建和管理这些按位置划分的项目级存储分区。同一区域内的工作负载共享 Dataproc Serverless 所创建的暂存和临时存储桶。临时存储分区的 TTL 为 90 天。