Buckets temporários e preparo sem servidor do Dataproc

O Dataproc Serverless cria um preparo do Cloud Storage e um bucket temporário do Cloud Storage no projeto ou reutiliza os buckets de preparo e de preparo existentes de solicitações de criação em lote anteriores. Esses são os buckets padrão criados pelo Dataproc nos clusters do Compute Engine. Consulte Buckets de preparo e temporários do Dataproc.

  • Bucket de preparação: usado para preparar dependências de carga de trabalho, saída e arquivos de configuração.

  • Bucket temporário: usado para armazenar dados temporários, como arquivos de log de eventos do Spark.

O Dataproc sem servidor define buckets regionais de preparo e temperaturas em locais do Cloud Storage de acordo com a zona do Compute Engine em que a carga de trabalho é implantada e, em seguida, cria e gerencia esses buckets por local para envolvidos no projeto. Os buckets de preparo e criados pelo Dataproc sem servidor são compartilhados entre cargas de trabalho na mesma região. O bucket temporário tem um TTL de 90 dias.