Buckets de preparo do Dataproc sem servidor

O Dataproc sem servidor cria um bucket de preparo do Cloud Storage no projeto ou reutiliza um bucket de preparo existente de solicitações de criação em lote anteriores. Esse é o bucket padrão criado pelo Dataproc nos clusters do Compute Engine. Consulte Preparação do Dataproc e buckets temporários.

  • O Dataproc Serverless armazena dependências de carga de trabalho, arquivos de configuração e a saída do console do driver do job no bucket de preparo.

  • O Dataproc Serverless define buckets de preparo regionais em locais do Cloud Storage de acordo com a zona do Compute Engine em que sua carga de trabalho está implantada. Em seguida, cria e gerencia esses buckets no nível do projeto e por local. Os buckets de preparo criados no Dataproc sem servidor são compartilhados entre cargas de trabalho na mesma região e criados com uma duração de retenção de exclusão reversível do Cloud Storage definida como 0 segundo.