Buckets temporaires et de préproduction Dataproc Server

Dataproc sans serveur crée une préproduction Cloud Storage et un bucket temporaire Cloud Storage dans votre projet, ou réutilise les buckets temporaires de stockage et de préproduction à partir de requêtes de création de lots précédentes. Notez qu'il s'agit des buckets créés par défaut par les clusters Dataproc sur Compute Engine (consultez la page Buckets Dataproc et Temp).

  • Bucket de préproduction: utilisé pour entreposer les dépendances de charge de travail, les résultats et les fichiers de configuration.

  • Bucket temporaire: permet de stocker des données éphémères, telles que des fichiers journaux d'événements Spark.

Dataproc sans serveur définit des buckets de stockage régional et temporaire dans des emplacements Cloud Storage en fonction de la zone Compute Engine dans laquelle votre charge de travail est déployée, puis crée et gère ces buckets au niveau du projet et par emplacement. Les buckets de stockage temporaire et de préproduction créés par Dataproc sont partagés entre les charges de travail de la même région. La valeur TTL du bucket temporaire est de 90 jours.