Serverloses Dataproc Staging und temporäre Buckets

Dataproc Serverless erstellt ein Cloud Storage-Staging und einen Cloud Storage-Temp-Bucket in Ihrem Projekt oder wiederverwendet vorhandene Staging- und temporären Buckets aus vorherigen Batch-Erstellungsanfragen. Dies sind die Standard-Buckets, die von Dataproc in Compute Engine-Clustern erstellt werden (siehe Dataproc-Staging und temporäre Buckets).

  • Staging-Bucket: Wird für das Staging von Arbeitslastabhängigkeiten, Ausgabe- und Konfigurationsdateien verwendet.

  • Temporärer Bucket: Damit werden sitzungsspezifische Daten wie Spark-Ereignisprotokolldateien gespeichert.

Dataproc Serverless stellt regionale Staging- und temporäre Buckets in Cloud Storage-Standorten entsprechend der Compute Engine-Zone fest, in der Ihre Arbeitslast bereitgestellt wird. Anschließend werden diese projektspezifischen Buckets auf Projektebene erstellt und verwaltet. Serverlose, von Dataproc erstellte Staging- und temporäre Buckets werden für Arbeitslasten in derselben Region verwendet. Der temporäre Bucket hat eine TTL von 90 Tagen.