Serverlose Dataproc-Staging-Buckets

Dataproc Serverless erstellt einen Cloud Storage-Staging-Bucket in Ihrem Projekt oder verwendet einen vorhandenen Staging-Bucket aus vorherigen Anfragen zur Batcherstellung. Dies ist der Standard-Bucket, der von Dataproc in Compute Engine-Clustern erstellt wird (siehe Dataproc-Staging und temporäre Buckets).

  • Dataproc Serverless speichert Arbeitslastabhängigkeiten, Konfigurationsdateien und die Ausgabe der Jobtreiberkonsole im Staging-Bucket.

  • Dataproc Serverless legt regionale Staging-Buckets nach der Compute Engine-Zone, in der die Arbeitslast bereitgestellt wird, unter Cloud Storage-Standorten fest und erstellt und verwaltet dann diese standortspezifischen Buckets auf Projektebene. Die serverlosen Staging-Buckets von Dataproc werden von Arbeitslasten in derselben Region gemeinsam genutzt. Beim Erstellen wird für Cloud Storage eine Aufbewahrungsdauer für vorläufiges Löschen auf 0 Sekunden festgelegt.