Vorlage „Bulk-Dekomprimierung von Cloud Storage-Dateien“

Die Vorlage „Bulk-Dekomprimierung von Cloud Storage-Dateien“ ist eine Batchpipeline, die Dateien in Cloud Storage an einem festgelegten Speicherort dekomprimiert. Diese Funktionalität ist nützlich, wenn Sie komprimierte Daten verwenden möchten, um die Kosten der Netzwerkbandbreiten während einer Migration zu minimieren, aber nach der Migration die analytische Verarbeitungsgeschwindigkeit wieder maximieren möchten, um mit unkomprimierten Daten zu arbeiten. Die Pipeline verarbeitet automatisch mehrere Komprimierungsmodi während einer einzelnen Ausführung und bestimmt den zu verwendenden Dekomprimierungsmodus anhand der Dateierweiterungen .bzip2, .deflate, .gz und .zip.

Pipelineanforderungen

  • Die zu dekomprimierenden Dateien müssen in einem der folgenden Formate vorliegen: Bzip2, Deflate, Gzip, Zip.
  • Das Ausgabeverzeichnis muss vorhanden sein, damit Sie die Pipeline verwenden können.

Vorlagenparameter

Parameter Beschreibung
inputFilePattern Das Muster der Eingabedatei, aus der gelesen werden soll. z. B. gs://bucket-name/compressed/*.gz.
outputDirectory Der Ausgabeort, in den geschrieben werden soll, z. B. gs://bucket-name/decompressed.
outputFailureFile Die Ausgabedatei des Fehlerlogs für Schreibfehler, die während der Komprimierung auftreten. Beispiel: gs://bucket-name/decompressed/failed.csv Wenn keine Fehler auftreten, wird die Datei zwar erstellt, bleibt aber leer. Der Dateiinhalt liegt im CSV-Format (Dateiname, Fehler) vor und besteht aus einer Zeile pro Datei, bei der die Dekomprimierung fehlschlägt.

Führen Sie die Vorlage aus.

Console

  1. Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf.
  2. Zur Seite "Job aus Vorlage erstellen“
  3. Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
  4. Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist us-central1.

    Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.

  5. Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the Bulk Decompress Files on Cloud Storage templateaus.
  6. Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
  7. Klicken Sie auf Job ausführen.

gcloud

Führen Sie die Vorlage in der Shell oder im Terminal aus:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Bulk_Decompress_GCS_Files \
    --region REGION_NAME \
    --parameters \
inputFilePattern=gs://BUCKET_NAME/compressed/*.gz,\
outputDirectory=gs://BUCKET_NAME/decompressed,\
outputFailureFile=OUTPUT_FAILURE_FILE_PATH

Ersetzen Sie Folgendes:

  • JOB_NAME: ein eindeutiger Jobname Ihrer Wahl
  • REGION_NAME: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B. us-central1
  • VERSION: Die Version der Vorlage, die Sie verwenden möchten

    Sie können die folgenden Werte verwenden:

    • latest zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/
    • Den Versionsnamen wie 2023-09-12-00_RC00, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
  • BUCKET_NAME: der Name Ihres Cloud Storage-Buckets
  • OUTPUT_FAILURE_FILE_PATH: der Pfad Ihrer Datei mit Fehlerinformationen

API

Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Bulk_Decompress_GCS_Files
{
   "jobName": "JOB_NAME",
   "parameters": {
       "inputFilePattern": "gs://BUCKET_NAME/compressed/*.gz",
       "outputDirectory": "gs://BUCKET_NAME/decompressed",
       "outputFailureFile": "OUTPUT_FAILURE_FILE_PATH"
   },
   "environment": { "zone": "us-central1-f" }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchten
  • JOB_NAME: ein eindeutiger Jobname Ihrer Wahl
  • LOCATION: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B. us-central1
  • VERSION: Die Version der Vorlage, die Sie verwenden möchten

    Sie können die folgenden Werte verwenden:

    • latest zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/
    • Den Versionsnamen wie 2023-09-12-00_RC00, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
  • BUCKET_NAME: der Name Ihres Cloud Storage-Buckets
  • OUTPUT_FAILURE_FILE_PATH: der Pfad Ihrer Datei mit Fehlerinformationen

Nächste Schritte