Template Konversi Format File (Avro, Parquet, CSV)

Template Konversi Format File adalah pipeline batch yang mengonversi file yang disimpan di Cloud Storage dari satu format yang didukung ke format lainnya.

Konversi format berikut didukung:

  • CSV ke Avro
  • CSV ke Parquet
  • Avro ke Parquet
  • Parquet ke Avro

Persyaratan pipeline

  • Bucket Cloud Storage output harus ada sebelum menjalankan pipeline.

Parameter template

Parameter Deskripsi
inputFileFormat Format file input. Harus salah satu dari [csv, avro, parquet].
outputFileFormat Format file output. Harus salah satu dari [avro, parquet].
inputFileSpec Pola jalur Cloud Storage untuk file input. Contoh, gs://bucket-name/path/*.csv
outputBucket Folder Cloud Storage untuk menulis file output. Jalur ini harus diakhiri dengan garis miring. Contoh, gs://bucket-name/output/
schema Jalur Cloud Storage ke file skema Avro. Contoh, gs://bucket-name/schema/my-schema.avsc
containsHeaders (Opsional) File CSV input berisi rekaman header (true/false). Nilai defaultnya adalah false. Hanya diperlukan saat membaca file CSV.
csvFormat (Opsional) Spesifikasi format CSV yang akan digunakan untuk mengurai data. Nilai defaultnya adalah Default. Lihat Format CSV Apache Commons untuk detail selengkapnya.
delimiter (Opsional) Pemisah kolom yang digunakan oleh file CSV input.
outputFilePrefix (Opsional) Awalan file output. Nilai defaultnya adalah output.
numShards (Opsional) Jumlah shard file output.

Menjalankan template

Konsol

  1. Buka halaman Create job from template Dataflow.
  2. Buka Buat tugas dari template
  3. Di kolom Job name, masukkan nama pekerjaan yang unik.
  4. Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region default-nya adalah us-central1.

    Untuk daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.

  5. Dari menu drop-down Dataflow template, pilih the Convert file formats template.
  6. Di kolom parameter yang disediakan, masukkan parameter value Anda.
  7. Klik Run job.

gcloud

Di shell atau terminal Anda, jalankan template:

gcloud dataflow flex-template run JOB_NAME \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/File_Format_Conversion \
    --parameters \
inputFileFormat=INPUT_FORMAT,\
outputFileFormat=OUTPUT_FORMAT,\
inputFileSpec=INPUT_FILES,\
schema=SCHEMA,\
outputBucket=OUTPUT_FOLDER

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama pekerjaan unik pilihan Anda
  • REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • INPUT_FORMAT: format file file input; harus salah satu dari [csv, avro, parquet]
  • OUTPUT_FORMAT: format file dari file output; harus salah satu dari [avro, parquet]
  • INPUT_FILES: pola jalur untuk file input
  • OUTPUT_FOLDER: folder Cloud Storage untuk file output
  • SCHEMA: jalur ke file skema Avro

API

Untuk menjalankan template menggunakan REST API, kirim permintaan HTTP POST. Untuk informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "inputFileFormat": "INPUT_FORMAT",
          "outputFileFormat": "OUTPUT_FORMAT",
          "inputFileSpec": "INPUT_FILES",
          "schema": "SCHEMA",
          "outputBucket": "OUTPUT_FOLDER"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/File_Format_Conversion",
   }
}

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat Anda ingin menjalankan tugas Dataflow
  • JOB_NAME: nama pekerjaan unik pilihan Anda
  • LOCATION: region tempat Anda ingin men-deploy tugas Dataflow, misalnya us-central1
  • VERSION: versi template yang ingin Anda gunakan

    Anda dapat menggunakan nilai berikut:

  • INPUT_FORMAT: format file file input; harus salah satu dari [csv, avro, parquet]
  • OUTPUT_FORMAT: format file dari file output; harus salah satu dari [avro, parquet]
  • INPUT_FILES: pola jalur untuk file input
  • OUTPUT_FOLDER: folder Cloud Storage untuk file output
  • SCHEMA: jalur ke file skema Avro

Langkah selanjutnya