Mendesain dan membuat pipeline yang dapat digunakan kembali

Tutorial ini menunjukkan cara membuat pipeline yang dapat digunakan kembali yang membaca data dari Cloud Storage, melakukan pemeriksaan kualitas data, dan menulis ke Cloud Storage.

Pipeline yang dapat digunakan kembali memiliki struktur pipeline reguler, tetapi Anda dapat mengubah konfigurasi setiap node pipeline berdasarkan konfigurasi yang disediakan oleh server HTTP. Misalnya, pipeline statis dapat membaca data dari Cloud Storage, menerapkan transformasi, dan menulis ke tabel output BigQuery. Jika Anda ingin transformasi dan tabel output BigQuery berubah berdasarkan file Cloud Storage yang dibaca pipeline, Anda membuat pipeline yang dapat digunakan kembali.

Men-deploy plugin Cloud Storage Argument Setter

  1. Di antarmuka web Cloud Data Fusion, buka halaman Studio.

  2. Di menu Actions, klik GCS Argument Setter.

Membaca dari Cloud Storage

  1. Di antarmuka web Cloud Data Fusion, buka halaman Studio.
  2. Klik Sumber, lalu pilih Cloud Storage. Node untuk sumber Cloud Storage akan muncul di pipeline.

  3. Di node Cloud Storage, klik Properties.

  4. Di kolom Nama referensi, masukkan nama.

  5. Di kolom Path, masukkan ${input.path}. Makro ini mengontrol jalur input Cloud Storage dalam berbagai eksekusi pipeline.

  6. Di panel Output Schema sebelah kanan, hapus kolom offset dari skema output dengan mengklik ikon sampah di baris kolom offset.

  7. Klik Validasi dan perbaiki error yang ada.

  8. Klik untuk keluar dari dialog Properties.

Mengubah data Anda

  1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
  2. Di menu drop-down Transform , pilih Wrangler.
  3. Di kanvas Pipeline Studio, tarik panah dari node Cloud Storage ke node Wrangler.
  4. Buka node Wrangler di pipeline Anda, lalu klik Properties.
  5. Di Nama kolom input, masukkan body.
  6. Di kolom Resep, masukkan ${directives}. Makro ini mengontrol logika transformasi yang akan ada di berbagai proses pipeline.
  7. Klik Validasi dan perbaiki error yang ada.
  8. Klik untuk keluar dari dialog Properties.

Menulis ke Cloud Storage

  1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
  2. Di menu drop-down Sinkronkan , pilih Cloud Storage.
  3. Di kanvas Pipeline Studio, tarik panah dari node Wrangler ke node Cloud Storage yang baru saja Anda tambahkan.
  4. Buka node sink Cloud Storage di pipeline Anda, lalu klik Properties.
  5. Di kolom Nama referensi, masukkan nama.
  6. Di kolom Path, masukkan jalur bucket Cloud Storage di project Anda, tempat pipeline dapat menulis file output. Jika Anda tidak memiliki bucket Cloud Storage, buat bucket.
  7. Klik Validasi dan perbaiki error yang ada.
  8. Klik untuk keluar dari dialog Properties.

Menetapkan argumen makro

  1. Di antarmuka web Cloud Data Fusion, buka pipeline data Anda di halaman Studio.
  2. Di menu drop-down Kondisi dan Tindakan, klik GCS Argument Setter.
  3. Di kanvas Pipeline Studio, tarik panah dari node Cloud Storage Argument Setter ke node sumber Cloud Storage.
  4. Buka node Cloud Storage Argument Setter di pipeline Anda, lalu klik Properties.

  5. Di kolom URL, masukkan URL berikut:

    gs://reusable-pipeline-tutorial/args.json

    URL sesuai dengan objek yang dapat diakses secara publik di Cloud Storage yang berisi konten berikut:

    {
  "arguments" : [
    {
      "name": "input.path",
      "value": "gs://reusable-pipeline-tutorial/user-emails.txt"
    },
    {
      "name": "directives",
      "value": "send-to-error !dq:isEmail(body)"
    }
  ]
}

    Argumen pertama dari dua argumen adalah nilai untuk input.path. Jalur gs://reusable-pipeline-tutorial/user-emails.txt adalah objek yang dapat diakses secara publik di Cloud Storage yang berisi data pengujian berikut:

    alice@example.com
bob@example.com
craig@invalid@example.com

    Argumen kedua adalah nilai untuk directives. Nilai send-to-error !dq:isEmail(body) mengonfigurasi Wrangler untuk memfilter baris yang bukan alamat email yang valid. Misalnya, craig@invalid@example.com dikecualikan.

  6. Klik Validasi untuk memastikan tidak ada error.

  7. Klik untuk keluar dari dialog Properties.

Men-deploy dan menjalankan pipeline

  1. Di panel atas halaman Pipeline Studio, klik Beri nama pipeline Anda. Beri nama pipeline Anda, lalu klik Simpan.

  2. Klik Deploy.

  3. Untuk membuka Runtime Arguments dan melihat argumen makro (runtime) input.path dan directives, klik drop-down di samping Run.

    Biarkan kolom nilai kosong untuk memberi tahu Cloud Data Fusion bahwa node Cloud Storage Argument Setter di pipeline akan menetapkan nilai argumen ini selama runtime.

  4. Klik Run.