Mengelola makro, preferensi, dan argumen runtime

Halaman ini menjelaskan cara menetapkan preferensi, makro, dan argumen runtime di pipeline Cloud Data Fusion.

Istilah utama

Makro
Makro adalah placeholder dalam konfigurasi plugin Cloud Data Fusion. Variabel ini diwakili oleh variabel yang diapit dalam ${ }, seperti ${input_file_path}. Makro menghadirkan fleksibilitas ke dalam pipeline dengan memungkinkan Anda menggunakan nilai placeholder, yang diganti dengan nilai sebenarnya saat runtime. Hal ini memungkinkan konfigurasi dinamis untuk parameter, seperti jalur file dan nama tabel.
Preferensi
Preferensi adalah konfigurasi standar yang berlaku di berbagai tingkat dalam Cloud Data Fusion, termasuk sistem itu sendiri, namespace, aplikasi (yang berisi pipeline), dan setiap program dalam pipeline. Preferensi memungkinkan Anda menetapkan nilai default untuk konfigurasi yang biasa digunakan. Default dapat diwarisi oleh pipeline dan program di tingkat yang lebih rendah, sehingga mengurangi tugas konfigurasi berulang.
Argumen runtime
Argumen runtime adalah pasangan nilai kunci yang menyediakan nilai untuk makro, dan berpotensi mengganti preferensi, saat Anda men-deploy atau menjalankan pipeline. Fungsi ini sangat dapat disesuaikan, sehingga Anda dapat menyesuaikan konfigurasi berdasarkan setiap operasi pipeline, tanpa mengubah pipeline atau preferensi yang mendasarinya.

Menyiapkan makro

Untuk menggunakan makro untuk nilai properti plugin, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, buka node plugin, lalu klik Properti.
  2. Buka kolom tempat Anda ingin menggunakan makro, lalu klik** M** di samping kolom.
  3. Masukkan kunci untuk makro. Misalnya, di properti plugin sumber File, masukkan kunci berikut di kolom Format: ${format.type}.

Menetapkan nilai makro

Tetapkan nilai untuk makro sebelum Anda melihat pratinjau data untuk pipeline dan sebelum menjalankan pipeline. Anda dapat menetapkan nilai makro di tempat berikut:

  • Plugin penyetel argumen
  • Argumen runtime
  • Preferensi aplikasi
  • Preferensi namespace
  • Preferensi sistem

Menjalankan pipeline dengan makro akan melakukan hal berikut:

  • Cloud Data Fusion pertama-tama memeriksa apakah pipeline menyertakan plugin penyetel argumen:
    • Jika memiliki penyetel argumen, Cloud Data Fusion akan menggunakan nilai untuk makro darinya.
    • Jika tidak ada penyetel argumen, atau jika ada makro yang tidak ditetapkan di Penyetel Argumen, Cloud Data Fusion akan menggunakan nilai dalam argumen runtime pipeline.
  • Argumen runtime mewarisi makro dari preferensi Aplikasi.
  • Preferensi aplikasi mewarisi makro dari preferensi Namespace
  • Preferensi namespace mewarisi makro dari preferensi Sistem.

Contoh

Penggunaan makro yang umum adalah di kolom jalur. Sebagai ganti menggunakan jalur hard code, Anda dapat menggunakan jalur dinamis. Misalnya, di plugin sumber Cloud Storage, Anda dapat mengganti nilai jalur dengan beberapa makro. Nilai berikut membagi elemen bucket, folder, dan file: gs://${bucket.name}/${folder}/${file.name}.

Contoh berikut memuat data dari bucket yang statis dan file dengan nama yang tidak statis, masukkan nama bucket dan gunakan makro untuk nama file: gs://<BUCKET_NAME>/${folder}/${file.name}.

Menyiapkan preferensi

Bagian berikut menjelaskan hierarki preferensi, tempat preferensi ditetapkan, diwarisi, atau diganti.

Menetapkan preferensi sistem

Anda dapat menetapkan preferensi untuk sistem. Karena nama makro harus unik, setiap preferensi berlaku untuk semua pipeline yang menggunakan makro tersebut.

Misalnya, Anda memiliki pipeline dengan sumber Database dan menggunakan makro untuk nama database dan nama pengguna. Anda dapat menetapkan preferensi database dan nama pengguna di preferensi sistem. Setiap namespace dan setiap pipeline dalam instance tersebut mewarisi preferensi tersebut.

Untuk menetapkan preferensi Sistem, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, klik System admin > Configuration.
  2. Klik Preferensi sistem > Edit preferensi sistem.
  3. Pada dialog Preferensi, masukkan preferensi baru atau edit preferensi yang ada.
  4. Klik Simpan & Tutup. Preferensi ini tersedia di semua namespace, aplikasi, dan pipeline.

Menetapkan preferensi namespace

Anda dapat menetapkan preferensi untuk setiap namespace.

Saat Anda menetapkan preferensi namespace, preferensi sistem yang diwarisi akan ditampilkan. Saat menetapkan preferensi untuk namespace, Anda dapat mengganti preferensi yang diwarisi dengan menetapkan nilai yang berbeda. Anda juga dapat menambahkan preferensi namespace baru.

Untuk menetapkan preferensi namespace, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, klik System admin > Configuration.
  2. Klik Namespace, lalu pilih namespace untuk membuka halaman konfigurasinya.
  3. Untuk mengedit preferensi yang diwarisi atau menambahkan preferensi baru, buka tab Preferensi, lalu klik Edit. Dialog Preferences akan terbuka tempat Anda dapat memasukkan preferensi baru, atau mengganti preferensi sistem yang diwarisi. Klik <span class="material-icons">add</span> Tambahkan, lalu masukkan kunci dan nilai baru untuk makro.
  4. Klik Simpan & Tutup. Preferensi namespace dibuat dengan nilai baru, yang lebih diutamakan daripada preferensi sistem.

Menetapkan preferensi aplikasi

Anda dapat menetapkan preferensi untuk setiap pipeline yang di-deploy di namespace. Saat Anda menetapkan preferensi aplikasi, preferensi sistem dan namespace yang diwarisi akan muncul. Saat menetapkan preferensi untuk aplikasi, Anda dapat mengganti preferensi yang diwarisi dengan menetapkan nilai yang berbeda, atau menambahkan preferensi baru untuk aplikasi:

  1. Di Cloud Data Fusion Studio, klik , lalu klik menu Namespace untuk memilih namespace tempat Anda ingin menambahkan preferensi aplikasi.
  2. Klik Pusat kontrol.
  3. Klik ikon kunci Setel preferensi. Halaman Preferensi akan muncul dan mencantumkan semua preferensi yang diwarisi.
  4. Untuk mengedit preferensi yang diwarisi atau menambahkan preferensi baru, buka tab Preferensi, lalu klik Edit. Dialog Preferences akan terbuka tempat Anda dapat memasukkan preferensi baru, atau mengganti preferensi sistem yang diwarisi. Klik <span class="material-icons">add</span> Tambahkan, lalu masukkan kunci dan nilai baru untuk makro.
  5. Klik Simpan & Tutup. Preferensi aplikasi dibuat dengan nilai baru, yang menggantikan preferensi sistem atau namespace. Saat Anda menjalankan pipeline yang di-deploy, preferensi aplikasi akan muncul sebagai argumen runtime, yang dapat Anda edit secara opsional.

Menyiapkan argumen runtime

Siapkan argumen runtime untuk memberikan nilai bagi makro, dan berpotensi mengganti preferensi, saat Anda men-deploy atau menjalankan pipeline.

Argumen runtime untuk melihat pratinjau data

Untuk menetapkan nilai untuk setiap makro dalam pipeline saat Anda melihat pratinjau data di Cloud Data Fusion Studio, klik Daftar > Konfigurasi.

Argumen runtime untuk menjalankan pipeline yang di-deploy

Jika pipeline menyertakan makro, setelah men-deploy pipeline, Anda harus menambahkan argumen runtime, yang menetapkan nilai untuk makro.

Saat men-deploy pipeline dengan makro, klik menu drop-down di samping Run untuk membuka dialog Runtime arguments dan menetapkan nilai untuk setiap makro.

Menetapkan preferensi pipeline

Untuk menetapkan preferensi pipeline, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, klik List > Deployed, lalu pilih pipeline yang di-deploy untuk melihatnya.
  2. Dari kanvas Pipeline, klik menu drop-down di samping Run. Dialog Runtime arguments akan terbuka.
  3. Pada dialog Runtime arguments yang terbuka, tentukan nilai untuk setiap makro dalam pipeline.

Ringkasan preferensi, makro, dan argumen runtime

Anda dapat menyiapkan preferensi di tingkat berikut:

  • Preferensi sistem: tingkat tertinggi tempat Anda menetapkan preferensi, seperti default, untuk seluruh instance.
  • Preferensi namespace: mewarisi preferensi dari Preferensi sistem. Anda dapat menetapkan preferensi untuk namespace tertentu.
  • Preferensi aplikasi: mewarisi preferensi dari Preferensi namespace. Fungsi ini dapat bersifat unik untuk setiap aplikasi (berisi pipeline).
  • Argumen runtime: pasangan nilai kunci yang mengganti preferensi di tingkat yang lebih tinggi.

Jika Anda menetapkan preferensi di tingkat preferensi sistem, nilai makro akan otomatis diisi di preferensi namespace, preferensi aplikasi, dan argumen runtime.

Jika Anda menetapkan preferensi di tingkat namespace, preferensi tersebut akan muncul dalam daftar preferensi yang diwarisi di preferensi aplikasi. Jika pipeline menggunakan makro yang ditentukan dalam preferensi, argumen runtime akan menggunakan pasangan nilai kunci yang ditentukan dalam preferensi. Anda dapat mengganti nilai untuk preferensi di setiap tingkat preferensi dan dalam argumen runtime.

Gunakan preferensi, makro, dan argumen runtime untuk kasus penggunaan berikut:

  • Mengembangkan pipeline. Sematkan makro jika Anda memerlukan nilai dinamis untuk properti plugin.
  • Opsional: menetapkan preferensi. Menetapkan nilai default untuk makro dalam preferensi di berbagai tingkat.
  • Men-deploy dan menjalankan pipeline. Saat Anda menjalankan pipeline, hal berikut akan terjadi:
    • Preferensi untuk tingkat yang relevan, seperti preferensi sistem atau preferensi namespace, akan diterapkan.
    • Argumen runtime apa pun yang Anda berikan akan menggantikan nilai yang ditetapkan ke makro dalam preferensi.
    • Cloud Data Fusion me-resolve makro dengan mengganti nilainya dari argumen runtime (atau preferensi jika argumen runtime tidak diberikan).

Contoh

Pipeline memiliki sink BigQuery yang memiliki nilai nama tabel yang harus berubah secara dinamis. Untuk menyiapkannya, lakukan hal berikut:

  1. Tetapkan makro. Di properti sink, gunakan makro berikut di kolom Nama tabel: ${output_table}.
  2. **Tetapkan preferensi. **Di preferensi aplikasi, tetapkan preferensi untuk ${output_table} dengan nilai default berikut: data_staging.
  3. Tetapkan argumen runtime. Saat menjalankan pipeline, berikan argumen runtime—misalnya, output_table=final_analytics_data.

Selama eksekusi pipeline, makro, ${output_table}, diganti dengan final_analytics_data.