Mengelola makro, preferensi, dan argumen runtime

Halaman ini menjelaskan setelan preferensi, makro, dan argumen runtime di pipeline Cloud Data Fusion.

Istilah utama

Makro
Makro adalah placeholder dalam konfigurasi plugin Cloud Data Fusion. Kolom tersebut diwakili oleh variabel yang disertakan dalam ${ }, seperti ${input_file_path}. Makro memperkenalkan fleksibilitas ke dalam pipeline dengan memungkinkan Anda menggunakan nilai placeholder, yang akan diganti dengan nilai sebenarnya saat runtime. Tindakan ini memungkinkan konfigurasi dinamis untuk parameter, seperti jalur file dan nama tabel.
Preferensi
Preferensi adalah konfigurasi bawaan yang berlaku pada berbagai level dalam Cloud Data Fusion, termasuk sistem itu sendiri, namespace, aplikasi (yang berisi pipeline), dan setiap program dalam pipeline. Dengan preferensi, Anda dapat menetapkan nilai default untuk konfigurasi yang umum digunakan. Setelan default dapat diwarisi oleh pipeline dan program di tingkat yang lebih rendah, sehingga mengurangi tugas konfigurasi berulang.
Argumen runtime
Argumen runtime adalah key-value pair yang menyediakan nilai untuk makro, dan berpotensi mengganti preferensi, saat Anda men-deploy atau menjalankan pipeline. Library ini sangat mudah disesuaikan, sehingga Anda dapat menyesuaikan konfigurasi per pipeline-run, tanpa mengubah pipeline atau preferensi yang mendasarinya.

Menyiapkan makro

Agar dapat menggunakan makro untuk nilai properti plugin, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, buka node plugin, lalu klik Properties.
  2. Buka kolom tempat Anda ingin menggunakan makro dan klik** M** di samping kolom tersebut.
  3. Masukkan tombol untuk makro. Misalnya, di properti plugin Sumber file, masukkan kunci berikut di kolom Format: ${format.type}.

Tetapkan nilai makro

Tetapkan nilai untuk makro sebelum Anda melihat pratinjau data untuk pipeline dan sebelum menjalankan pipeline. Anda dapat menetapkan nilai makro di tempat berikut:

  • Plugin penyetel argumen
  • Argumen runtime
  • Preferensi aplikasi
  • Preferensi namespace
  • Preferensi sistem

Menjalankan pipeline dengan makro akan melakukan hal berikut:

  • Cloud Data Fusion akan memeriksa terlebih dahulu apakah pipeline menyertakan plugin penyetel argumen:
    • Jika memiliki penyetel argumen, Cloud Data Fusion akan menggunakan nilai untuk makro darinya.
    • Jika tidak ada penyetel argumen, atau jika ada makro yang tidak ditetapkan di Penyetel Argumen, Cloud Data Fusion akan menggunakan nilai dalam argumen runtime pipeline.
  • Argumen runtime mewarisi makro dari preferensi Aplikasi.
  • Preferensi aplikasi mewarisi makro dari preferensi Namespace
  • Preferensi namespace mewarisi makro dari Preferensi sistem.

Contoh

Penggunaan makro yang umum adalah di kolom jalur. Daripada menggunakan jalur hard code, Anda dapat menggunakan jalur dinamis. Misalnya, di plugin sumber Cloud Storage, Anda dapat mengganti nilai jalur dengan beberapa makro. Nilai berikut membagi elemen bucket, folder, dan file: gs://${bucket.name}/${folder}/${file.name}.

Contoh berikut memuat data dari bucket yang statis dan file dengan nama yang tidak statis, masukkan nama bucket dan gunakan makro untuk nama file: gs://<BUCKET_NAME>/${folder}/${file.name}.

Siapkan preferensi

Bagian berikut menjelaskan hierarki preferensi, yaitu preferensi ditetapkan, diwariskan, atau diganti.

Menyetel preferensi sistem

Anda dapat menyetel preferensi untuk sistem. Karena nama makro harus unik, setiap preferensi berlaku untuk semua pipeline yang menggunakan makro tersebut.

Misalnya, Anda memiliki pipeline dengan sumber Database dan menggunakan makro untuk nama database dan nama pengguna. Anda dapat menyetel preferensi database dan nama pengguna di preferensi sistem. Setiap namespace dan setiap pipeline dalam instance tersebut mewarisi preferensi tersebut.

Untuk menyetel Preferensi sistem, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, klik System admin > Configuration.
  2. Klik Preferensi sistem > Edit preferensi sistem.
  3. Di dialog Preferences, masukkan preferensi baru atau edit preferensi yang ada.
  4. Klik Simpan & Tutup. Preferensi ini tersedia di semua namespace, aplikasi, dan pipeline.

Menetapkan preferensi namespace

Anda dapat menetapkan preferensi untuk setiap namespace.

Jika Anda menetapkan preferensi namespace, setiap preferensi sistem yang diwariskan akan ditampilkan. Saat menetapkan preferensi untuk namespace, Anda dapat mengganti preferensi yang diwarisi dengan menetapkan nilai yang berbeda. Anda juga dapat menambahkan preferensi namespace baru.

Untuk menetapkan preferensi namespace, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, klik System admin > Configuration.
  2. Klik Namespaces dan pilih namespace untuk membuka halaman konfigurasinya.
  3. Untuk mengedit preferensi yang diwarisi atau menambahkan preferensi baru, buka tab Preferensi, lalu klik Edit. Dialog Preferences akan terbuka, tempat Anda dapat memasukkan preferensi baru, atau mengganti preferensi sistem yang diwarisi. Klik <span class="material-icons">add</span> Add, lalu masukkan kunci dan nilai baru untuk makro.
  4. Klik Simpan & Tutup. Preferensi namespace dibuat dengan nilai baru, yang lebih diutamakan daripada preferensi sistem.

Tetapkan preferensi aplikasi

Anda dapat menyetel preferensi untuk setiap pipeline yang di-deploy dalam namespace. Saat Anda menetapkan preferensi aplikasi, semua preferensi sistem dan namespace yang diwariskan akan muncul. Saat menyetel preferensi untuk aplikasi, Anda dapat mengganti preferensi yang diwarisi dengan menetapkan nilai yang berbeda, atau menambahkan preferensi baru untuk aplikasi:

  1. Di Cloud Data Fusion Studio, klik lalu klik menu Namespace untuk memilih namespace tempat Anda ingin menambahkan preferensi aplikasi.
  2. Klik Pusat kontrol.
  3. Klik ikon kunci inggris Setel preferensi. Halaman Preferensi akan muncul dan mencantumkan semua preferensi yang diwarisi.
  4. Untuk mengedit preferensi yang diwarisi atau menambahkan preferensi baru, buka tab Preferensi, lalu klik Edit. Dialog Preferences akan terbuka, tempat Anda dapat memasukkan preferensi baru, atau mengganti preferensi sistem yang diwarisi. Klik <span class="material-icons">add</span> Add, lalu masukkan kunci dan nilai baru untuk makro.
  5. Klik Simpan & Tutup. Preferensi aplikasi dibuat dengan nilai baru, yang menggantikan preferensi sistem atau namespace. Saat Anda menjalankan pipeline yang di-deploy, preferensi aplikasi akan muncul sebagai argumen runtime, yang dapat diedit secara opsional.

Menyiapkan argumen runtime

Siapkan argumen runtime guna memberikan nilai untuk makro, dan berpotensi mengganti preferensi, saat Anda men-deploy atau menjalankan pipeline.

Argumen runtime untuk melihat pratinjau data

Untuk menetapkan nilai setiap makro dalam pipeline saat Anda melihat pratinjau data di Cloud Data Fusion Studio, klik List > Configure.

Argumen runtime untuk menjalankan pipeline yang di-deploy

Jika pipeline menyertakan makro, setelah men-deploy pipeline, Anda dapat menambahkan argumen runtime, yang menetapkan nilai untuk makro.

Saat Anda men-deploy pipeline dengan makro, klik menu drop-down di samping Run untuk membuka dialog Argumen runtime dan menetapkan nilai untuk setiap makro.

Menetapkan preferensi pipeline

Guna menetapkan preferensi untuk pipeline, ikuti langkah-langkah berikut:

  1. Di Cloud Data Fusion Studio, klik List > Deployed, lalu pilih pipeline yang di-deploy untuk melihatnya.
  2. Dari kanvas Pipeline, klik menu drop-down di samping Run. Dialog Runtime arguments akan terbuka.
  3. Pada dialog Runtime arguments yang terbuka, tentukan nilai untuk setiap makro dalam pipeline.

Ringkasan preferensi, makro, dan argumen runtime

Anda dapat menyiapkan preferensi di tingkat berikut:

  • Preferensi sistem: tingkat tertinggi tempat Anda menetapkan preferensi, seperti default, untuk seluruh instance.
  • Preferensi namespace: mewarisi preferensi dari Preferensi sistem. Anda dapat menyetel preferensi untuk namespace tertentu.
  • Preferensi aplikasi: mewarisi preferensi dari Preferensi namespace. Parameter ini dapat bersifat unik untuk masing-masing aplikasi (yang berisi pipeline).
  • Argumen runtime: pasangan nilai kunci yang menggantikan preferensi di tingkat yang lebih tinggi.

Jika Anda menetapkan preferensi di tingkat preferensi sistem, nilai makro akan otomatis diisi di preferensi namespace, preferensi aplikasi, dan argumen runtime.

Jika Anda menetapkan preferensi di tingkat namespace, preferensi tersebut akan muncul dalam daftar preferensi yang diwarisi dalam preferensi aplikasi. Jika pipeline menggunakan makro yang ditentukan dalam preferensi, argumen runtime akan menggunakan key-value pair yang ditentukan dalam preferensi. Anda dapat mengganti nilai untuk preferensi di setiap tingkat preferensi dan di argumen runtime.

Gunakan preferensi, makro, dan argumen runtime untuk kasus penggunaan berikut:

  • Mengembangkan pipeline. Sematkan makro tempat Anda memerlukan nilai dinamis untuk properti plugin.
  • Opsional: menyetel preferensi. Tetapkan nilai default untuk makro dalam preferensi di berbagai level.
  • Men-deploy dan menjalankan pipeline. Saat Anda menjalankan pipeline, hal berikut akan terjadi:
    • Preferensi untuk tingkat yang relevan, seperti preferensi sistem atau preferensi namespace, akan diterapkan.
    • Argumen runtime apa pun yang Anda berikan akan menggantikan nilai yang ditetapkan ke makro dalam preferensi.
    • Cloud Data Fusion me-resolve makro dengan mengganti nilainya dari argumen runtime (atau preferensi jika argumen runtime tidak disediakan).

Contoh

Pipeline memiliki sink BigQuery yang memiliki nilai nama tabel yang harus berubah secara dinamis. Untuk menyiapkannya, lakukan langkah berikut:

  1. Tetapkan makro. Di properti sink, gunakan makro berikut di kolom Nama tabel: ${output_table}.
  2. **Atur preferensi. **Di preferensi aplikasi, tetapkan preferensi untuk ${output_table} dengan nilai default berikut: data_staging.
  3. Menetapkan argumen runtime. Saat menjalankan pipeline, berikan argumen runtime—misalnya, output_table=final_analytics_data.

Selama eksekusi pipeline, makro ${output_table}, diganti dengan final_analytics_data.