Mengelola alur kerja

Dokumen ini menjelaskan cara mengelola alur kerja, termasuk cara menjadwalkan dan menghapus alur kerja.

Dokumen ini juga menjelaskan cara melihat dan mengelola metadata alur kerja di Dataplex.

Alur kerja didukung oleh Dataform.

Sebelum memulai

  1. Buat alur kerja.
  2. Untuk mengelola metadata alur kerja di Dataplex, pastikan Dataplex API diaktifkan di project Google Cloud Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna mengelola alur kerja, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk menghapus alur kerja: Dataform Admin (roles/dataform.Admin) di alur kerja
  • Untuk melihat dan menjalankan alur kerja: Dataform Viewer (roles/dataform.Viewer) di project

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengelola metadata alur kerja di Dataplex, pastikan Anda memiliki peran Dataplex yang diperlukan

Untuk informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Lihat semua alur kerja

Untuk melihat daftar semua alur kerja dalam project Anda, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Penjelajah, klik luaskan Alur Kerja.

Melihat operasi manual sebelumnya

Untuk melihat operasi manual sebelumnya dari alur kerja yang dipilih, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.

  3. Klik Executions.

  4. Opsional: Untuk memuat ulang daftar operasi sebelumnya, klik Muat ulang.

Mengonfigurasi pemberitahuan untuk kegagalan pengoperasian alur kerja

Setiap alur kerja memiliki ID repositori Dataform yang sesuai. Setiap operasi alur kerja BigQuery dicatat dalam log di Cloud Logging menggunakan ID repositori Dataform yang sesuai. Anda dapat menggunakan Cloud Monitoring untuk mengamati tren dalam log Cloud Logging untuk eksekusi alur kerja BigQuery dan memberi tahu Anda saat kondisi yang Anda jelaskan terjadi.

Untuk menerima pemberitahuan saat alur kerja BigQuery gagal dijalankan, Anda dapat membuat kebijakan pemberitahuan berbasis log untuk ID repositori Dataform yang sesuai. Untuk mengetahui petunjuknya, lihat Mengonfigurasi pemberitahuan untuk pemanggilan alur kerja yang gagal.

Untuk menemukan ID repositori Dataform dari alur kerja Anda, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project dan folder Alur Kerja, lalu pilih alur kerja.

  3. Klik Setelan.

    ID repositori Dataform alur kerja Anda ditampilkan di bagian bawah tab Setelan.

Menghapus alur kerja

Untuk menghapus alur kerja secara permanen, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan folder Alur Kerja. Temukan Alur Kerja yang ingin Anda hapus.

  3. Klik Lihat tindakan di samping alur kerja, lalu klik Hapus.

  4. Klik Hapus.

Mengelola metadata di Dataplex

Dataplex memungkinkan Anda menyimpan dan mengelola metadata untuk alur kerja. Alur kerja tersedia di Dataplex secara default, tanpa konfigurasi tambahan.

Anda dapat menggunakan Dataplex untuk mengelola alur kerja di semua lokasi alur kerja. Pengelolaan alur kerja di Dataplex tunduk pada kuota dan batas Dataplex serta harga Dataplex.

Dataplex otomatis mengambil metadata berikut dari alur kerja:

  • Nama aset data
  • Induk aset data
  • Lokasi aset data
  • Jenis aset data
  • Project Google Cloud yang sesuai

Dataplex mencatat alur kerja sebagai entri dengan nilai entri berikut:

Grup entri sistem
Grup entri sistem untuk alur kerja adalah @dataform. Untuk melihat detail entri alur kerja di Dataplex, Anda perlu melihat grup entri sistem dataform. Untuk mengetahui petunjuk tentang cara melihat daftar semua entri dalam grup entri, lihat Melihat detail grup entri dalam dokumentasi Dataplex.
Jenis entri sistem
Jenis entri sistem untuk alur kerja adalah dataform-code-asset. Untuk melihat detail alur kerja,Anda perlu melihat jenis entri sistem dataform-code-asset, memfilter hasil dengan filter berbasis aspek, dan menetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Kemudian, pilih entri alur kerja yang dipilih. Untuk petunjuk tentang cara melihat detail jenis entri yang dipilih, lihat Melihat detail jenis entri dalam dokumentasi Dataplex. Untuk petunjuk tentang cara melihat detail entri yang dipilih, lihat Melihat detail entri dalam dokumentasi Dataplex.
Jenis aspek sistem
Jenis aspek sistem untuk alur kerja adalah dataform-code-asset. Untuk memberikan konteks tambahan ke alur kerja di Dataplex dengan menganotasi entri alur kerja data dengan aspek, lihat jenis aspek dataform-code-asset, filter hasil dengan filter berbasis aspek, dan tetapkan kolom type di dalam aspek dataform-code-asset ke WORKFLOW. Untuk mengetahui petunjuk tentang cara menganotasi entri dengan aspek, lihat Mengelola aspek dan memperkaya metadata dalam dokumentasi Dataplex.
Jenis
Jenis untuk kanvas data adalah WORKFLOW. Jenis ini memungkinkan Anda memfilter alur kerja dalam jenis entri sistem dataform-code-asset dan jenis aspek dataform-code-asset menggunakan kueri aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW dalam filter berbasis aspek.

Untuk petunjuk tentang cara menelusuri aset di Dataplex, lihat Menelusuri aset data di Dataplex dalam dokumentasi Dataplex.

Langkah berikutnya