Mengorkestrasi DAG Airflow

Pratinjau

Produk ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Untuk meminta dukungan atau memberikan masukan terkait fitur ini, kirim email ke [e-mail].

Dokumen ini menjelaskan cara mengorkestrasi directed acyclic graph (DAG) Airflow dari Cloud Composer 3 (Pratinjau) di halaman Orchestration di BigQuery, termasuk cara memicu DAG secara manual, dan cara melihat histori dan log dari DAG yang dijalankan sebelumnya.

Tentang DAG Airflow di BigQuery

Halaman Orchestration di BigQuery menyediakan alat untuk mengoordinasikan DAG Airflow yang berjalan di lingkungan Cloud Composer 3 Anda.

DAG Airflow yang Anda orkestrasi di BigQuery dijalankan di satu atau beberapa lingkungan Cloud Composer dalam project Anda. Halaman Orchestration di BigQuery menggabungkan informasi untuk semua DAG Airflow dalam project Anda.

Selama DAG berjalan, Airflow menjadwalkan dan menjalankan setiap tugas yang membentuk DAG dalam urutan yang ditentukan oleh DAG. Di halaman Orchestration di BigQuery, Anda dapat melihat status operasi DAG sebelumnya, menjelajahi log mendetail dari semua operasi DAG dan semua tugas dari operasi DAG ini, serta melihat detail tentang DAG.

Catatan: Anda tidak dapat mengelola lingkungan Cloud Composer di BigQuery. Untuk mengelola lingkungan, misalnya, membuat lingkungan, menginstal dependensi untuk file DAG, mengupload, menghapus, atau mengubah setiap DAG, Anda menggunakan Cloud Composer.

Untuk mempelajari lebih lanjut konsep inti Airflow seperti DAG Airflow, operasi DAG, tugas, atau operator, lihat halaman Konsep Inti dalam dokumentasi Airflow.

Untuk mempelajari lingkungan Cloud Composer lebih lanjut, lihat halaman ringkasan Cloud Composer 3 dalam dokumentasi Cloud Composer.

Sebelum memulai

1. Enable the Cloud Composer API.

   Enable the API

2. Pastikan project Google Cloud Anda memiliki minimal satu lingkungan Cloud Composer 3, dengan minimal satu file DAG yang telah diupload:
• Untuk mulai menggunakan DAG Airflow, ikuti petunjuk dalam panduan Menjalankan DAG Apache Airflow di Cloud Composer 3. Sebagai bagian dari panduan ini, Anda akan membuat lingkungan Cloud Composer 3 dengan konfigurasi default, mengupload DAG ke dalamnya, dan memeriksa apakah Airflow menjalankannya.
• Untuk petunjuk mendetail tentang cara mengupload DAG Airflow ke lingkungan Cloud Composer 3, lihat Menambahkan dan memperbarui DAG.
• Untuk mengetahui petunjuk mendetail tentang cara membuat lingkungan Cloud Composer 3, lihat Membuat lingkungan Cloud Composer.

Izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengatur DAG Airflow, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Untuk melihat DAG Airflow dan detailnya: Environment and Storage Object Viewer (roles/composer.environmentAndStorageObjectViewer)
• Untuk memicu dan menjeda DAG Airflow: Pengguna Objek Penyimpanan dan Lingkungan (roles/composer.environmentAndStorageObjectUser)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengatur DAG Airflow. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengatur DAG Airflow:

• Untuk melihat DAG Airflow dan detailnya: composers.dags.list, composer.environments.list
• Untuk memicu dan menjeda DAG Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya tentang IAM Cloud Composer 3, lihat Kontrol akses dengan IAM di dokumentasi Cloud Composer.

Memicu DAG secara manual

Saat Anda memicu DAG Airflow secara manual, Airflow akan menjalankan DAG satu kali, secara independen dari jadwal yang ditentukan untuk DAG.

Untuk memicu DAG Airflow yang dipilih secara manual, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Orchestration.

   Buka halaman Orchestration

2. Lakukan salah satu hal berikut:

   • Klik nama DAG yang dipilih, lalu di halaman DAG details, klik Trigger DAG.

   • Di baris yang berisi DAG yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Pemicu DAG.

Melihat log dan detail operasi DAG

Untuk melihat detail DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Orchestration.

   Buka halaman Orchestration

2. Klik nama DAG yang dipilih.

3. Di halaman Detail DAG, pilih tab Detail.

4. Untuk melihat operasi DAG sebelumnya, pilih tab Operasi.

   1. Opsional: Tab Runs menampilkan operasi DAG dari 10 hari terakhir secara default. Untuk memfilter DAG yang berjalan berdasarkan rentang waktu yang berbeda, di menu drop-down 10 hari, pilih rentang waktu, lalu klik Oke.

   2. Opsional: Untuk menampilkan kolom tambahan dengan detail operasi DAG dalam daftar semua operasi DAG, klik Column display options, lalu pilih kolom dan klik OK.

   3. Untuk melihat detail dan log untuk operasi DAG yang dipilih, pilih operasi DAG.

5. Untuk melihat visualisasi DAG dengan dependensi tugas, pilih tab Diagram.

   1. Untuk melihat detail tugas, pilih tugas pada diagram.

6. Untuk melihat kode sumber DAG, pilih tab Code.

7. Opsional: Untuk memuat ulang data yang ditampilkan, klik Muat ulang.

Melihat semua DAG

Untuk melihat DAG Airflow dari semua lingkungan Cloud Composer 3 di project Google Cloud Anda, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Orchestration.

   Buka halaman Orchestration

2. Opsional: Untuk menampilkan kolom tambahan dengan detail DAG, klik Column display options, lalu pilih kolom dan klik OK.

Menjeda DAG

Untuk menjeda DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Orchestration.

   Buka halaman Orchestration

2. Lakukan salah satu hal berikut:

   • Klik nama DAG yang dipilih, lalu di halaman DAG details, klik Pause DAG.

   • Di baris yang berisi DAG yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Jeda DAG.

Pemecahan masalah

Untuk petunjuk cara memecahkan masalah DAG Airflow, lihat Memecahkan masalah DAG Airflow dalam dokumentasi Cloud Composer.

Langkah selanjutnya

• Pelajari lebih lanjut cara menulis DAG Airflow.
• Pelajari Airflow di Cloud Composer 3 lebih lanjut.