Menggunakan Kontrol Akses UI Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan berbagai mekanisme kontrol akses untuk UI Airflow dan UI DAG. Anda dapat menggunakan mekanisme ini, selain kontrol akses yang disediakan oleh IAM, untuk memisahkan pengguna di UI Airflow dan UI DAG lingkungan Anda.

Ringkasan kontrol akses UI Airflow di Cloud Composer

Akses ke UI Airflow dan UI DAG serta visibilitas data dan operasi di UI tersebut dikontrol pada dua tingkat di Cloud Composer:

1. Akses ke UI Airflow dan UI DAG di Cloud Composer dikontrol oleh IAM.

   Jika akun tidak memiliki peran yang dapat melihat lingkungan Cloud Composer di project Anda, UI Airflow dan UI DAG tidak akan tersedia.

   IAM tidak memberikan kontrol izin tambahan yang sangat mendetail di UI Airflow atau UI DAG.

2. Model Kontrol Akses Apache Airflow memungkinkan pengurangan visibilitas di UI Airflow dan UI DAG berdasarkan peran pengguna.

   Kontrol Akses Apache Airflow adalah fitur Airflow, dengan model pengguna, peran, izinnya sendiri, yang berbeda dengan IAM.

Peringatan: Saat Anda mencabut peran IAM yang memberikan akses UI Airflow kepada pengguna, izin yang sebelumnya ditetapkan mungkin di-cache di browser web hingga 12 jam.

Peringatan: Kontrol Akses UI Airflow hanya mengontrol visibilitas dan akses di UI Airflow, UI DAG, dan API stabil di Airflow 2. Kontrol Akses UI Airflow tidak berlaku untuk antarmuka lain yang tersedia bagi pengguna, seperti perintah Airflow CLI. Model ini tidak diterapkan dalam kode DAG dan tugas. Misalnya, Anda dapat men-deploy DAG yang mengubah penetapan peran dan pengguna Airflow untuk peran ini.

Kontrol Akses Apache Airflow menggunakan izin berbasis resource. Semua pengguna Airflow dengan peran Airflow tertentu akan mendapatkan izin peran ini. Misalnya, pengguna Airflow yang memiliki peran dengan izin can delete on Connections dapat menghapus koneksi di halaman Connections di UI Airflow.

Anda juga dapat menetapkan izin tingkat DAG untuk setiap DAG. Misalnya, agar hanya pengguna dengan peran Airflow tertentu yang dapat melihat DAG tertentu di UI Airflow. Di Cloud Composer, Anda dapat menetapkan izin tingkat DAG secara otomatis, berdasarkan subfolder tempat file DAG berada di bucket lingkungan.

Sebelum memulai

• UI Airflow dengan Kontrol Akses tersedia untuk versi Cloud Composer 1.13.4 atau yang lebih baru dan Airflow 1.10.10 dan yang lebih baru. Lingkungan juga harus menjalankan Python 3.

• Pendaftaran Peran per Folder tersedia di Cloud Composer versi 1.18.12 dan yang lebih baru di Airflow 2, serta di Cloud Composer versi 1.13.4 dan yang lebih baru di Airflow 1.

Mengaktifkan Kontrol Akses UI Airflow

Airflow 2

UI Airflow dengan Kontrol Akses selalu diaktifkan di Airflow 2.

Aliran udara 1

Untuk mengaktifkan UI Airflow dengan Kontrol Akses, ganti opsi konfigurasi Airflow berikut:

Bagian	Kunci	Nilai
webserver	rbac	True

Anda dapat melakukannya untuk lingkungan yang sudah ada, atau saat membuat lingkungan baru.

Dengan konfigurasi ini, lingkungan Anda menjalankan UI Airflow dengan Kontrol Akses, bukan UI Airflow klasik.

Mengelola peran Airflow dan setelan kontrol akses

Pengguna dengan peran Admin (atau yang setara) dapat melihat dan mengubah setelan kontrol akses di UI Airflow.

Di UI Airflow, Anda dapat mengonfigurasi setelan kontrol akses dari menu Security. Untuk mengetahui informasi selengkapnya tentang model Kontrol Akses Airflow, izin yang tersedia, dan peran default, lihat dokumentasi Kontrol Akses UI Airflow.

Airflow 1 memperlakukan peran Pengguna sebagai template untuk semua peran kustom. Airflow terus menyalin izin dari peran Pengguna ke semua peran kustom, kecuali izin untuk all_dags.

Airflow memiliki daftar penggunanya sendiri. Pengguna dengan peran Admin (atau yang setara) dapat melihat daftar pengguna yang telah membuka UI Airflow di lingkungan, dan terdaftar di Airflow. Daftar ini juga mencakup pengguna yang melakukan praregistrasi secara manual oleh Admin, seperti yang dijelaskan di bagian berikut.

Mendaftarkan pengguna di UI Airflow

Pengguna baru akan otomatis terdaftar saat mereka membuka UI Airflow di lingkungan Cloud Composer untuk pertama kalinya.

Saat pendaftaran, pengguna diberi peran yang ditentukan dalam opsi konfigurasi Airflow [webserver]rbac_user_registration_role. Anda dapat mengontrol peran pengguna yang baru terdaftar dengan mengganti opsi konfigurasi Airflow ini dengan nilai yang berbeda.

Jika tidak ditentukan, peran pendaftaran default adalah Op di lingkungan dengan Airflow 2.

Di lingkungan dengan Airflow 1.10.*, peran pendaftaran default adalah Admin.

Langkah-langkah berikut direkomendasikan untuk membuat konfigurasi peran dasar untuk UI Airflow:

Airflow 2

1. Administrator lingkungan membuka UI Airflow untuk lingkungan yang baru dibuat.

2. Berikan peran Admin kepada akun administrator. Peran default untuk akun baru di lingkungan dengan Airflow 2 adalah Op. Untuk menetapkan peran Admin, jalankan perintah Airflow CLI berikut dengan gcloud CLI:

     gcloud composer environments run ENVIRONMENT_NAME \
       --location LOCATION \
       users add-role -- -e USER_EMAIL -r Admin
   

   Ganti:

   • ENVIRONMENT_NAME dengan nama lingkungan.
   • LOCATION dengan region tempat lingkungan berada.
   • USER_EMAIL dengan email akun pengguna.

3. Admin kini dapat mengonfigurasi kontrol akses untuk pengguna baru, termasuk memberikan peran Admin kepada pengguna lain.

Aliran udara 1

1. Administrator lingkungan membuka UI Airflow untuk lingkungan yang baru dibuat, tempat mereka otomatis terdaftar dengan peran Admin.

2. Ganti opsi konfigurasi Airflow berikut ke peran yang diperlukan untuk pengguna baru. Misalnya, untuk User.

   Bagian	Kunci	Nilai
   webserver	rbac_user_registration_role	User atau peran non-Admin lainnya

3. Admin kini dapat mengonfigurasi kontrol akses UI Airflow untuk pengguna baru, termasuk memberikan peran Admin kepada pengguna lain.

Pengguna yang melakukan pra-pendaftaran

Pengguna otomatis terdaftar dengan ID numerik akun pengguna Google (bukan alamat email) sebagai nama pengguna mereka. Anda juga dapat mendaftarkan pengguna secara manual dan menetapkan peran kepadanya dengan menambahkan catatan pengguna dengan kolom nama pengguna yang ditetapkan ke alamat email utama pengguna. Saat pengguna dengan alamat email yang cocok dengan data pengguna yang telah melakukan pra-pendaftaran login ke UI Airflow untuk pertama kalinya, nama penggunanya diganti dengan ID pengguna yang saat ini (pada saat login pertama) diidentifikasi berdasarkan alamat emailnya. Hubungan antara identitas Google (alamat email) dan akun pengguna (ID pengguna) tidak bersifat tetap. Grup Google tidak dapat didaftarkan terlebih dahulu.

Untuk melakukan pra-pendaftaran pengguna, Anda dapat menggunakan UI Airflow atau menjalankan perintah Airflow CLI melalui Google Cloud CLI.

Untuk melakukan praregistrasi pengguna dengan peran kustom melalui Google Cloud CLI, jalankan perintah Airflow CLI berikut:

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  users create -- \
  -r ROLE \
  -e USER_EMAIL \
  -u USER_EMAIL \
  -f FIRST_NAME \
  -l LAST_NAME \
  --use-random-password # The password value is required, but is not used

Ganti kode berikut:

• ENVIRONMENT_NAME: nama lingkungan
• LOCATION: region tempat lingkungan berada
• ROLE: peran Airflow untuk pengguna, misalnya, Op
• USER_EMAIL: alamat email pengguna
• FIRST_NAME dan LAST_NAME: nama depan dan nama belakang pengguna

Contoh:

gcloud composer environments run example-environment \
  --location us-central1 \
  users create -- \
  -r Op \
  -e "[e-mail]" \
  -u "[e-mail]" \
  -f "Name" \
  -l "Surname" \
  --use-random-password

Hapus pengguna

Menghapus pengguna dari Airflow tidak mencabut akses pengguna tersebut, karena pengguna akan otomatis didaftarkan lagi saat mengakses UI Airflow berikutnya. Untuk mencabut akses ke seluruh UI Airflow, hapus izin composer.environments.get dari kebijakan izin mereka untuk project Anda.

Anda juga dapat mengubah peran pengguna menjadi Publik, yang mempertahankan pendaftaran pengguna, tetapi menghapus semua izin untuk UI Airflow.

Mengonfigurasi izin tingkat DAG secara otomatis

Fitur Pendaftaran Peran Per Folder otomatis membuat peran Airflow kustom untuk setiap subfolder langsung di dalam folder /dags dan memberikan akses tingkat DAG ke semua DAG yang file sumbernya disimpan di subfolder masing-masing. Fitur ini menyederhanakan pengelolaan peran Airflow kustom dan aksesnya ke DAG.

Cara kerja Pendaftaran Peran Per Folder

Pendaftaran Peran Per Folder adalah cara otomatis untuk mengonfigurasi peran dan izin tingkat DAG-nya. Oleh karena itu, hal ini dapat menyebabkan konflik dengan mekanisme Airflow lainnya yang memberikan izin tingkat DAG:

• Menetapkan izin DAG ke peran secara manual.
• Menetapkan DAG ke peran melalui properti access_control di DAG.

Untuk mencegah konflik tersebut, mengaktifkan Pendaftaran Peran Per Folder juga mengubah perilaku mekanisme ini.

Di Airflow 1, kemungkinan penggunaan mekanisme ini dinonaktifkan saat Pendaftaran Peran Per Folder diaktifkan. Semua pengelolaan izin tingkat DAG hanya dilakukan melalui Pendaftaran Peran Per-folder.

Di Airflow 2:

• Anda dapat memberikan akses DAG ke peran melalui properti access_control yang ditentukan dalam kode sumber DAG.
• Memberikan izin DAG secara manual (melalui UI Airflow atau gcloud CLI) dapat menyebabkan konflik. Misalnya, jika Anda memberikan izin tingkat DAG secara manual ke peran per folder, izin ini dapat dihapus atau diganti saat pemroses DAG menyinkronkan DAG. Sebaiknya jangan berikan izin DAG secara manual.
• Peran memiliki gabungan izin akses DAG yang terdaftar melalui Pendaftaran Peran Per Folder dan ditentukan dalam properti access_control DAG.

Peringatan: Fitur Pendaftaran Peran Per Folder hanya mengontrol izin UI Airflow untuk DAG dan tidak ada yang lain. Fitur ini tidak mengontrol izin Airflow lainnya seperti akses ke koneksi, variabel, dan sebagainya; fitur ini tidak mengontrol akses ke perintah gcloud CLI; fitur ini tidak mengontrol akses ke bucket lingkungan.

DAG yang terletak langsung di folder /dags tingkat teratas tidak otomatis ditetapkan ke peran per folder mana pun. Folder ini tidak dapat diakses dengan peran per folder apa pun. Peran lain seperti Admin, Op, Pengguna, atau peran kustom apa pun yang diberi izin dapat mengaksesnya melalui UI Airflow dan UI DAG.

Jika Anda mengupload DAG ke subfolder dengan nama yang cocok dengan peran Airflow bawaan dan peran yang dibuat oleh Cloud Composer, maka izin ke DAG di subfolder ini tetap ditetapkan ke peran tersebut. Misalnya, mengupload DAG ke folder /dags/Admin memberikan izin ke DAG ini untuk peran Admin. Peran Airflow bawaan mencakup Admin, Op, Pengguna, Pelihat, dan Publik. Cloud Composer membuat NoDags dan UserNoDags setelah fitur Pendaftaran Peran Per Folder diaktifkan.

Airflow melakukan pendaftaran peran per folder saat memproses DAG di scheduler Airflow. Jika ada lebih dari seratus DAG di lingkungan Anda, Anda mungkin melihat peningkatan waktu parsing DAG. Jika demikian, sebaiknya tingkatkan parameter [scheduler]max_threads untuk lingkungan Airflow 1, atau [scheduler]parsing_processes untuk Airflow 2.

Menetapkan DAG secara otomatis ke peran per folder

Untuk menetapkan DAG secara otomatis ke peran per folder:

1. Ganti opsi konfigurasi Airflow berikut:

   Bagian	Kunci	Nilai
   webserver	rbac_autoregister_per_folder_roles	True

2. Ubah peran pendaftaran pengguna baru menjadi peran tanpa akses ke DAG mana pun. Dengan cara ini, pengguna baru tidak memiliki akses ke DAG apa pun hingga Admin menetapkan peran yang memiliki izin untuk DAG tertentu ke akun mereka.

   UserNoDags dan NoDags adalah peran yang dibuat oleh Cloud Composer hanya jika fitur Pendaftaran Peran Per Folder diaktifkan. Peran ini setara dengan peran Pengguna, tetapi tanpa akses ke DAG apa pun. Peran UserNoDags dibuat di Airflow 2, dan peran NoDags dibuat di Airflow 1.

   Di Airflow 2, ganti opsi konfigurasi Airflow berikut:

   Bagian	Kunci	Nilai
   webserver	rbac_user_registration_role	UserNoDags

   Di Airflow 1, ganti opsi konfigurasi Airflow berikut:

   Bagian	Kunci	Nilai
   webserver	rbac_user_registration_role	NoDags

3. Pastikan pengguna terdaftar di Airflow.

4. Tetapkan peran kepada pengguna menggunakan salah satu pendekatan berikut:

   • Biarkan Airflow membuat peran secara otomatis berdasarkan subfolder DAG, lalu tetapkan pengguna ke peran ini.
   • Buat terlebih dahulu peran kosong untuk subfolder DAG, dengan nama peran yang cocok dengan nama subfolder, lalu tetapkan pengguna ke peran ini. Misalnya, untuk folder /dags/CustomFolder, buat peran bernama CustomFolder.
   Perhatian: Pengguna yang membuat folder dengan DAG tidak otomatis mendapatkan peran per folder yang sesuai. Misalnya, jika pengguna membuat subfolder bernama CustomFolder, akunnya tidak akan mendapatkan peran CustomFolder. Admin harus memberikan peran ini di UI Airflow.

5. Upload DAG ke subfolder dengan nama yang cocok dengan peran yang ditetapkan kepada pengguna. Subfolder ini harus berada di dalam folder /dags di bucket lingkungan. Airflow menambahkan izin ke DAG di subfolder tersebut, sehingga hanya pengguna dengan peran yang sesuai yang dapat mengaksesnya melalui UI Airflow dan UI DAG.

Mengonfigurasi izin tingkat DAG secara manual

Anda dapat mengonfigurasi izin tingkat DAG untuk peran kustom guna menentukan DAG mana yang terlihat untuk grup pengguna tertentu.

Untuk mengonfigurasi izin tingkat DAG di UI Airflow:

1. Admin membuat peran kosong untuk mengelompokkan DAG.
2. Admin menetapkan pengguna ke peran yang sesuai.
3. Admin atau pengguna menetapkan DAG ke peran.
4. Di UI Airflow, pengguna hanya dapat melihat DAG yang ditetapkan ke grup mereka.

DAG dapat ditetapkan ke peran melalui properti DAG, atau dari UI Airflow.

Menetapkan DAG ke peran di UI Airflow

Admin dapat menetapkan izin tingkat DAG yang diperlukan ke peran yang sesuai di UI Airflow.

Operasi ini tidak didukung di UI DAG.

Menetapkan DAG ke peran di properti DAG

Anda dapat menyetel parameter DAG access_control pada DAG, dengan menentukan peran pengelompokan DAG yang ditetapkan ke DAG.

Penting: Di Airflow 1, Anda tidak dapat menerapkan setelan kontrol akses baru melalui perintah sync_perm. Untuk mengetahui informasi selengkapnya, lihat masalah terkait di repositori Airflow. Anda dapat menerapkan izin tingkat DAG di UI Airflow, atau menetapkannya secara otomatis.

Airflow 2

dag = DAG(
  access_control={
    'DagGroup': {'can_edit', 'can_read'},
  },
  ...
  )

Aliran udara 1

dag = DAG(
  access_control={
    'DagGroup': {'can_dag_edit', 'can_dag_read'},
  },
  ...
  )

Memetakan log audit di UI Airflow ke pengguna

Log audit di UI Airflow dipetakan ke ID numerik akun pengguna Google. Misalnya, jika pengguna menjeda DAG, entri akan ditambahkan ke log.

Airflow 2

Di Airflow 2, Anda dapat melihat log audit di halaman Browse > Audit Logs di UI Airflow.

Gambar 1. Entri di halaman Log Audit di Airflow 2

Aliran udara 1

Di Airflow 1, Anda dapat melihat log audit di halaman Browse > Logs.

Gambar 1. Entri di halaman Logs di Airflow 1

Entri umum mencantumkan ID numerik di kolom Pemilik: accounts.google.com:NUMERIC_ID. Anda dapat memetakan ID numerik ke email pengguna di halaman Keamanan > Buat Daftar Pengguna. Halaman ini tersedia untuk pengguna dengan peran Admin.

Perhatikan bahwa hubungan antara identitas Google (alamat email) dan akun pengguna (ID pengguna) tidak bersifat tetap.

Langkah berikutnya

• Mengganti opsi konfigurasi Airflow
• Ringkasan Keamanan
• Kontrol akses Cloud Composer