Menginstal plugin kustom

Cloud Composer 1 | Cloud Composer 2

Dengan pengelola plugin Apache Airflow, Anda dapat menulis operator, hook, sensor, atau antarmuka Apache Airflow internal yang kustom. Untuk informasi selengkapnya, lihat plugin kustom di dokumentasi Airflow. Halaman ini menjelaskan cara menginstal plugin kustom di lingkungan Cloud Composer Anda.

Saat Anda membuat lingkungan, Cloud Composer membuat bucket Cloud Storage dan mengaitkan bucket tersebut dengan lingkungan Anda. Anda dapat menggunakan folder plugins di bucket terkait untuk menginstal plugin kustom.

Sebelum memulai

  • Akun Anda harus memiliki peran yang memungkinkan untuk melihat dan mengubah konten bucket lingkungan Anda.
  • Metode penginstalan ini hanya berlaku untuk plugin Airflow. Misalnya, Anda tidak dapat menggunakan metode ini untuk menginstal modul Python umum atau library lainnya.
  • Plugin harus sesuai dengan panduan template plugin Airflow.

Menginstal plugin

Untuk menginstal plugin kustom ke lingkungan Cloud Composer, salin kode plugin ke folder plugins di bucket Cloud Storage yang dikaitkan ke lingkungan Cloud Composer Anda.

Untuk menginstal plugin:

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder ke atas, lalu buka folder plugins/.

  4. Upload file plugin Anda. Untuk mengetahui informasi selengkapnya tentang cara mengupload objek, lihat Mengupload objek.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • PATH_TO_LOCAL_FILE dengan jalur file yang akan diupload.
  • (Opsional) PATH_IN_SUBFOLDER dengan jalur subfolder. Gunakan argumen --destination untuk mengupload plugin ke subfolder di folder plugins. Jika tidak, hilangkan argumen --destination.

Melihat daftar plugin

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder ke atas, lalu buka folder plugins/.

  4. Melihat file plugin.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Menghapus plugin

Untuk menghapus plugin dari lingkungan Cloud Composer, hapus kode plugin dari folder plugins di bucket lingkungan.

Untuk menghapus plugin:

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder ke atas, lalu buka folder plugins/.

  4. Hapus file plugin. Untuk mengetahui informasi selengkapnya tentang cara menghapus objek, lihat Menghapus objek.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Mendownload plugin

Untuk mendownload plugin, pilih salah satu opsi:

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder ke atas, lalu buka folder plugins/.

  4. Download file plugin. Untuk informasi selengkapnya tentang cara menghapus objek, lihat Mendownload objek.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • PATH_TO_LOCAL_DESTINATION dengan tujuan untuk file yang didownload.
  • (Opsional) --source adalah opsi untuk mendownload hanya satu plugin. PATH_IN_FOLDER adalah jalur folder.

Memecahkan masalah plugin

Plugin yang baru diupload tidak terlihat di UI Airflow

Jika Anda menggunakan Airflow UI Access Control, plugin yang baru diupload mungkin tidak terlihat di UI Airflow. Untuk mengatasi masalah ini, minta Administrator UI Airflow untuk mengonfigurasi akses ke plugin yang baru diupload atau tetapkan peran Admin kepada diri Anda sendiri di UI Airflow.

Langkah selanjutnya