Menginstal plugin kustom

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara menginstal plugin kustom di lingkungan Cloud Composer Anda.

Pengelola plugin Apache Airflow memungkinkan Anda menulis operator, hook, sensor, atau antarmuka Apache Airflow kustom internal. Untuk informasi selengkapnya, lihat plugin kustom dalam dokumentasi Airflow.

Tentang plugin kustom

Saat Anda membuat lingkungan, Cloud Composer akan membuat bucket Cloud Storage dan mengaitkan bucket ini dengan lingkungan Anda. Anda menggunakan folder plugins di bucket lingkungan untuk menginstal plugin kustom.

Sebelum memulai

  • Akun Anda harus memiliki peran yang memungkinkan melihat dan mengubah konten bucket lingkungan Anda.
  • Metode penginstalan ini hanya berlaku untuk plugin Airflow. Misalnya, Anda tidak dapat menggunakan metode ini untuk menginstal modul Python umum atau library lainnya.
  • Plugin harus sesuai dengan panduan template plugin Airflow.

Menginstal plugin

Untuk menginstal plugin kustom ke lingkungan Cloud Composer, salin kode plugin ke folder plugins di bucket lingkungan Anda.

Untuk menginstal plugin:

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder, lalu buka folder plugins/.

  4. Upload file plugin Anda. Untuk informasi selengkapnya tentang cara mengupload objek, lihat Mengupload objek.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan tersebut berada.
  • PATH_TO_LOCAL_FILE dengan jalur file yang akan diupload.
  • (Opsional) PATH_IN_SUBFOLDER dengan jalur subfolder. Gunakan argumen --destination untuk mengupload plugin ke subfolder dalam folder plugins. Jika tidak, hapus argumen --destination.

Melihat daftar plugin

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder, lalu buka folder plugins/.

  4. Melihat file plugin.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan tersebut berada.

Menghapus plugin

Untuk menghapus plugin dari lingkungan Cloud Composer, hapus kode plugin dari folder plugins di bucket lingkungan.

Untuk menghapus plugin:

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder, lalu buka folder plugins/.

  4. Hapus file plugin. Untuk mengetahui informasi selengkapnya tentang cara menghapus objek, lihat Menghapus objek.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

Mendownload plugin

Untuk mendownload plugin, pilih salah satu opsi:

Konsol

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Temukan lingkungan Anda dan ikuti link DAG.

  3. Naik satu tingkat folder, lalu buka folder plugins/.

  4. Download file plugin. Untuk mengetahui informasi selengkapnya tentang penghapusan objek, lihat Mendownload objek.

gcloud

Gunakan perintah gcloud berikut:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan tersebut berada.
  • PATH_TO_LOCAL_DESTINATION dengan tujuan untuk file yang didownload.
  • (Opsional) --source adalah opsi untuk mendownload hanya satu plugin. PATH_IN_FOLDER adalah jalur folder.

Memecahkan masalah plugin

Plugin menyebabkan masalah pada UI Airflow

Anda dapat menonaktifkan plugin server web tanpa menghapusnya. Untuk mengetahui informasi selengkapnya, lihat Menonaktifkan plugin server web.

Plugin yang baru diupload tidak terlihat di UI Airflow

Jika Anda menggunakan Kontrol Akses UI Airflow, plugin yang baru diupload mungkin tidak terlihat di UI Airflow. Untuk mengatasi masalah ini, minta Administrator UI Airflow untuk mengonfigurasi akses ke plugin yang baru diupload atau berikan peran Admin kepada diri Anda sendiri di UI Airflow.

Langkah selanjutnya