Mengganti konfigurasi Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Ikuti petunjuk di halaman ini untuk mengganti opsi konfigurasi Airflow untuk lingkungan baru dan yang sudah ada.

Saat create atau memperbarui lingkungan, Anda dapat mengganti opsi konfigurasi Apache Airflow dengan nilai yang berbeda. Dengan demikian, Anda dapat menyesuaikan instance Airflow sesuai dengan kebutuhan dan persyaratan Anda.

Mengganti opsi konfigurasi Airflow untuk lingkungan baru

Anda dapat mengganti opsi konfigurasi Airflow saat membuat lingkungan. Untuk mengetahui informasi selengkapnya, lihat Membuat lingkungan.

Mengganti opsi konfigurasi Airflow untuk lingkungan yang ada

Konsol

Untuk mengganti opsi konfigurasi Airflow untuk lingkungan yang ada:

  1. Di konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman detail Lingkungan akan terbuka.

  3. Buka tab Penggantian konfigurasi Airflow.

  4. Klik Edit.

  5. Masukkan Section, Key, dan Value untuk opsi konfigurasi Airflow yang ingin Anda ubah.

Contoh:

Bagian Kunci Nilai
webserver dag_orientation RL

gcloud

Argumen berikut mengganti opsi konfigurasi Airflow untuk lingkungan yang ada:

  • --update-airflow-configs menambahkan atau mengubah penggantian konfigurasi Airflow yang ditentukan.
  • --remove-airflow-configs menghapus penggantian konfigurasi Airflow yang ditentukan.
  • --clear-airflow-configs menghapus semua penggantian konfigurasi Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan tersebut berada.
  • KEY dengan bagian konfigurasi dan nama opsi dipisahkan oleh tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk opsi.

Contoh:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Untuk mengganti properti Airflow untuk lingkungan yang ada:

  1. Buat permintaan API environments.patch.

  2. Dalam permintaan ini:

    • Untuk mengganti semua penggantian konfigurasi Airflow yang ada dengan opsi yang ditentukan, di parameter updateMask, tentukan mask config.softwareConfig.airflowConfigOverrides.

    • Untuk mengganti opsi konfigurasi Airflow tertentu, di parameter updateMask, tentukan mask config.softwareConfig.airflowConfigOverrides.KEY. Ganti KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan oleh tanda hubung, misalnya, webserver-dag_orientation.

      Jika Anda ingin mengganti beberapa opsi konfigurasi Airflow, dalam parameter updateMask, tentukan beberapa mask yang dipisahkan dengan koma.

  3. Isi permintaan harus berisi daftar opsi konfigurasi Airflow. Jika Anda mengganti semua penggantian yang ada, pastikan untuk menyertakan semua penggantian yang ingin Anda pertahankan.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Ganti:

  • KEY dengan bagian konfigurasi dan nama opsi dipisahkan oleh tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk opsi.

Contoh berikut mengganti dua opsi konfigurasi Airflow tertentu:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Blok airflow_config_overrides di blok software_config mengontrol penggantian konfigurasi Airflow untuk lingkungan Anda:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Ganti:

  • KEY dengan bagian konfigurasi dan nama opsi dipisahkan oleh tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk opsi.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Langkah selanjutnya