Mengganti opsi konfigurasi Airflow

Cloud Composer 1 | Cloud Composer 2

Ikuti petunjuk di halaman ini untuk mengganti opsi konfigurasi Airflow untuk lingkungan baru dan yang sudah ada.

Saat membuat atau mengupdate lingkungan, Anda dapat mengganti opsi konfigurasi Apache Airflow dengan nilai yang berbeda. Dengan begitu, Anda dapat menyesuaikan instance Airflow dengan kebutuhan dan persyaratan Anda.

Mengganti opsi konfigurasi Airflow untuk lingkungan baru

Anda dapat mengganti opsi konfigurasi Airflow saat membuat lingkungan. Untuk mengetahui informasi selengkapnya, lihat Membuat lingkungan.

Mengganti opsi konfigurasi Airflow untuk lingkungan yang ada

Konsol

Untuk mengganti opsi konfigurasi Airflow bagi lingkungan yang ada:

  1. Di Konsol Google Cloud, buka halaman Environments.

    Buka Lingkungan

  2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

  3. Buka tab Penggantian konfigurasi Airflow.

  4. Klik Edit.

  5. Masukkan Section, Key, dan Value untuk opsi konfigurasi Airflow yang ingin Anda ubah.

Contoh:

Bagian Kunci Nilai
webserver dag_orientation RL

gcloud

Argumen berikut menggantikan opsi konfigurasi Airflow untuk lingkungan yang ada:

  • --update-airflow-configs menambahkan atau mengubah penggantian konfigurasi Airflow yang ditentukan.
  • --remove-airflow-configs menghapus penggantian konfigurasi Airflow yang ditentukan.
  • --clear-airflow-configs menghapus semua penggantian konfigurasi Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan wilayah tempat lingkungan berada.
  • KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk sebuah opsi.

Contoh:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Untuk mengganti properti Airflow di lingkungan yang ada:

  1. Buat permintaan environments.patch API.

  2. Dalam permintaan ini:

    • Untuk mengganti semua penggantian konfigurasi Airflow yang ada dengan opsi yang ditentukan, dalam parameter updateMask, tentukan mask config.softwareConfig.airflowConfigOverrides.

    • Untuk mengganti opsi konfigurasi Airflow tertentu, dalam parameter updateMask, tentukan mask config.softwareConfig.airflowConfigOverrides.KEY. Ganti KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.

      Jika Anda ingin mengganti beberapa opsi konfigurasi Airflow, dalam parameter updateMask, tentukan beberapa mask yang dipisahkan oleh koma.

  3. Isi permintaan harus berisi daftar opsi konfigurasi Airflow. Jika Anda mengganti semua penggantian yang ada, pastikan untuk menyertakan semua penggantian yang ingin disimpan.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Ganti:

  • KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk sebuah opsi.

Contoh berikut mengganti dua opsi konfigurasi Airflow tertentu:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

Blok airflow_config_overrides di blok software_config mengontrol penggantian konfigurasi Airflow untuk lingkungan Anda:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Ganti:

  • KEY dengan bagian konfigurasi dan nama opsi yang dipisahkan dengan tanda hubung, misalnya, webserver-dag_orientation.
  • VALUE dengan nilai yang sesuai untuk sebuah opsi.

Contoh:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Langkah selanjutnya