Airflow 구성 옵션 재정의

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

이 페이지에서는 새 Cloud Composer 환경과 기존 Cloud Composer 환경의 Airflow 구성 옵션을 재정의하는 방법을 설명합니다.

환경을 만들거나 업데이트할 때 Apache Airflow 구성 옵션을 다른 값으로 재정의할 수 있습니다. 이를 통해 사용자의 필요 및 요구사항에 맞게 Airflow 인스턴스를 조정할 수 있습니다.

새 환경의 Airflow 구성 옵션 재정의

환경을 만들 때 Airflow 구성 옵션을 재정의할 수 있습니다. 자세한 내용은 환경 만들기를 참조하세요.

기존 환경의 Airflow 구성 옵션 재정의

콘솔

기존 환경에 대해 Airflow 구성 옵션을 재정의하려면 다음 안내를 따르세요.

  1. 콘솔에서 Google Cloud 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. Airflow 구성 재정의 탭으로 이동합니다.

  4. 수정을 클릭합니다.

  5. 변경하려는 Airflow 구성 옵션에 대해 섹션, 키, 값을 입력합니다.

예를 들면 다음과 같습니다.

섹션 키 값
webserver dag_orientation RL

gcloud

다음 인수는 기존 환경의 Airflow 구성 옵션을 재정의합니다.

  • --update-airflow-configs는 지정된 Airflow 구성 재정의를 추가하거나 변경합니다.
  • --remove-airflow-configs는 지정된 Airflow 구성 재정의를 삭제합니다.
  • --clear-airflow-configs는 모든 Airflow 구성 재정의를 삭제합니다.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME: 환경 이름
  • LOCATION을 환경이 위치한 리전으로 바꿉니다.
  • KEY: 하이픈으로 구분된 구성 섹션 및 옵션 이름입니다(예: webserver-dag_orientation).
  • VALUE: 옵션에 해당하는 값입니다.

예를 들면 다음과 같습니다.

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

기존 환경에 대해 Airflow 구성 옵션을 재정의하려면 다음 안내를 따르세요.

  1. environments.patch API 요청을 생성합니다.

  2. 이 요청의 작성 방법:

    • 지정된 옵션으로 기존의 모든 Airflow 구성 재정의를 바꾸려면 updateMask 매개변수에서 config.softwareConfig.airflowConfigOverrides 마스크를 지정합니다.

    • 특정 Airflow 구성 옵션을 재정의하려면 updateMask 매개변수에서 config.softwareConfig.airflowConfigOverrides.KEY 마스크를 지정합니다. KEY를 구성 섹션과 하이픈으로 구분된 옵션 이름으로 바꿉니다. 예를 들면 webserver-dag_orientation입니다.

      여러 Airflow 구성 옵션을 재정의하려면 updateMask 매개변수에서 쉼표로 구분된 여러 마스크를 지정합니다.

  3. 요청 본문에는 Airflow 구성 옵션 목록이 포함되어야 합니다. 기존의 모든 재정의를 바꿀 경우에는 유지할 모든 재정의를 포함해야 합니다.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

다음과 같이 바꿉니다.

  • KEY: 하이픈으로 구분된 구성 섹션 및 옵션 이름입니다(예: webserver-dag_orientation).
  • VALUE: 옵션에 해당하는 값입니다.

다음 예시에서는 두 가지 특정 Airflow 구성 옵션을 재정의합니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

software_config 블록의 airflow_config_overrides 블록은 환경의 Airflow 구성 옵션 재정의를 제어합니다.

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

다음과 같이 바꿉니다.

  • KEY: 하이픈으로 구분된 구성 섹션 및 옵션 이름입니다(예: webserver-dag_orientation).
  • VALUE: 옵션에 해당하는 값입니다.

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

다음 단계