Cloud Composer 환경 만들기

Cloud Composer 1 | Cloud Composer 2

이 페이지에서는 Cloud Composer 1 환경을 만드는 방법을 설명합니다.

Cloud Composer 환경은 관리형 Google Kubernetes Engine 클러스터에 배포된 독립 실행형 Apache Airflow 설치입니다. 단일 Google Cloud 프로젝트에서 하나 이상의 환경을 만들 수 있습니다.

시작하기 전에

  • 환경을 만드는 동안 서비스 계정을 지정합니다. 환경 클러스터의 노드가 이 계정으로 실행됩니다.

    기본적으로 Cloud Composer 환경은 Google 관리형 기본 Compute Engine 서비스 계정을 사용합니다. Cloud Composer 관련 역할이 있는 사용자 관리형 서비스 계정을 만들고 사용자 환경에 사용하는 것이 좋습니다.

  • Terraform으로 환경을 만드는 경우 Terraform에서 사용하는 서비스 계정에는 composer.environments.create 권한이 사용 설정된 역할이 있어야 합니다.

    Terraform의 서비스 계정에 대한 자세한 내용은 Google 제공업체 구성 참조를 확인하세요.

    Terraform을 사용하여 Cloud Composer 환경을 만드는 방법에 대한 자세한 내용은 Terraform 문서를 참조하세요.

    추가 매개변수에 대한 자세한 내용은 Terraform 인수 참조를 확인하세요.

  • 비공개 IP: 비공개 IP 환경을 만들 때 적용되는 특정 네트워크 및 피어링 요구사항이 있습니다. 자세한 내용은 비공개 IP 구성을 참조하세요.

  • 공유 VPC: Cloud Composer에서 공유 VPC를 사용할 때 적용되는 특정 네트워크 요구사항이 있습니다. 자세한 내용은 공유 VPC 구성을 참조하세요.

  • VPC SC: 보안 경계 내에 Cloud Composer 환경을 배포하려면 VPC SC 구성을 참조하세요. Cloud Composer와 함께 사용하는 경우 VPC 서비스 제어에 몇 가지 알려진 제한사항이 있습니다.

1단계: 기본 설정

이 단계에서는 지정된 위치에 기본 매개변수로 Cloud Composer 환경을 만듭니다.

콘솔

  1. Google Cloud Console에서 Cloud Composer 1의 환경 만들기 페이지로 이동합니다.

    환경 만들기로 이동

  2. 이름 필드에 환경 이름을 입력합니다.

    이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.

  3. 위치 드롭다운 목록에서 환경의 위치를 선택합니다.

    위치는 환경의 GKE 클러스터가 있는 리전입니다.

  4. 다음 단계로 진행하거나 만들기를 클릭하여 환경을 만듭니다.

gcloud 

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version IMAGE_VERSION

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.

    이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.

  • LOCATION을 환경의 리전으로 바꿉니다.

    위치는 환경의 GKE 클러스터가 있는 리전입니다.

  • IMAGE_VERSION을 Cloud Composer 이미지 이름으로 바꿉니다. 이 인수를 생략하면 Cloud Composer 1의 최신 Cloud Composer 이미지가 사용됩니다. composer-1-airflow-1.10을 사용하여 최신 Cloud Composer 이미지로 환경을 만들 수도 있습니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15

API

environments.create API 요청을 생성합니다. Environment 리소스에서 구성을 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME"
  "config": {
      "softwareConfig": {
        "imageVersion": "IMAGE_VERSION"
      }
    }
}

다음과 같이 바꿉니다.

  • PROJECT_ID를 프로젝트 ID로 바꿉니다.

  • LOCATION을 환경의 리전으로 바꿉니다.

    위치는 환경의 GKE 클러스터가 있는 리전입니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.

    이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.

  • IMAGE_VERSION을 Cloud Composer 이미지 이름으로 바꿉니다. 이 인수를 생략하면 Cloud Composer 1의 최신 Cloud Composer 이미지가 사용됩니다. composer-1-airflow-1.10을 사용하여 최신 Cloud Composer 이미지로 환경을 만들 수도 있습니다.

예시:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      }
    }
}

Terraform

기본 매개변수를 사용하여 환경을 만들려면 지정된 리소스 위치를 다음 Terraform 구성에 추가하고 terraform apply를 실행합니다.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "IMAGE_VERSION"
    }
  }
}

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.

    이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.

  • LOCATION을 환경의 리전으로 바꿉니다.

    위치는 환경의 GKE 클러스터가 있는 리전입니다.

  • IMAGE_VERSION을 Cloud Composer 이미지 이름으로 바꿉니다. 이 인수를 생략하면 Cloud Composer 1의 최신 Cloud Composer 이미지가 사용됩니다. composer-1-airflow-1.10을 사용하여 최신 Cloud Composer 이미지로 환경을 만들 수도 있습니다.

예시:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
  }

}

2단계: (선택사항) 환경의 서비스 계정 선택

환경 클러스터의 노드는 이 서비스 계정으로 실행됩니다.

기본적으로 Cloud Composer 환경은 기본 Compute Engine 서비스 계정을 사용합니다. Cloud Composer 환경에 사용자 관리형 서비스 계정을 설정하는 것이 좋습니다.

나중에는 환경의 서비스 계정을 변경할 수 없습니다.

콘솔

환경 만들기 페이지의 노드 구성 섹션에 있는 서비스 계정 드롭다운 목록에서 환경의 서비스 계정을 선택합니다.

gcloud

환경을 만들 때 --service-account는 환경의 서비스 계정을 지정합니다.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --service-account "SERVICE_ACCOUNT"

다음과 같이 바꿉니다.

  • SERVICE_ACCOUNT를 환경의 서비스 계정으로 바꿉니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --service-account "example-account@example-project.iam.gserviceaccount.com"

API

환경을 만들 때 환경 > EnvironmentConfig 리소스에 환경의 서비스 계정을 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
    }
}

다음과 같이 바꿉니다.

  • SERVICE_ACCOUNT를 환경의 서비스 계정으로 바꿉니다.

예시:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeConfig": {
      "serviceAccount": "example-account@example-project.iam.gserviceaccount.com"
    }
  }
}

Terraform

환경을 만들 때 node_config 블록의 service_account 필드를 사용합니다.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    node_config {
      service_account = "SERVICE_ACCOUNT"
    }
  }
}

다음과 같이 바꿉니다.

  • SERVICE_ACCOUNT를 환경의 서비스 계정으로 바꿉니다.

예시:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {
      service_account = "example-account@example-project.iam.gserviceaccount.com"
    }
  }
}

3단계: (선택사항) 환경 규모 및 성능 매개변수 구성

환경의 규모 및 성능 구성을 지정하려면 환경의 GKE 클러스터에 있는 노드 수를 제공하고 환경 구성요소의 머신 유형을 선택합니다.

콘솔

환경 만들기 페이지에서 다음을 수행합니다.

  1. 노드 구성 섹션에서 다음을 수행합니다.

    • 노드 수를 입력합니다.

      노드 수는 환경의 GKE 클러스터에 있는 Google Kubernetes Engine 노드의 수입니다. 기본적으로 환경에는 3개의 노드가 있습니다.

      환경을 만든 후 이 값을 변경할 수 있습니다.

    • 노드의 머신 유형을 선택합니다.

      노드의 머신 유형은 클러스터 인스턴스에 사용되는 Compute Engine 머신 유형입니다. 이 매개변수는 환경의 CPU 수와 메모리 양을 결정합니다. 기본 머신 유형은 n1-standard-1입니다.

      환경을 만든 후 이 값을 변경하려면 환경 클러스터를 수동으로 다시 구성해야 합니다.

    • 디스크 크기를 입력합니다.

      환경 노드의 디스크 크기(GB)입니다. 환경의 각 노드에는 이 양의 디스크 공간이 있습니다. 환경 VM과 동기화된 폴더에 대용량 데이터를 저장할 것으로 예상되는 경우 더 큰 디스크 크기를 선택합니다. 예를 들어 환경 버킷의 /data 폴더에 저장합니다.

      최소 크기는 30GB입니다. 기본 크기는 100GB입니다. 환경을 만든 후에는 이 매개변수를 변경할 수 없습니다.

    • 스케줄러 수를 선택합니다.

      환경에서 동시에 2개 이상의 Airflow 스케줄러를 실행할 수 있습니다. 성능 및 안정성을 높이기 위해 여러 스케줄러를 사용하여 여러 스케줄러 인스턴스 사이에 부하를 분산합니다.

      해당 환경의 노드 수만큼 스케줄러 수를 지정할 수 있습니다.

      스케줄러 수를 늘린다고 해서 항상 Airflow 성능이 향상되는 것은 아닙니다. 예를 들어 1개의 스케줄러만 사용하면 2개를 사용할 때보다 더 나은 성능을 제공할 수 있습니다. 스케줄러를 추가해도 전체 성능에 도움을 주지 않고 환경의 리소스만 소비될 때가 여기에 해당합니다. 실제 스케줄러 성능은 Airflow 작업자 수, 환경에서 실행되는 DAG 및 태스크 수, Airflow와 환경의 구성에 따라 다릅니다.

      2개의 스케줄러로 시작한 다음 환경의 성능을 모니터링하는 것이 좋습니다. 스케줄러 수를 변경한 후 언제든지 환경을 원래 스케줄러 수로 다시 조정할 수 있습니다.

      여러 스케줄러 구성에 대한 자세한 내용은 Airflow 문서를 참조하세요.

  2. 네트워킹, Airflow 구성 재정의, 추가 기능 항목을 펼칩니다.

  3. Cloud SQL 구성 섹션에서 Cloud SQL 머신 유형을 선택합니다.

    이 매개변수는 Airflow 데이터베이스를 실행하는 Cloud SQL 인스턴스의 머신 유형을 결정합니다. 기본 Cloud SQL 머신 유형은 db-n1-standard-2입니다.

  4. 웹 서버 구성 섹션에서 웹 서버 머신 유형을 선택합니다.

    이 매개변수는 Airflow 웹 서버를 실행하는 Compute Engine 인스턴스의 머신 유형을 결정합니다.

    기본 웹 서버 머신 유형은 composer-n1-webserver-2입니다.

gcloud

환경을 만들 때 다음 인수는 환경 규모 및 성능 매개변수를 제어합니다.

  • --node-count는 사용자 환경의 노드 수를 지정합니다.

    노드 수는 환경의 GKE 클러스터에 있는 Google Kubernetes Engine 노드의 수입니다. 기본적으로 환경에는 3개의 노드가 있습니다.

    환경을 만든 후 이 값을 변경할 수 있습니다.

  • --scheduler-count는 환경의 스케줄러 수를 지정합니다.

    환경에서 동시에 2개 이상의 Airflow 스케줄러를 실행할 수 있습니다. 성능 및 안정성을 높이기 위해 여러 스케줄러를 사용하여 여러 스케줄러 인스턴스 사이에 부하를 분산합니다.

    해당 환경의 노드 수만큼 스케줄러 수를 지정할 수 있습니다.

    스케줄러 수를 늘린다고 해서 항상 Airflow 성능이 향상되는 것은 아닙니다. 예를 들어 1개의 스케줄러만 사용하면 2개를 사용할 때보다 더 나은 성능을 제공할 수 있습니다. 스케줄러를 추가해도 전체 성능에 도움을 주지 않고 환경의 리소스만 소비될 때가 여기에 해당합니다. 실제 스케줄러 성능은 Airflow 작업자 수, 환경에서 실행되는 DAG 및 태스크 수, Airflow와 환경의 구성에 따라 다릅니다.

    2개의 스케줄러로 시작한 다음 환경의 성능을 모니터링하는 것이 좋습니다. 스케줄러 수를 변경한 후 언제든지 환경을 원래 스케줄러 수로 다시 조정할 수 있습니다.

    여러 스케줄러 구성에 대한 자세한 내용은 Airflow 문서를 참조하세요.

  • --disk-size는 환경 VM의 디스크 크기를 지정합니다.

    환경 노드의 디스크 크기(GB)입니다. 환경의 각 노드에는 이 양의 디스크 공간이 있습니다. 환경 VM과 동기화된 폴더에 대용량 데이터를 저장할 것으로 예상되는 경우 더 큰 디스크 크기를 선택합니다. 예를 들어 환경 버킷의 /data 폴더에 저장합니다.

    최소 크기는 30GB입니다. 기본 크기는 100GB입니다. 환경을 만든 후에는 이 매개변수를 변경할 수 없습니다.

  • --machine-type은 노드 VM의 머신 유형을 지정합니다.

    노드의 머신 유형은 클러스터 인스턴스에 사용되는 Compute Engine 머신 유형입니다. 이 매개변수는 환경의 CPU 수와 메모리 양을 결정합니다. 기본 머신 유형은 n1-standard-1입니다.

    환경을 만든 후 이 값을 변경하려면 환경 클러스터를 수동으로 다시 구성해야 합니다.

  • --cloud-sql-machine-type은 Cloud SQL 인스턴스의 머신 유형을 지정합니다.

    이 매개변수는 Airflow 데이터베이스를 실행하는 Cloud SQL 인스턴스의 머신 유형을 결정합니다. 기본 Cloud SQL 머신 유형은 db-n1-standard-2입니다.

  • --web-server-machine-type은 Airflow 웹 서버 인스턴스의 머신 유형을 지정합니다.

    이 매개변수는 Airflow 웹 서버를 실행하는 Compute Engine 인스턴스의 머신 유형을 결정합니다.

    기본 웹 서버 머신 유형은 composer-n1-webserver-2입니다. 

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --zone NODE_ZONE \
    --node-count NODE_COUNT \
    --scheduler-count SCHEDULER_COUNT \
    --disk-size DISK_SIZE \
    --machine-type NODE_MACHINE_TYPE \
    --cloud-sql-machine-type SQL_MACHINE_TYPE \
    --web-server-machine-type WS_MACHINE_TYPE

다음과 같이 바꿉니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --zone us-central1-a \
    --node-count 6 \
    --scheduler-count 1 \
    --disk-size 50 \
    --machine-type n1-standard-2 \
    --cloud-sql-machine-type db-n1-standard-2 \
    --web-server-machine-type composer-n1-webserver-2

API

환경을 만들 때 환경 > EnvironmentConfig 리소스에 환경 규모 및 성능 매개변수를 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeCount": NODE_COUNT,
    "nodeConfig": {
      "machineType": "NODE_MACHINE_TYPE",
      "diskSizeGb": DISK_SIZE
    },
    "softwareConfig": {
      "schedulerCount": SCHEDULER_COUNT
    },
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    },
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

다음과 같이 바꿉니다.

  • NODE_COUNT를 노드 수로 바꿉니다.
  • DISK_SIZE를 환경 VM의 디스크 크기(GB)로 바꿉니다.
  • NODE_MACHINE_TYPE을 노드 VM의 머신 유형으로 바꿉니다. 이 값에는 환경 VM의 영역이 포함되어야 합니다.
  • SCHEDULER_COUNT를 스케줄러 수로 바꿉니다.
  • SQL_MACHINE_TYPE을 Cloud SQL 인스턴스의 머신 유형으로 바꿉니다.
  • WS_MACHINE_TYPE을 Airflow 웹 서버 인스턴스의 머신 유형으로 바꿉니다.

예시:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeCount": 6,
    "nodeConfig": {
      "machineType": "projects/example-project/zones/us-central1-a/machineTypes/n1-standard-2",
      "diskSizeGb": 50
    },
    "softwareConfig": {
      "schedulerCount": 1
    },
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    },
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

환경을 만들 때 다음 필드는 환경 규모 및 성능 매개변수를 제어합니다.

  • node_config 블록의 node_count는 환경에 있는 노드 수를 지정합니다.

    노드 수는 환경의 GKE 클러스터에 있는 Google Kubernetes Engine 노드의 수입니다. 기본적으로 환경에는 3개의 노드가 있습니다.

    환경을 만든 후 이 값을 변경할 수 있습니다.

  • node_config 블록의 disk_size_gb는 환경 VM의 디스크 크기를 지정합니다.

    환경 노드의 디스크 크기(GB)입니다. 환경의 각 노드에는 이 양의 디스크 공간이 있습니다. 환경 VM과 동기화된 폴더에 대용량 데이터를 저장할 것으로 예상되는 경우 더 큰 디스크 크기를 선택합니다. 예를 들어 환경 버킷의 /data 폴더에 저장합니다.

    최소 크기는 30GB입니다. 기본 크기는 100GB입니다. 환경을 만든 후에는 이 매개변수를 변경할 수 없습니다.

  • node_config 블록의 machine_type은 노드 VM의 머신 유형을 지정합니다. 이 필드를 지정할 때는 zone 필드에 환경 VM의 Compute Engine 영역도 제공하세요.

    노드의 머신 유형은 클러스터 인스턴스에 사용되는 Compute Engine 머신 유형입니다. 이 매개변수는 환경의 CPU 수와 메모리 양을 결정합니다. 기본 머신 유형은 n1-standard-1입니다.

    환경을 만든 후 이 값을 변경하려면 환경 클러스터를 수동으로 다시 구성해야 합니다.

  • database_config 블록의 machine_type은 Cloud SQL 인스턴스의 머신 유형을 지정합니다.

    이 매개변수는 Airflow 데이터베이스를 실행하는 Cloud SQL 인스턴스의 머신 유형을 결정합니다. 기본 Cloud SQL 머신 유형은 db-n1-standard-2입니다.

  • web_server_config 블록의 machine_type은 Airflow 웹 서버 인스턴스의 머신 유형을 지정합니다.

    이 매개변수는 Airflow 웹 서버를 실행하는 Compute Engine 인스턴스의 머신 유형을 결정합니다.

    기본 웹 서버 머신 유형은 composer-n1-webserver-2입니다.

  • software_config 블록의 scheduler_count 필드는 환경의 스케줄러 수를 지정합니다. 환경에서 Airflow 2를 사용해야 합니다.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      node_count = NODE_COUNT
      disk_size_gb = DISK_SIZE
      machine_type = "NODE_MACHINE_TYPE"
      zone = "NODE_ZONE"
    }

    software_config {
      scheduler_count = SCHEDULER_COUNT
    }

    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }

    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

다음과 같이 바꿉니다.

  • NODE_COUNT를 노드 수로 바꿉니다.
  • DISK_SIZE를 환경 VM의 디스크 크기(GB)로 바꿉니다.
  • NODE_MACHINE_TYPE을 노드 VM의 머신 유형으로 바꿉니다.
  • NODE_ZONE을 환경 VM의 Compute Engine 영역으로 바꿉니다.
  • SCHEDULER_COUNT를 스케줄러 수로 바꿉니다.
  • SQL_MACHINE_TYPE을 Cloud SQL 인스턴스의 머신 유형으로 바꿉니다.
  • WS_MACHINE_TYPE을 Airflow 웹 서버 인스턴스의 머신 유형으로 바꿉니다.

예시:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
      disk_size_gb = 100
      zone = "us-central1-a"
      machine_type = "n1-standard-2"
    }

    software_config {
      scheduler_count = 2
    }

    database_config {
      machine_type = "db-n1-standard-2"
    }

    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
  }
}

4단계: (선택사항) 환경의 네트워킹 구성

네트워킹 매개변수는 만들려는 환경 유형에 따라 달라집니다.

  • 공개 IP 환경. 기본 네트워킹 매개변수를 사용합니다.

  • 비공개 IP 환경(VPC 피어링). 이 구성에서 환경은 연결에 VPC 피어링을 사용합니다.

    비공개 IP 환경을 구성합니다.

    1. 비공개 IP 환경에 대한 프로젝트 네트워킹을 구성합니다.
    2. 이 섹션의 뒷부분에 설명된 대로 비공개 IP 환경의 다른 매개변수를 지정합니다.

    VPC 피어링이 있는 비공개 IP 환경의 경우 다음을 알아야 합니다.

    • VPC 네트워크 ID
    • VPC 서브네트워크 ID

    • VPC 서브네트워크의 보조 IP 범위 2개:

      • 포드의 보조 IP 범위
      • 서비스의 보조 IP 범위

    • 환경 구성요소의 IP 범위:

      • GKE 제어 영역의 IP 범위

      • 웹 서버 IP 범위

      • Cloud SQL 인스턴스의 IP 범위

  • 공유 VPC 환경의 경우 호스트 프로젝트에 추가 네트워킹 설정을 수행한 다음 서비스 프로젝트에 공개 또는 비공개 IP 환경을 만들어야 합니다. 공유 VPC 구성 페이지의 안내를 따릅니다.

    공유 VPC 환경의 경우 다음을 알아야 합니다.

    • 호스트 프로젝트 VPC 네트워크 ID
    • 호스트 프로젝트 VPC 서브네트워크 ID

    • 호스트 프로젝트 VPC 서브네트워크의 보조 IP 범위 2개:

      • 포드의 보조 IP 범위
      • 서비스의 보조 IP 범위

    공개 IP 공유 VPC 환경을 만들 때도 호스트 프로젝트 VPC 네트워크, 서브네트워크, 포드 및 서비스의 보조 IP 범위를 지정해야 합니다.

  • VPC SC 환경을 만들려면 서비스 경계를 만든 다음 이 경계 내에 비공개 IP 환경을 만들어야 합니다. VPC 서비스 제어 구성에 설명된 안내를 따릅니다.

  • 환경의 추가 네트워킹 옵션은 다음과 같습니다.

    • 비공개로 사용되는 공개 IP 주소. 더 많은 IP 주소를 사용하려는 경우 환경에서 특정 공개 IP 주소 범위를 포드 및 서비스의 내부 서브넷 IP 주소 범위로 비공개로 사용할 수 있습니다.

    • 승인된 네트워크 HTTPS를 사용하여 비공개 IP 환경의 제어 영역에 액세스하려면 승인된 네트워크를 사용하여 이를 수행할 수 있는 CIDR 범위를 지정하면 됩니다.

    • IP 매스커레이드 에이전트. IP 매스커레이드 에이전트에서 환경을 사용하면 환경의 네트워킹 구성에서 다대일 IP 주소 변환을 사용할 수 있습니다. IP 매스커레이드 에이전트로 환경을 만드는 방법에 대한 자세한 내용은 IP 매스커레이드 에이전트 사용 설정을 참조하세요.

콘솔

비공개 IP 환경을 만들려면 다음 안내를 따르세요.

  1. 만들려는 환경 유형에 맞게 네트워킹이 구성되었는지 확인합니다.

  2. 네트워킹, Airflow 구성 재정의, 추가 기능 항목을 펼칩니다.

  3. 네트워크 구성 섹션에서 VPC 기반 사용 설정(별칭 IP 사용) 체크박스를 선택합니다.

  4. 네트워크 드롭다운 목록에서 VPC 네트워크 ID를 선택합니다.

  5. 서브네트워크 드롭다운 목록에서 VPC 서브네트워크 ID를 선택합니다.

  6. 포드 IP 주소 할당 섹션에서 포드의 보조 IP 범위를 지정합니다. VPC 네트워크의 기존 보조 범위를 사용할 수도 있고, CIDR 표기법으로 새 범위를 지정할 수 있습니다.

  7. 서비스 IP 주소 할당 섹션에서 서비스에 대한 보조 IP 범위를 지정합니다. VPC 네트워크의 기존 보조 범위를 사용할 수도 있고, CIDR 표기법으로 새 범위를 지정할 수 있습니다.

  8. 비공개 IP 섹션에서 비공개 IP 사용 설정 체크박스를 선택합니다.

  9. GKE 클러스터 마스터 비공개 IP 섹션에서 GKE 제어 영역의 IP 범위를 지정합니다.

    • 환경이 위치한 리전의 기본 IP 범위를 사용하려면 기본 IP 범위를 선택합니다.

    • 커스텀 IP 범위를 지정하려면 커스텀 IP 범위를 선택하고 GKE 클러스터 마스터 비공개 IP 필드에 CIDR 표기법으로 범위를 입력합니다.

  10. GKE 제어 영역의 수준 액세스를 선택합니다. 제어 영역에는 엔드포인트가 2개 있습니다. 하나의 엔드포인트는 클러스터 노드 및 VM에서 사용할 용도로 비공개입니다. 다른 엔드포인트는 공개입니다. 공개 엔드포인트에 대한 액세스 수준을 지정할 수 있습니다.

    • 승인된 네트워크에서 공개 엔드포인트에 액세스하도록 허용하려면 외부 IP 주소를 사용한 마스터 엔드포인트 액세스 체크박스를 선택합니다.

      이 옵션을 사용하면 제어 영역의 액세스 수준이 '공개 엔드포인트 액세스 사용 설정됨, 승인된 네트워크 사용 설정됨'으로 설정됩니다. 이를 통해 승인된 네트워크에서 제어 영역에 대한 제한된 액세스가 제공됩니다. 기본적으로 소스 IP 주소는 지정되지 않습니다. 클러스터에 승인된 네트워크를 추가할 수 있습니다.

    • 승인된 네트워크에서 공개 엔드포인트에 액세스할 수 없게 하려면 외부 IP 주소를 사용한 마스터 엔드포인트 액세스 체크박스를 선택 취소합니다.

      이 옵션을 사용하면 제어 영역의 액세스 수준이 '공개 엔드포인트 액세스 사용 중지됨'으로 설정됩니다. 이렇게 하면 제어 영역에 대한 모든 인터넷 액세스가 방지됩니다.

  11. 웹 서버 비공개 IP 섹션에서 Airflow 웹 서버 인스턴스의 IP 범위를 지정합니다.

  12. Cloud SQL 비공개 IP 섹션에서 Cloud SQL 인스턴스의 IP 범위를 지정합니다.

gcloud

만들려는 환경 유형에 맞게 네트워킹이 구성되었는지 확인합니다.

환경을 만들 때 다음 인수가 네트워킹 매개변수를 제어합니다. 매개변수를 생략하면 기본값이 사용됩니다.

  • --enable-ip-alias: 별칭 IP 주소를 사용하는 VPC 기반을 사용 설정합니다.

    --enable-private-environment를 사용할 때나 포드 및 서비스의 보조 범위를 구성할 때 이 매개변수가 필요합니다.

  • --enable-private-environment: 비공개 IP 환경을 사용 설정합니다.

  • --network: VPC 네트워크 ID를 지정합니다.

  • --subnetwork: VPC 서브네트워크 ID를 지정합니다.

  • --cluster-secondary-range-name 또는 --cluster-ipv4-cidr: 포드의 보조 범위를 구성합니다.

  • --services-secondary-range-name 또는 --services-ipv4-cidr - 서비스의 보조 범위를 구성합니다.

  • --master-ipv4-cidr: GKE 제어 영역의 범위를 지정합니다.

  • --web-server-ipv4-cidr: Airflow 웹 서버 인스턴스의 범위를 지정합니다.

  • --cloud-sql-ipv4-cidr: Cloud SQL 인스턴스의 범위를 지정합니다.

  • --enable-private-endpoint: GKE 제어 영역의 수준 액세스를 제어합니다. 제어 영역에는 엔드포인트가 2개 있습니다. 하나의 엔드포인트는 클러스터 노드 및 VM에서 사용할 용도로 비공개입니다. 다른 엔드포인트는 공개입니다. 공개 엔드포인트에 대한 액세스 수준을 지정할 수 있습니다.

    • 승인된 네트워크에서 공개 엔드포인트에 액세스하도록 허용하려면 --enable-private-endpoint 인수를 생략합니다.

      이 옵션을 사용하면 제어 영역의 액세스 수준이 '공개 엔드포인트 액세스 사용 설정됨, 승인된 네트워크 사용 설정됨'으로 설정됩니다. 이를 통해 승인된 네트워크에서 제어 영역에 대한 제한된 액세스가 제공됩니다. 기본적으로 소스 IP 주소는 지정되지 않습니다. 클러스터에 승인된 네트워크를 추가할 수 있습니다.

    • 승인된 네트워크에서 공개 엔드포인트에 액세스할 수 없게 하려면 --enable-private-endpoint 인수를 지정합니다.

      이 옵션을 사용하면 제어 영역의 액세스 수준이 '공개 엔드포인트 액세스 사용 중지됨'으로 설정됩니다. 이렇게 하면 제어 영역에 대한 모든 인터넷 액세스가 방지됩니다.

  • --enable-ip-masq-agent는 IP 매스커레이드 에이전트를 사용 설정합니다.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version composer-1.20.12-airflow-1.10.15 \
  --enable-ip-alias \
  --enable-private-environment \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID \
  --cluster-ipv4-cidr PODS_RANGE \
  --services-ipv4-cidr SERVICES_RANGE \
  --master-ipv4-cidr CONTROL_PLANE_RANGE \
  --web-server-ipv4-cidr WEB_SERVER_RANGE \
  --cloud-sql-ipv4-cidr SQL_RANGE

다음과 같이 바꿉니다.

  • NETWORK_ID를 VPC 네트워크 ID로 바꿉니다.
  • SUBNETWORK_ID를 VPC 서브네트워크 ID로 바꿉니다.
  • PODS_RANGE를 포드의 보조 범위로 바꿉니다.
  • SERVICES_RANGE를 서비스의 보조 범위로 바꿉니다.

  • CONTROL_PLANE_RANGE를 GKE 제어 영역의 보조 범위로 바꿉니다.

  • WEB_SERVER_RANGE를 Airflow 웹 서버 인스턴스의 보조 범위로 바꿉니다.

  • SQL_RANGE를 Cloud SQL 인스턴스의 범위로 바꿉니다.

5단계: (선택사항) 네트워크 태그 추가

네트워크 태그는 환경 클러스터의 모든 노드 VM에 적용됩니다. 태그는 네트워크 방화벽의 유효한 소스 또는 대상을 식별하는 데 사용됩니다. 목록의 각 태그는 RFC 1035를 준수해야 합니다.

예를 들어 방화벽 규칙이 있는 비공개 IP 환경의 트래픽을 제한하려는 경우 네트워크 태그를 추가하고 싶을 수 있습니다.

콘솔

환경 만들기 페이지에서 다음을 수행합니다.

  1. 노드 구성 섹션을 찾습니다.
  2. 태그 필드에 노드 VM의 인스턴스 태그를 지정합니다.

gcloud

환경을 만들 때 다음 인수가 네트워크 태그를 제어합니다.

  • --tags는 모든 노드 VM에 적용되는 쉼표로 구분된 네트워크 태그 목록을 지정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --tags TAGS

다음과 같이 바꿉니다.

  • TAGS를 쉼표로 구분된 네트워크 태그 목록으로 바꿉니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --tags group1,production

API

환경을 만들 때 환경 > EnvironmentConfig 리소스에서 해당 환경의 네트워크 태그를 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "tags": [
        "TAG"
      ]
    }
  }
}

다음과 같이 바꿉니다.

  • TAG를 네트워크 태그로 바꿉니다.

예시:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeConfig": {
      "tags": [
        "group1",
        "production"
      ]
    }
  }
}

Terraform

환경을 만들 때 다음 필드는 해당 환경의 네트워크 태그를 정의합니다.

  • node_config 블록의 tags 필드는 모든 노드 VM에 적용되는 쉼표로 구분된 네트워크 태그 목록을 지정합니다.
resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      tags = ["TAGS"]
    }
  }
}

다음과 같이 바꿉니다.

  • TAGS를 쉼표로 구분된 네트워크 태그 목록으로 바꿉니다.

예시:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {
      tags = ["group1","production"]
    }
  }
}

6단계: (선택사항) 웹 서버 네트워크 액세스 구성

Airflow 웹 서버 액세스 매개변수는 환경 유형에 따라 달라지지 않습니다. 대신 웹 서버 액세스를 별도로 구성할 수 있습니다. 예를 들어 비공개 IP 환경은 인터넷에서 Airflow UI에 계속 액세스할 수 있습니다.

현재 비공개 IP 주소를 사용하여 허용되는 IP 범위를 구성할 수 없습니다.

콘솔

환경 만들기 페이지의 웹 서버 구성 섹션에서 다음을 수행합니다.

  • 모든 IP 주소의 Airfow 웹 서버에 대한 액세스 권한을 제공하려면 모든 IP 주소의 액세스 허용을 선택합니다.

  • 특정 IP 범위로만 액세스를 제한하려면 특정 IP 주소에서만 액세스 허용을 선택합니다. IP 범위 필드에서 CIDR 표기법으로 IP 범위를 지정합니다. 설명 필드에 이 범위의 설명(선택사항)을 지정합니다. 범위를 두 개 이상 지정하려면 IP 범위 추가를 클릭합니다.

  • 모든 IP 주소의 액세스를 금지하려면 특정 IP 주소에서만 액세스 허용을 선택하고 빈 범위 항목 옆에 있는 항목 삭제를 클릭합니다.

gcloud

환경을 만들 때 다음 인수가 웹 서버 액세스 수준을 제어합니다.

  • --web-server-allow-all은 모든 IP 주소의 Airflow에 대한 액세스를 제공합니다. 기본 옵션입니다.

  • --web-server-allow-ip는 특정 소스 IP 범위로만 액세스를 제한합니다. 여러 IP 범위를 지정하려면 이 인수를 여러 번 사용합니다.

  • --web-server-deny-all은 모든 IP 주소의 액세스를 금지합니다.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION

다음과 같이 바꿉니다.

  • WS_IP_RANGE를 CIDR 표기법으로 나타낸 IP 범위로 바꿉니다. Airflow UI에 액세스할 수 있습니다.
  • WS_RANGE_DESCRIPTION을 IP 범위 설명으로 바꿉니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
    --web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"

API

환경을 만들 때 환경 > EnvironmentConfig 리소스에 웹 서버 액세스 매개변수를 지정합니다.

  • 모든 IP 주소의 Airfow 웹 서버에 대한 액세스 권한을 제공하려면 webServerNetworkAccessControl을 생략합니다.

  • 특정 IP 범위로만 액세스를 제한하려면 allowedIpRanges에 하나 이상의 범위를 지정합니다.

  • 모든 IP 주소의 액세스를 금지하려면 allowedIpRanges를 추가하고 빈 목록으로 만듭니다. 여기에 IP 범위를 지정하지 마세요.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "WS_IP_RANGE",
          "description": "WS_RANGE_DESCRIPTION"
        }
      ]
    }
  }
}

다음과 같이 바꿉니다.

  • WS_IP_RANGE를 CIDR 표기법으로 나타낸 IP 범위로 바꿉니다. Airflow UI에 액세스할 수 있습니다.
  • WS_RANGE_DESCRIPTION을 IP 범위 설명으로 바꿉니다.

예시:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "webServerNetworkAccessControl": {
      "allowedIpRanges": [
        {
          "value": "192.0.2.0/24",
          "description": "office net 1"
        },
        {
          "value": "192.0.4.0/24",
          "description": "office net 3"
        }
      ]
    }
  }
}

Terraform

환경을 만들 때 web_server_network_access_control 블록의 allowed_ip_range 블록에는 웹 서버에 액세스할 수 있는 IP 범위가 포함됩니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    web_server_network_access_control {

      allowed_ip_range {
        value = "WS_IP_RANGE"
        description = "WS_RANGE_DESCRIPTION"
      }

    }

  }
}

다음과 같이 바꿉니다.

  • WS_IP_RANGE를 CIDR 표기법으로 나타낸 IP 범위로 바꿉니다. Airflow UI에 액세스할 수 있습니다.
  • WS_RANGE_DESCRIPTION을 IP 범위 설명으로 바꿉니다.

예시:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    web_server_network_access_control {
      allowed_ip_range {
        value = "192.0.2.0/24"
        description = "office net 1"
      },
      allowed_ip_range {
        value = "192.0.4.0/24"
        description = "office net 3"
      }

    }
}

7단계: (선택사항) Airflow 구성 재정의 및 환경 변수 지정

환경을 만들 때 Airflow 구성 재정의 및 환경 변수를 설정할 수 있습니다. 또는 환경이 생성된 후 나중에 수행할 수도 있습니다.

일부 차단된 Airflow 구성 옵션은 재정의할 수 없습니다.

사용 가능한 Airflow 구성 옵션의 목록은 Airflow 2 구성 참조 및 Airflow 1.10*을 참조하세요.

Airflow 구성 재정의 및 환경 변수를 지정하려면 다음 안내를 따르세요.

콘솔

환경 만들기 페이지에서 다음을 수행합니다.

  1. 네트워킹, Airflow 구성 재정의, 추가 기능 항목을 펼칩니다.

  2. 환경 변수 섹션에서 환경 변수 추가를 클릭합니다.

  3. 환경 변수의 이름 및 값을 입력합니다.

  4. Airflow 구성 재정의 섹션에서 Airflow 구성 재정의 추가를 클릭합니다.

  5. 구성 옵션 재정의의 섹션, 키, 값을 입력합니다.

    예를 들면 다음과 같습니다.

    섹션 키 값
    webserver dag_orientation TB

gcloud

환경을 만들 때 다음 인수는 환경 변수와 Airflow 구성 재정의를 제어합니다.

  • --env-variables는 쉼표로 구분된 환경 변수 목록을 지정합니다.

    변수 이름에는 대소문자, 숫자, 밑줄이 포함될 수 있지만 숫자로 시작할 수 없습니다.

  • --airflow-configs는 Airflow 구성 재정의의 키와 값을 쉼표로 구분된 목록으로 지정합니다.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --env-variables ENV_VARS \
    --airflow-configs CONFIG_OVERRIDES

다음과 같이 바꿉니다.

  • ENV_VARS를 환경 변수의 쉼표로 구분된 NAME=VALUE 쌍 목록으로 바꿉니다.
  • CONFIG_OVERRIDES를 구성 재정의의 쉼표로 구분된 SECTION-KEY=VALUE 쌍 목록으로 바꿉니다. 구성 섹션 이름을 - 기호로 구분하고 그 뒤에 키 이름을 입력합니다. 예를 들면 core-dags_are_paused_at_creation입니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
    --airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB

API

환경을 만들 때 환경 > EnvironmentConfig 리소스에 환경 변수 및 Airflow 구성 재정의를 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "SECTION-KEY": "OVERRIDE_VALUE"
      },
      "envVariables": {
        "VAR_NAME": "VAR_VALUE",
      }
    }
  }
}

다음과 같이 바꿉니다.

  • SECTION을 구성 파일에서 Airflow 구성 옵션이 있는 섹션으로 바꿉니다.
  • KEY를 Airflow 구성 옵션의 이름으로 바꿉니다.
  • OVERRIDE_VALUE를 Airflow 구성 옵션의 값으로 바꿉니다.
  • VAR_NAME을 환경 변수의 이름으로 바꿉니다.
  • VAR_VALUE를 환경 변수 값으로 바꿉니다.

예시:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "core-dags_are_paused_at_creation": "True",
        "webserver-dag_orientation": "TB"
      },
      "envVariables": {
        "SENDGRID_MAIL_FROM": "user@example.com",
        "SENDGRID_API_KEY": "example-key"
      }
    }
  }
}

Terraform

환경을 만들 때 다음 블록은 환경 변수와 Airflow 구성 재정의를 제어합니다.

  • software_config 블록의 env_variables 블록은 환경 변수를 지정합니다.

    변수 이름에는 대소문자, 숫자, 밑줄이 포함될 수 있지만 숫자로 시작할 수 없습니다.

  • software_config 블록의 airflow_config_overrides 블록은 Airflow 구성 재정의를 지정합니다.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    software_config {

      airflow_config_overrides = {
        SECTION-KEY = "OVERRIDE_VALUE"
      }

      env_variables = {
        VAR_NAME = "VAR_VALUE"
      }
    }
  }
}

다음과 같이 바꿉니다.

  • SECTION을 구성 파일에서 Airflow 구성 옵션이 있는 섹션으로 바꿉니다.
  • KEY를 Airflow 구성 옵션의 이름으로 바꿉니다.
  • OVERRIDE_VALUE를 Airflow 구성 옵션의 값으로 바꿉니다.
  • VAR_NAME을 환경 변수의 이름으로 바꿉니다.
  • VAR_VALUE를 환경 변수 값으로 바꿉니다.

예시:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    software_config {

      airflow_config_overrides = {
        core-dags_are_paused_at_creation = "True"
        webserver-dag_orientation = "TB"
      }

      env_variables = {
        SENDGRID_MAIL_FROM = "user@example.com"
        SENDGRID_API_KEY = "example-key"
      }
    }
  }
}

8단계: (선택사항) 유지보수 기간 지정

기본적으로 유지보수 기간은 매주 금요일, 토요일, 일요일 00:00:00~04:00:00(GMT)입니다.

환경의 유지보수 기간을 정의하려면 다음 안내를 따르세요.

콘솔

환경 만들기 페이지에서 다음을 수행합니다.

  1. 네트워킹, Airflow 구성 재정의, 추가 기능 항목을 펼칩니다.

  2. 유지보수 기간 섹션에서 유지보수 기간에 커스텀 시간 설정 체크박스를 선택합니다.

  3. 시간대 드롭다운 목록에서 유지보수 기간의 시간대를 선택합니다.

  4. 지정한 일정의 총 기간이 7일 순환 기간 동안 최소 12시간이 되도록 시작 시간, 일, 길이를 설정합니다. 예를 들어 매주 월요일, 수요일, 금요일마다 4시간이면 필요한 시간을 제공합니다.

gcloud

다음 인수는 유지보수 기간 매개변수를 정의합니다.

  • --maintenance-window-start는 유지보수 기간의 시작 시간을 설정합니다.
  • --maintenance-window-end는 유지보수 기간의 종료 시간을 설정합니다.
  • --maintenance-window-recurrence는 유지보수 기간 반복을 설정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --maintenance-window-start 'DATETIME_START' \
    --maintenance-window-end 'DATETIME_END' \
    --maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.
  • DATETIME_START를 날짜/시간 입력 형식의 시작 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다.
  • DATETIME_END를 날짜/시간 입력 형식의 종료 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다. 지정한 날짜와 시간은 시작일 이후여야 합니다.

  • MAINTENANCE_RECURRENCE를 유지보수 기간 반복을 위한 RFC 5545 RRULE로 바꿉니다. Cloud Composer는 다음 두 가지 형식을 지원합니다.

  • FREQ=DAILY 형식은 일일 반복을 지정합니다.

  • FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA 형식은 선택한 요일의 반복을 지정합니다.

다음 예시에서는 수요일, 토요일, 일요일 01:00~07:00(UTC) 사이에서 유지보수 기간 6시간을 지정합니다. 2023년 1월 1일 날짜는 무시됩니다.

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15 \
  --maintenance-window-start '2023-01-01T01:00:00Z' \
  --maintenance-window-end '2023-01-01T07:00:00Z' \
  --maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'

API

환경을 만들 때 환경 > EnvironmentConfig 리소스에 유지보수 기간 매개변수를 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "maintenanceWindow": {
        "startTime": "DATETIME_START",
        "endTime": "DATETIME_END",
        "recurrence": "MAINTENANCE_RECURRENCE"
    }
  }
}

다음과 같이 바꿉니다.

  • DATETIME_START를 날짜/시간 입력 형식의 시작 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다.
  • DATETIME_END를 날짜/시간 입력 형식의 종료 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다. 지정한 날짜와 시간은 시작일 이후여야 합니다.

  • MAINTENANCE_RECURRENCE를 유지보수 기간 반복을 위한 RFC 5545 RRULE로 바꿉니다. Cloud Composer는 다음 두 가지 형식을 지원합니다.

  • FREQ=DAILY 형식은 일일 반복을 지정합니다.

  • FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA 형식은 선택한 요일의 반복을 지정합니다.

다음 예시에서는 수요일, 토요일, 일요일 01:00~07:00(UTC) 사이에서 유지보수 기간 6시간을 지정합니다. 2023년 1월 1일 날짜는 무시됩니다.

예시:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "maintenanceWindow": {
        "startTime": "2023-01-01T01:00:00Z",
        "endTime": "2023-01-01T07:00:00Z",
        "recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

Terraform

maintenance_window 블록은 환경의 유지보수 기간을 지정합니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    maintenance_window {
      start_time = "DATETIME_START"
      end_time = "DATETIME_END"
      recurrence = "MAINTENANCE_RECURRENCE"
    }
  }
}

다음과 같이 바꿉니다.

  • DATETIME_START를 날짜/시간 입력 형식의 시작 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다.
  • DATETIME_END를 날짜/시간 입력 형식의 종료 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다. 지정한 날짜와 시간은 시작일 이후여야 합니다.

  • MAINTENANCE_RECURRENCE를 유지보수 기간 반복을 위한 RFC 5545 RRULE로 바꿉니다. Cloud Composer는 다음 두 가지 형식을 지원합니다.

    • FREQ=DAILY 형식은 일일 반복을 지정합니다.
    • FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA 형식은 선택한 요일의 반복을 지정합니다.

다음 예시에서는 수요일, 토요일, 일요일 01:00~07:00(UTC) 사이에서 유지보수 기간 6시간을 지정합니다. 2023년 1월 1일 날짜는 무시됩니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    maintenance_window {
      start_time = "2023-01-01T01:00:00Z"
      end_time = "2023-01-01T07:00:00Z"
      recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
    }
  }
}

9단계: (선택사항) 데이터 암호화 구성(CMEK)

기본적으로 환경의 데이터는 Google이 제공하는 키로 암호화됩니다.

고객 관리 암호화 키(CMEK)를 사용하여 사용자 환경에서 데이터를 암호화하려면 고객 관리 암호화 키 사용에 설명된 안내를 따르세요.

10단계: (선택사항) 환경 라벨 지정

환경에 라벨을 할당하여 이 라벨을 기준으로 청구 비용을 세분화할 수 있습니다.

콘솔

환경 만들기 페이지에서 다음을 수행합니다.

  1. 네트워킹, Airflow 구성 재정의, 추가 기능 항목을 펼칩니다.

  2. 라벨 섹션에서 라벨 추가를 클릭합니다.

  3. 키 및 값 필드에서 환경 라벨의 키 및 값 쌍을 지정합니다.

gcloud

환경을 만들 때 --labels 인수는 환경 라벨의 키와 값을 쉼표로 구분된 목록으로 지정합니다.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --labels LABELS

다음과 같이 바꿉니다.

  • LABELS를 환경 라벨의 쉼표로 구분된 KEY=VALUE 쌍 목록으로 바꿉니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --labels owner=engineering-team,env=production

API

환경을 만들 때 Environment 리소스에 환경의 라벨을 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "labels": {
    "LABEL_KEY": "LABEL_VALUE"
  }
}

다음과 같이 바꿉니다.

  • LABEL_KEY를 환경 라벨 키로 바꿉니다.
  • LABEL_VALUE를 환경 라벨 값으로 바꿉니다.

예시:


// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "labels": {
    "owner": "engineering-team",
    "env": "production"
  }
}

Terraform

환경을 만들 때 labels 블록(config 블록 외부)에 라벨을 지정합니다.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  labels = {
    LABEL_KEY = "LABEL_VALUE"
  }

}

다음과 같이 바꿉니다.

  • LABEL_KEY를 환경 라벨 키로 바꿉니다.
  • LABEL_VALUE를 환경 라벨 값으로 바꿉니다.

예시:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  labels = {
    owner = "engineering-team"
    env = "production"
  }

}

11단계: (선택사항) 기타 매개변수 구성

기타 매개변수는 다음과 같습니다.

  • 환경 노드의 영역

    클러스터 노드를 배포할 Compute Engine 영역입니다. 이 매개변수에서는 환경 위치의 특정 영역을 선택할 수 있습니다.

    기본적으로 무작위 영역이 자동으로 선택됩니다.

  • OAuth 범위

    OAuth 범위는 모든 노드 VM에서 사용할 수 있는 Google API 범위 집합입니다. 비어 있으면 기본값은 https://www.googleapis.com/auth/cloud-platform입니다.

    커스텀 OAuth 범위를 지정할 경우 지정된 범위 목록에 https://www.googleapis.com/auth/cloud-platform을 포함합니다.

  • Python 버전

    환경에서 Airflow 1.10.* 이전 Airflow 버전을 사용하는 경우 환경에서 Python 2를 사용하도록 설정할 수 있습니다. 기본 Python 버전은 Python 3입니다. Cloud Composer의 Python 2 지원에 대한 자세한 내용은 지원되는 Python 버전을 참조하세요.

콘솔

환경 만들기 페이지에서 다음을 수행합니다.

  1. 노드 구성 섹션에서 다음을 수행합니다.

    • 영역 드롭다운 목록에서 환경 노드의 영역을 선택합니다.

      나중에 영역을 변경할 수 없습니다.

    • OAuth 범위 필드에 노드 VM의 OAuth 범위를 지정합니다.

      OAuth 범위는 나중에 변경할 수 없습니다.

      여러 OAuth 범위를 지정하려면 쉼표로 구분된 값 목록을 제공합니다. 지정된 범위 목록에 https://www.googleapis.com/auth/cloud-platform을 포함합니다.

    • Python 버전 필드에서 Python 버전을 선택합니다.

      Python 버전은 나중에 변경할 수 없습니다.

gcloud

환경을 만들 때 다음 인수는 환경의 기타 매개변수를 제어합니다.

  • --zone은 환경 VM에 대한 Compute Engine 영역을 지정합니다.

  • --oauth-scopes는 쉼표로 구분된 OAuth 범위 목록을 지정합니다. 지정된 범위 목록에 https://www.googleapis.com/auth/cloud-platform을 포함합니다.

  • --python-version은 Python 버전을 지정합니다.

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --zone ZONE \
    --oauth-scopes OAUTH_SCOPES \
    --python-version PYTHON_VERSION

다음과 같이 바꿉니다.

  • ZONE을 Compute Engine 영역의 이름으로 바꿉니다.
  • OAUTH_SCOPES를 쉼표로 구분된 OAuth 범위 목록으로 바꿉니다.
  • PYTHON_VERSION을 Python 버전(3 또는 2)으로 바꿉니다.

예시:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --zone us-central1-a \
    --oauth-scopes https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/bigquery  \
    --python-version 3

API

환경을 만들 때 환경 > EnvironmentConfig 리소스에 환경의 기타 매개변수를 지정합니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "nodeConfig": {
      "location": "projects/PROJECT_ID/zones/ZONE",
      "oauthScopes": [
        "OAUTH_SCOPE"
      ]
    },
    "softwareConfig": {
        "pythonVersion": "PYTHON_VERSION"
    }
  }
}

다음과 같이 바꿉니다.

  • ZONE을 Compute Engine 영역의 이름으로 바꿉니다.
  • OAUTH_SCOPE를 OAuth 범위로 바꿉니다. 범위를 더 지정하려면 https://www.googleapis.com/auth/cloud-platform 범위를 추가하고 그 뒤에 범위 항목을 추가합니다.
  • PYTHON_VERSION을 Python 버전(3 또는 2)으로 바꿉니다.

예시:

// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

{
  "name": "projects/example-project/locations/us-central1/environments/example-environment",
  "config": {
    "nodeConfig": {
      "location": "projects/example-project/zones/us-central1-a",
      "oauthScopes": [
        "https://www.googleapis.com/auth/cloud-platform",
        "https://www.googleapis.com/auth/bigquery"
      ]
    },
    "softwareConfig": {
        "pythonVersion": "3"
    }
  }
}

Terraform

환경을 만들 때 다음 필드는 환경의 기타 매개변수를 제어합니다.

  • node_config 블록의 zone 필드는 환경 VM에 대한 Compute Engine 영역을 지정합니다.

  • node_config 블록의 oauth_scopes 필드는 쉼표로 구분된 OAuth 범위 목록을 지정합니다.

  • software_config 블록의 python_version 필드는 Python 버전을 지정합니다.

resource "google_composer_environment" "example" {
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      zone = "ZONE"
      oauth_scopes = "[OAUTH_SCOPES]"
    }

    software_config {
      python_version = "PYTHON_VERSION"
    }
  }
}

다음과 같이 바꿉니다.

  • ZONE을 Compute Engine 영역의 이름으로 바꿉니다.
  • OAUTH_SCOPES를 쉼표로 구분된 OAuth 범위 목록으로 바꿉니다.
  • PYTHON_VERSION을 Python 버전(3 또는 2)으로 바꿉니다.

예시:

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    node_config {
      zone = "us-central1-a"
      oauth_scopes = "[https://www.googleapis.com/auth/cloud-platform,https://www.googleapis.com/auth/bigquery]"
    }
    software_config {
      python_version = "3"
    }
  }
}

12단계: (선택사항) 베타 API 사용 시행

환경에 미리보기 기능이 없는 경우에도 환경에서 베타 Cloud Composer API를 명시적으로 사용할 수 있습니다. 이 경우 v1beta1 서비스 엔드포인트를 사용하여 환경이 생성됩니다.

콘솔

환경 만들기 페이지에서 다음을 수행합니다.

  1. 네트워킹, Airflow 구성 재정의, 추가 기능 항목을 펼칩니다.

  2. 베타 API 섹션에서 베타 API 사용 시행 체크박스를 선택합니다.

gcloud

gcloud beta composer 명령어를 사용하여 환경을 만듭니다.

API

v1beta1 서비스 엔드포인트를 사용하여 환경을 만듭니다.

Terraform

Cloud Composer용 Terraform 제공업체는 기본적으로 베타 API를 사용합니다.

다음 단계