Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
이 페이지에서는 Cloud Composer 환경을 만드는 방법을 설명합니다.
- 환경에 대한 자세한 내용은 환경 아키텍처를 참조하세요.
- Terraform을 사용하여 환경을 만드는 방법에 대한 자세한 내용은 환경 만들기(Terraform)를 참조하세요.
시작하기 전에
Cloud Composer API를 사용 설정합니다. Cloud Composer에서 사용하는 서비스의 전체 목록은 Cloud Composer에 필요한 서비스를 참조하세요.
환경을 만드는 데 걸리는 시간은 약 25분입니다.
환경을 만드는 동안 서비스 계정을 지정합니다. Cloud Composer는 환경 클러스터의 Kubernetes 서비스 계정에 이 계정을 바인딩합니다.
기본적으로 Cloud Composer 환경은 Google 관리형 기본 Compute Engine 서비스 계정을 사용합니다. Cloud Composer 관련 역할이 있는 사용자 관리형 서비스 계정을 만들고 사용자 환경에 사용하는 것이 좋습니다.
Terraform으로 환경을 만드는 경우 Terraform에서 사용하는 서비스 계정에는
composer.environments.create권한이 사용 설정된 역할이 있어야 합니다.Terraform의 서비스 계정에 대한 자세한 내용은 Google 제공업체 구성 참조를 확인하세요.
Terraform을 사용하여 Cloud Composer 환경을 만드는 방법에 대한 자세한 내용은 Terraform 문서를 참조하세요.
추가 매개변수에 대한 자세한 내용은 Terraform 인수 참조를 확인하세요.
VPC SC: 보안 경계 내에 Cloud Composer 환경을 배포하려면 VPC SC 구성을 참조하세요. Cloud Composer와 함께 사용하는 경우 VPC 서비스 제어에 몇 가지 알려진 제한사항이 있습니다.
1단계: 기본 설정
이 단계에서는 지정된 위치에 기본 매개변수로 Cloud Composer 환경을 만듭니다.
콘솔
Google Cloud 콘솔에서 환경 만들기 페이지로 이동합니다.
이름 필드에 환경 이름을 입력합니다.
이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.
위치 드롭다운 목록에서 환경의 위치를 선택합니다.
위치는 환경이 위치한 리전입니다.
이미지 버전 드롭다운 목록에서 필요한 버전의 Airflow가 포함된 Cloud Composer 이미지를 선택합니다.
gcloud
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version IMAGE_VERSION
다음과 같이 바꿉니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.
LOCATION을 환경의 리전으로 바꿉니다.위치는 환경이 위치한 리전입니다.
IMAGE_VERSION을 Cloud Composer 이미지 이름으로 바꿉니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3
API
environments.create API 요청을 생성합니다. Environment 리소스에서 구성을 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"imageVersion": "IMAGE_VERSION"
}
}
}
다음과 같이 바꿉니다.
PROJECT_ID를 프로젝트 ID로 바꿉니다.LOCATION을 환경의 리전으로 바꿉니다.위치는 환경이 위치한 리전입니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.
IMAGE_VERSION을 Cloud Composer 이미지 이름으로 바꿉니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"imageVersion": "composer-3-airflow-2.9.3-build.3"
}
}
}
Terraform
기본 매개변수를 사용하여 환경을 만들려면 지정된 리소스 위치를 다음 Terraform 구성에 추가하고 terraform apply를 실행합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "IMAGE_VERSION"
}
}
}
다음과 같이 바꿉니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.이름은 소문자로 시작해야 합니다. 이어서 최대 62자(영문 기준)의 소문자, 숫자 또는 하이픈이 와야 하며 하이픈으로 끝나서는 안 됩니다 환경 이름은 환경의 하위 구성요소를 만드는 데 사용되므로 Cloud Storage 버킷 이름으로도 유효한 이름으로 지정해야 합니다. 제한사항 목록은 버킷 이름 지정 가이드라인을 참조하세요.
LOCATION을 환경의 리전으로 바꿉니다.위치는 환경이 위치한 리전입니다.
IMAGE_VERSION을 Cloud Composer 이미지 이름으로 바꿉니다.
예를 들면 다음과 같습니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-3-airflow-2.9.3-build.3"
}
}
}
2단계: (선택사항) 환경의 서비스 계정 선택
Cloud Composer는 이 서비스 계정을 환경의 Kubernetes 서비스 계정에 바인딩합니다. 환경 클러스터의 노드는 Kubernetes 서비스 계정으로 실행되고 바인딩을 사용하여 환경 버킷의 DAG 정의 파일과 같은 Google Cloud 프로젝트의 리소스에 액세스합니다.
기본적으로 Cloud Composer 환경은 기본 Compute Engine 서비스 계정을 사용합니다. Cloud Composer 환경의 사용자 관리형 서비스 계정을 설정하는 것이 좋습니다.
나중에는 환경의 서비스 계정을 변경할 수 없습니다.
콘솔
환경 만들기 페이지의 서비스 계정 드롭다운 목록에서 환경의 서비스 계정을 선택합니다.
gcloud
환경을 만들 때 --service-account는 환경의 서비스 계정을 지정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--service-account "SERVICE_ACCOUNT"
다음과 같이 바꿉니다.
SERVICE_ACCOUNT를 환경의 서비스 계정으로 바꿉니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--service-account "example-account@example-project.iam.gserviceaccount.com"
API
환경을 만들 때 환경 > EnvironmentConfig 리소스에 환경의 서비스 계정을 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
다음과 같이 바꿉니다.
SERVICE_ACCOUNT를 환경의 서비스 계정으로 바꿉니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"serviceAccount": "example-account@example-project.iam.gserviceaccount.com"
}
}
}
Terraform
환경을 만들 때 node_config 블록의 service_account 필드를 사용합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
다음과 같이 바꿉니다.
SERVICE_ACCOUNT를 환경의 서비스 계정으로 바꿉니다.
예를 들면 다음과 같습니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
service_account = "example-account@example-project.iam.gserviceaccount.com"
}
}
}
3단계: (선택사항) 환경 규모 및 성능 매개변수 구성
환경의 규모 및 성능 구성을 지정하려면 환경 크기 및 워크로드 구성을 선택합니다.
환경을 만든 후 모든 성능 및 규모 매개변수를 변경할 수 있습니다.
다음 매개변수는 규모 및 성능을 제어합니다.
환경 크기. Airflow 데이터베이스가 포함된 관리형 Cloud Composer 인프라의 성능 매개변수를 제어합니다. 인프라 성능이 우수한 DAG 및 태스크를 대량으로 실행하려는 경우에는 더 큰 환경 크기를 선택하는 것이 좋습니다. 예를 들어 환경 크기가 클수록 환경에서 최소 지연으로 처리할 수 있는 Airflow 태스크 로그 항목 양이 증가합니다.
워크로드 구성. Airflow 스케줄러, Airflow 웹 서버, Airflow 작업자와 같은 GKE 클러스터에서 실행되는 환경 구성요소의 규모 및 성능을 제어합니다.
Airflow 스케줄러. DAG 정의 파일을 파싱하고, 일정 간격에 따라 DAG 실행을 예약하며, Airflow 작업자의 실행을 위해 태스크를 큐에 추가합니다.
환경에서 동시에 2개 이상의 Airflow 스케줄러를 실행할 수 있습니다. 성능 및 안정성을 높이기 위해 여러 스케줄러를 사용하여 여러 스케줄러 인스턴스 사이에 부하를 분산합니다.
스케줄러 수를 늘린다고 해서 항상 Airflow 성능이 향상되는 것은 아닙니다. 예를 들어 1개의 스케줄러만 사용하면 2개를 사용할 때보다 더 나은 성능을 제공할 수 있습니다. 스케줄러를 추가해도 전체 성능에 도움을 주지 않고 환경의 리소스만 소비될 때가 여기에 해당합니다. 실제 스케줄러 성능은 Airflow 작업자 수, 환경에서 실행되는 DAG 및 태스크 수, Airflow와 환경의 구성에 따라 다릅니다.
2개의 스케줄러로 시작한 다음 환경의 성능을 모니터링하는 것이 좋습니다. 스케줄러 수를 변경한 후 언제든지 환경을 원래 스케줄러 수로 다시 조정할 수 있습니다.
여러 스케줄러 구성에 대한 상세 설명은 Airflow 문서를 참조하세요.
Airflow 트리거. 개발자 환경의 모든 지연된 태스크를 비동기적으로 모니터링합니다. 환경에 트리거 인스턴스가 1개 이상(또는 복원력이 우수한 환경에서는 2개 이상) 있어야 DAG에서 지연 가능한 연산자를 사용할 수 있습니다.
Airflow DAG 프로세서. DAG 파일을 처리하여 DAG 객체로 변환합니다. Cloud Composer 3에서 스케줄러의 이 부분은 별도의 환경 구성요소로 실행됩니다.
Airflow 웹 서버. DAG를 모니터링, 관리, 시각화할 수 있는 Airflow 웹 인터페이스를 실행합니다.
Airflow 작업자. Airflow 스케줄러에서 예약된 태스크를 실행합니다. 환경의 최소 및 최대 작업자 수는 큐의 태스크 수에 따라 동적으로 변경됩니다.
콘솔
환경의 사전 설정을 선택할 수 있습니다. 사전 설정을 선택하면 해당 사전 설정의 규모 및 성능 매개변수가 자동으로 선택됩니다. 커스텀 사전 설정을 선택하고 환경의 모든 규모 및 성능 매개변수를 지정할 수도 있습니다.
환경의 규모 및 성능 구성을 선택하려면 환경 만들기 페이지에서 다음을 수행합니다.
사전 정의된 값을 사용하려면 환경 리소스 섹션에서 소형, 중형, 대형을 클릭합니다.
규모 및 성능 매개변수에 커스텀 값을 지정하려면 다음 안내를 따르세요.
환경 리소스 섹션에서 커스텀을 클릭합니다.
스케줄러 섹션에서 사용할 스케줄러 수 및 CPU, 메모리, 스토리지의 리소스 할당을 설정합니다.
트리거 섹션에서 트리거 수 필드를 사용하여 환경의 트리거 수를 입력합니다. DAG에서 지연 가능한 연산자를 사용하지 않으려면 이 숫자를 0으로 설정하면 됩니다.
환경에 트리거를 최소 하나 이상 설정하는 경우 CPU 및 메모리 필드를 사용하여 트리거에 대한 리소스 할당을 구성합니다.
DAG 프로세서 섹션에서 환경의 DAG 프로세서 수와 각 DAG 프로세서의 CPU, 메모리, 스토리지 용량을 지정합니다.
웹 서버 섹션에서 웹 서버의 CPU, 메모리, 스토리지 용량을 지정합니다.
작업자 섹션에서 다음을 지정합니다.
- 사용자 환경의 자동 확장 한도에 대한 최소 및 최대 작업자 수
- 작업자의 CPU, 메모리, 스토리지 할당
핵심 인프라 섹션의 환경 크기 드롭다운 목록에서 환경 크기를 선택합니다.
gcloud
환경을 만들 때 다음 인수는 환경의 규모와 성능 매개변수를 제어합니다.
--environment-size: 환경 크기를 지정합니다.--scheduler-count: 스케줄러 수를 지정합니다.--scheduler-cpu: Airflow 스케줄러의 CPU 수를 지정합니다.--scheduler-memory: Airflow 스케줄러의 메모리 양을 지정합니다.--scheduler-storage: Airflow 스케줄러의 디스크 공간 크기를 지정합니다.--triggerer-count: 사용자 환경의 Airflow 트리거 수를 지정합니다. 이 플래그의 기본값은0입니다. DAG에서 지연 가능한 연산자를 사용하려면 트리거가 필요합니다.- 표준 복원력 환경의 경우
0에서10사이의 값을 사용합니다. - 복원력이 우수한 환경의 경우
0을 사용하거나2에서10사이의 값을 사용합니다.
- 표준 복원력 환경의 경우
--triggerer-cpu: Airflow 트리거의 CPU 수를 vCPU 단위로 지정합니다. 허용되는 값은0.5,0.75,1입니다. 기본값은0.5입니다.--triggerer-memory: Airflow 트리거의 메모리 양(GB)을 지정합니다. 기본값은0.5입니다.필요한 최소 메모리는 트리거에 할당된 CPU 수와 동일합니다. 허용되는 최댓값은 트리거 CPU 수에 6.5를 곱한 값과 같습니다.
예를 들어
--triggerer-cpu플래그를1로 설정하면--triggerer-memory의 최솟값은1이고 최댓값은6.5입니다.--dag-processor-cpu: DAG 프로세서의 CPU 수를 지정합니다.--dag-processor-memory: DAG 프로세서의 메모리 양을 지정합니다.--dag-processor-storage: DAG 프로세서의 디스크 공간을 지정합니다.--web-server-cpu: Airflow 웹 서버의 CPU 수를 지정합니다.--web-server-memory: Airflow 웹 서버의 메모리 양을 지정합니다.--web-server-storage: Airflow 웹 서버의 디스크 공간을 지정합니다.--worker-cpu: Airflow 작업자의 CPU 수를 지정합니다.--worker-memory: Airflow 작업자의 메모리 양을 지정합니다.--worker-storage: Airflow :작업자에 대한 디스크 공간 크기를 지정합니다.--min-workers: 최소 Airflow 작업자 수를 지정합니다. 환경 클러스터는 이 작업자 수를 최소한으로 잡아서 실행합니다.--max-workers: 최대 Airflow 작업자 수를 지정합니다. 환경 클러스터는 이 작업자 수를 최대한으로 잡아서 실행합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--environment-size ENVIRONMENT_SIZE \
--scheduler-count SCHEDULER_COUNT \
--scheduler-cpu SCHEDULER_CPU \
--scheduler-memory SCHEDULER_MEMORY \
--scheduler-storage SCHEDULER_STORAGE \
--triggerer-count TRIGGERER_COUNT \
--triggerer-cpu TRIGGERER_CPU \
--triggerer-memory TRIGGERER_MEMORY \
--dag-processor-cpu DAG_PROCESSOR_CPU \
--dag-processor-memory DAG_PROCESSOR_MEMORY \
--dag-processor-storage DAG_PROCESSOR_STORAGE \
--web-server-cpu WEB_SERVER_CPU \
--web-server-memory WEB_SERVER_MEMORY \
--web-server-storage WEB_SERVER_STORAGE \
--worker-cpu WORKER_CPU \
--worker-memory WORKER_MEMORY \
--worker-storage WORKER_STORAGE \
--min-workers WORKERS_MIN \
--max-workers WORKERS_MAX
다음과 같이 바꿉니다.
ENVIRONMENT_SIZE:small,medium또는large입니다.SCHEDULER_COUNT를 스케줄러 수로 바꿉니다.SCHEDULER_CPU를 스케줄러의 CPU 수(vCPU 단위)로 바꿉니다.SCHEDULER_MEMORY를 스케줄러의 메모리 양으로 바꿉니다.SCHEDULER_STORAGE를 스케줄러의 디스크 크기로 바꿉니다.TRIGGERER_COUNT를 트리거 수로 바꿉니다.TRIGGERER_CPU를 트리거의 CPU 수(vCPU 단위)로 바꿉니다.TRIGGERER_MEMORY를 트리거의 메모리 양(GB)으로 바꿉니다.DAG_PROCESSOR_CPU를 DAG 프로세서의 CPU 수로 바꿉니다.DAG_PROCESSOR_MEMORY를 DAG 프로세서의 메모리 양으로 바꿉니다.DAG_PROCESSOR_STORAGE를 DAG 프로세서의 디스크 공간의 크기로 바꿉니다.WEB_SERVER_CPU를 웹 서버의 CPU 수(vCPU 단위)로 바꿉니다.WEB_SERVER_MEMORY를 웹 서버의 메모리 양으로 바꿉니다.WEB_SERVER_STORAGE를 웹 서버의 메모리 양으로 바꿉니다.WORKER_CPU를 작업자의 CPU 수(vCPU 단위)로 바꿉니다.WORKER_MEMORY를 작업자의 메모리 양으로 바꿉니다.WORKER_STORAGE를 작업자의 디스크 크기로 바꿉니다.WORKERS_MIN를 환경에서 실행할 수 있는 최소 Airflow 작업자 수로 바꿉니다. 더 적은 작업자 수로 부하를 처리할 수 있어도 사용자 환경의 작업자 수는 이 수보다 적지 않습니다.WORKERS_MAX를 환경에서 실행할 수 있는 최대 Airflow 작업자 수로 바꿉니다. 더 많은 작업자 수로 부하를 처리해야 하는 경우에도 사용자 환경의 작업자 수는 이 수보다 많지 않습니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--environment-size small \
--scheduler-count 1 \
--scheduler-cpu 0.5 \
--scheduler-memory 2.5GB \
--scheduler-storage 2GB \
--triggerer-count 1 \
--triggerer-cpu 0.5 \
--triggerer-memory 0.5GB \
--dag-processor-cpu 0.5 \
--dag-processor-memory 2GB \
--dag-processor-storage 1GB \
--web-server-cpu 1 \
--web-server-memory 2.5GB \
--web-server-storage 2GB \
--worker-cpu 1 \
--worker-memory 2GB \
--worker-storage 2GB \
--min-workers 2 \
--max-workers 4
API
환경을 만들 때 환경 > EnvironmentConfig > WorkloadsConfig 리소스에서 환경 규모와 성능 매개변수를 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": SCHEDULER_CPU,
"memoryGb": SCHEDULER_MEMORY,
"storageGb": SCHEDULER_STORAGE,
"count": SCHEDULER_COUNT
},
"triggerer": {
"count": TRIGGERER_COUNT,
"cpu": TRIGGERER_CPU,
"memoryGb": TRIGGERER_MEMORY
},
"dagProcessor": {
"count": 1,
"cpu": DAG_PROCESSOR_CPU,
"memoryGb": DAG_PROCESSOR_MEMORY,
"storageGb": DAG_PROCESSOR_STORAGE
},
"webServer": {
"cpu": WEB_SERVER_CPU,
"memoryGb": WEB_SERVER_MEMORY,
"storageGb": WEB_SERVER_STORAGE
},
"worker": {
"cpu": WORKER_CPU,
"memoryGb": WORKER_MEMORY,
"storageGb": WORKER_STORAGE,
"minCount": WORKERS_MIN,
"maxCount": WORKERS_MAX
}
},
"environmentSize": "ENVIRONMENT_SIZE"
}
}
다음과 같이 바꿉니다.
SCHEDULER_CPU를 스케줄러의 CPU 수(vCPU 단위)로 바꿉니다.SCHEDULER_MEMORY를 스케줄러의 메모리 양(GB)으로 바꿉니다.SCHEDULER_STORAGE를 스케줄러의 디스크 크기(GB)로 바꿉니다.SCHEDULER_COUNT를 스케줄러 수로 바꿉니다.TRIGGERER_COUNT를 트리거 수로 바꿉니다. 기본값은0입니다. DAG에서 지연 가능한 연산자를 사용하려면 트리거가 필요합니다.- 표준 복원력 환경의 경우
0에서10사이의 값을 사용합니다. - 복원력이 우수한 환경의 경우
0을 사용하거나2에서10사이의 값을 사용합니다.
트리거를 하나 이상 사용하는 경우
TRIGGERER_CPU및TRIGGERER_MEMORY매개변수도 지정해야 합니다.- 표준 복원력 환경의 경우
TRIGGERER_CPU는 트리거의 CPU 수(vCPU 단위)를 지정합니다. 허용되는 값은0.5,0.75,1입니다.TRIGGERER_MEMORY는 트리거의 메모리 양을 구성합니다. 필요한 최소 메모리는 트리거에 할당된 CPU 수와 동일합니다. 허용되는 최댓값은 트리거 CPU 수에 6.5를 곱한 값과 같습니다.예를 들어
TRIGGERER_CPU를1로 설정하면TRIGGERER_MEMORY의 최솟값은1이고 최댓값은6.5입니다.DAG_PROCESSOR_CPU를 DAG 프로세서의 CPU 수(vCPU 단위)로 바꿉니다.DAG_PROCESSOR_MEMORY를 DAG 프로세서의 메모리 양(GB)으로 바꿉니다.DAG_PROCESSOR_STORAGE를 DAG 프로세서의 디스크 공간(GB)로 바꿉니다.WEB_SERVER_CPU를 웹 서버의 CPU 수(vCPU 단위)로 바꿉니다.WEB_SERVER_MEMORY를 웹 서버의 메모리 양(GB)으로 바꿉니다.WEB_SERVER_STORAGE를 웹 서버의 디스크 크기(GB)로 바꿉니다.WORKER_CPU를 작업자의 CPU 수(vCPU 단위)로 바꿉니다.WORKER_MEMORY를 작업자의 메모리 양(GB)으로 바꿉니다.WORKER_STORAGE를 작업자의 디스크 크기(GB)로 바꿉니다.WORKERS_MIN를 환경에서 실행할 수 있는 최소 Airflow 작업자 수로 바꿉니다. 더 적은 작업자 수로 부하를 처리할 수 있어도 사용자 환경의 작업자 수는 이 수보다 적지 않습니다.WORKERS_MAX를 환경에서 실행할 수 있는 최대 Airflow 작업자 수로 바꿉니다. 더 많은 작업자 수로 부하를 처리해야 하는 경우에도 사용자 환경의 작업자 수는 이 수보다 많지 않습니다.ENVIRONMENT_SIZE를 환경 크기(ENVIRONMENT_SIZE_SMALL,ENVIRONMENT_SIZE_MEDIUM또는ENVIRONMENT_SIZE_LARGE)로 바꿉니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": 2.5,
"memoryGb": 2.5,
"storageGb": 2,
"count": 1
},
"triggerer": {
"cpu": 0.5,
"memoryGb": 0.5,
"count": 1
},
"dagProcessor": {
"count": 1,
"cpu": 0.5,
"memoryGb": 2,
"storageGb": 1
},
"webServer": {
"cpu": 1,
"memoryGb": 2.5,
"storageGb": 2
},
"worker": {
"cpu": 1,
"memoryGb": 2,
"storageGb": 2,
"minCount": 2,
"maxCount": 4
}
},
"environmentSize": "ENVIRONMENT_SIZE_SMALL"
}
}
Terraform
환경을 만들 때 다음 인수는 환경의 규모와 성능 매개변수를 제어합니다.
config블록에 대한 설명은 다음과 같습니다.environment_size필드는 환경 크기를 제어합니다.
workloads_config블록에 대한 설명은 다음과 같습니다.scheduler.cpu필드는 Airflow 스케줄러의 CPU 수를 지정합니다.scheduler.memory_gb필드는 Airflow 스케줄러의 메모리 양을 지정합니다.scheduler.storage_gb필드는 스케줄러의 디스크 공간 크기를 지정합니다.scheduler.count필드는 환경의 스케줄러 수를 지정합니다.triggerer.cpu필드는 Airflow 트리거의 CPU 수를 지정합니다.triggerer.memory_gb필드는 Airflow 트리거의 메모리 양을 지정합니다.triggerer.count필드는 환경의 트리거 수를 지정합니다.dag_processor.cpu필드는 DAG 프로세서의 CPU 수를 지정합니다.dag_processor.memory_gb필드는 DAG 프로세서의 메모리 양을 지정합니다.dag_processor.storage_gb필드는 DAG 프로세서의 디스크 공간 크기를 지정합니다.dag_processor.count필드는 DAG 프로세서 수를 지정합니다.web_server.cpu필드는 Airflow 웹 서버의 CPU 수를 지정합니다.web_server.memory_gb필드는 Airflow 웹 서버의 메모리 양을 지정합니다.web_server.storage_gb필드는 Airflow 웹 서버의 디스크 공간 크기를 지정합니다.worker.cpu필드는 Airflow 작업자의 CPU 수를 지정합니다.worker.memory_gb필드는 Airflow 작업자의 메모리 양을 지정합니다.worker.storage_gb필드는 Airflow 작업자의 디스크 공간 크기를 지정합니다.worker.min_count필드는 환경의 최소 작업자 수를 지정합니다.worker.max_count필드는 환경의 최대 작업자 수를 지정합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
scheduler {
cpu = SCHEDULER_CPU
memory_gb = SCHEDULER_MEMORY
storage_gb = SCHEDULER_STORAGE
count = SCHEDULER_COUNT
}
triggerer {
count = TRIGGERER_COUNT
cpu = TRIGGERER_CPU
memory_gb = TRIGGERER_MEMORY
}
web_server {
cpu = WEB_SERVER_CPU
memory_gb = WEB_SERVER_MEMORY
storage_gb = WEB_SERVER_STORAGE
}
worker {
cpu = WORKER_CPU
memory_gb = WORKER_MEMORY
storage_gb = WORKER_STORAGE
min_count = WORKERS_MIN
max_count = WORKERS_MAX
}
}
environment_size = "ENVIRONMENT_SIZE"
}
}
다음과 같이 바꿉니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.LOCATION을 환경이 위치한 리전으로 바꿉니다.SCHEDULER_CPU를 스케줄러의 CPU 수(vCPU 단위)로 바꿉니다.SCHEDULER_MEMORY를 스케줄러의 메모리 양(GB)으로 바꿉니다.SCHEDULER_STORAGE를 스케줄러의 디스크 크기(GB)로 바꿉니다.SCHEDULER_COUNT를 스케줄러 수로 바꿉니다.TRIGGERER_COUNT를 트리거 수로 바꿉니다.TRIGGERER_CPU를 트리거의 CPU 수(vCPU 단위)로 바꿉니다.TRIGGERER_MEMORY를 트리거의 메모리 양(GB)으로 바꿉니다.WEB_SERVER_CPU를 웹 서버의 CPU 수(vCPU 단위)로 바꿉니다.WEB_SERVER_MEMORY를 웹 서버의 메모리 양(GB)으로 바꿉니다.WEB_SERVER_STORAGE를 웹 서버의 디스크 크기(GB)로 바꿉니다.WORKER_CPU를 작업자의 CPU 수(vCPU 단위)로 바꿉니다.WORKER_MEMORY를 작업자의 메모리 양(GB)으로 바꿉니다.WORKER_STORAGE를 작업자의 디스크 크기(GB)로 바꿉니다.WORKERS_MIN를 환경에서 실행할 수 있는 최소 Airflow 작업자 수로 바꿉니다. 더 적은 작업자 수로 부하를 처리할 수 있어도 사용자 환경의 작업자 수는 이 수보다 적지 않습니다.WORKERS_MAX를 환경에서 실행할 수 있는 최대 Airflow 작업자 수로 바꿉니다. 더 많은 작업자 수로 부하를 처리해야 하는 경우에도 사용자 환경의 작업자 수는 이 수보다 많지 않습니다.ENVIRONMENT_SIZE를 환경 크기(ENVIRONMENT_SIZE_SMALL,ENVIRONMENT_SIZE_MEDIUM또는ENVIRONMENT_SIZE_LARGE)로 바꿉니다.
예를 들면 다음과 같습니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
scheduler {
cpu = 2.5
memory_gb = 2.5
storage_gb = 2
count = 1
}
triggerer {
count = 1
cpu = 0.5
memory_gb = 0.5
}
web_server {
cpu = 1
memory_gb = 2.5
storage_gb = 2
}
worker {
cpu = 1
memory_gb = 2
storage_gb = 2
min_count = 2
max_count = 4
}
}
environment_size = "ENVIRONMENT_SIZE_SMALL"
}
}
4단계: (선택사항) 환경 데이터베이스의 영역 지정
환경에 맞는 Cloud SQL 영역을 지정할 수 있습니다.
콘솔
환경 만들기 페이지에서 다음을 수행합니다.
고급 구성 섹션에서 고급 구성 표시 항목을 펼칩니다.
Airflow 데이터베이스 영역 목록에서 원하는 Cloud SQL 영역을 선택합니다.
gcloud
환경을 만들 때 --cloud-sql-preferred-zone 인수는 선호하는 Cloud SQL 영역을 지정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--cloud-sql-preferred-zone SQL_ZONE
다음을 바꿉니다.
SQL_ZONE: 선호하는 Cloud SQL 영역입니다. 이 영역은 환경이 위치한 리전에 있어야 합니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--cloud-sql-preferred-zone us-central1-a
API
환경을 만들 때 환경 > DatabaseConfig 리소스에 선호하는 Cloud SQL 영역을 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"databaseConfig": {
"zone": "SQL_ZONE"
}
}
}
다음을 바꿉니다.
SQL_ZONE: 선호하는 Cloud SQL 영역입니다. 이 영역은 환경이 위치한 리전에 있어야 합니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"databaseConfig": {
"zone": "us-central1-a"
}
}
}
Terraform
환경을 만들 때 database_config 블록의 zone 필드는 선호하는 Cloud SQL 영역을 지정합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
database_config {
zone = "SQL_ZONE"
}
}
}
다음을 바꿉니다.
SQL_ZONE: 선호하는 Cloud SQL 영역입니다. 이 영역은 환경이 위치한 리전에 있어야 합니다.
5단계: (선택사항) 환경의 네트워킹 구성
다음 방법으로 Cloud Composer 3 네트워킹을 구성할 수 있습니다.
- 공개 IP 환경에서는 해당 환경의 Airflow 구성요소가 인터넷에 액세스할 수 있습니다.
- 비공개 IP 환경에서는 환경의 Airflow 구성요소가 인터넷에 액세스할 수 없습니다.
- 비공개 IP 및 공개 IP 환경은 별도의 옵션으로 VPC 네트워크에 연결할 수 있습니다.
- 환경의 내부 IP 범위를 지정할 수 있습니다. 이 범위는 나중에 변경할 수 없습니다.
PyPI 패키지를 설치할 때 인터넷에 대한 액세스를 사용 설정할 수 있습니다. 예를 들어 이 옵션을 사용 설정해도 비공개 IP 환경에서 Python 패키지 색인의 PyPI 패키지를 계속 설치할 수 있습니다.
공유 VPC 환경의 경우 호스트 프로젝트에 추가 네트워킹 설정을 수행한 다음 서비스 프로젝트에 공개 또는 비공개 IP 환경을 만들어야 합니다. 공유 VPC 구성 페이지의 안내를 따릅니다.
콘솔
만들려는 환경 유형에 맞게 네트워킹이 구성되었는지 확인합니다.
네트워크 구성 섹션에서 네트워크 구성 표시 항목을 펼칩니다.
환경을 VPC 네트워크에 연결하려면 네트워크 연결 필드에서 네트워크 연결을 선택합니다. 새 네트워크 연결을 만들 수도 있습니다. 자세한 내용은 환경을 VPC 네트워크에 연결을 참조하세요.
비공개 IP 환경을 만들려면 네트워킹 유형 섹션에서 비공개 IP 환경 옵션을 선택합니다.
네트워크 태그를 추가하려면 네트워크 태그 추가를 참조하세요.
gcloud
만들려는 환경 유형에 맞게 네트워킹이 구성되었는지 확인합니다.
환경을 만들 때 다음 인수가 네트워킹 매개변수를 제어합니다. 매개변수를 생략하면 기본값이 사용됩니다.
--enable-private-environment: 비공개 IP 환경을 사용 설정합니다.--network: VPC 네트워크 ID를 지정합니다.--subnetwork: VPC 서브네트워크 ID를 지정합니다.
--composer-internal-ipv4-cidr-block: 환경의 내부 IP 범위를 지정합니다. 이 범위는 환경의 테넌트 프로젝트의 Cloud Composer에서 사용됩니다.
예(연결된 VPC 네트워크가 있는 비공개 IP 환경)
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--enable-private-environment \
--network NETWORK_ID \
--subnetwork SUBNETWORK_ID \
다음과 같이 바꿉니다.
NETWORK_ID를 VPC 네트워크 ID로 바꿉니다.SUBNETWORK_ID를 VPC 서브네트워크 ID로 바꿉니다.
6단계: (선택사항) 네트워크 태그 추가
네트워크 태그는 환경 클러스터의 모든 노드 VM에 적용됩니다. 태그는 네트워크 방화벽의 유효한 소스 또는 대상을 식별하는 데 사용됩니다. 목록의 각 태그는 RFC 1035를 준수해야 합니다.
예를 들어 방화벽 규칙이 있는 비공개 IP 환경의 트래픽을 제한하려는 경우 네트워크 태그를 추가하고 싶을 수 있습니다.
콘솔
환경 만들기 페이지에서 다음을 수행합니다.
- 네트워크 구성 섹션을 찾습니다.
- 네트워크 태그 필드에 환경의 네트워크 태그를 입력합니다.
gcloud
환경을 만들 때 다음 인수가 네트워크 태그를 제어합니다.
--tags는 모든 노드 VM에 적용되는 쉼표로 구분된 네트워크 태그 목록을 지정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--tags TAGS
다음과 같이 바꿉니다.
TAGS를 쉼표로 구분된 네트워크 태그 목록으로 바꿉니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--tags group1,production
API
환경을 만들 때 환경 > EnvironmentConfig 리소스에서 해당 환경의 네트워크 태그를 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"tags": [
"TAG"
]
}
}
}
다음과 같이 바꿉니다.
TAG를 네트워크 태그로 바꿉니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"tags": [
"group1",
"production"
]
}
}
}
Terraform
환경을 만들 때 다음 필드는 해당 환경의 네트워크 태그를 정의합니다.
node_config블록의tags필드는 모든 노드 VM에 적용되는 쉼표로 구분된 네트워크 태그 목록을 지정합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
tags = ["TAGS"]
}
}
}
다음과 같이 바꿉니다.
TAGS를 쉼표로 구분된 네트워크 태그 목록으로 바꿉니다.
예를 들면 다음과 같습니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
tags = ["group1","production"]
}
}
}
7단계: (선택사항) 웹 서버 네트워크 액세스 구성
Airflow 웹 서버 액세스 매개변수는 환경 유형에 따라 달라지지 않습니다. 대신 웹 서버 액세스를 별도로 구성할 수 있습니다. 예를 들어 비공개 IP 환경은 인터넷에서 Airflow UI에 계속 액세스할 수 있습니다.
비공개 IP 주소를 사용하여 허용되는 IP 범위를 구성할 수 없습니다.
콘솔
환경 만들기 페이지에서 다음을 수행합니다.
네트워크 구성 섹션에서 네트워크 구성 표시 항목을 펼칩니다.
웹 서버 네트워크 액세스 제어 섹션에서 다음을 수행합니다.
모든 IP 주소의 Airfow 웹 서버에 대한 액세스 권한을 제공하려면 모든 IP 주소의 액세스 허용을 선택합니다.
특정 IP 범위로만 액세스를 제한하려면 특정 IP 주소에서만 액세스 허용을 선택합니다. IP 범위 필드에서 CIDR 표기법으로 IP 범위를 지정합니다. 설명 필드에 이 범위의 설명(선택사항)을 지정합니다. 범위를 두 개 이상 지정하려면 IP 범위 추가를 클릭합니다.
모든 IP 주소의 액세스를 금지하려면 특정 IP 주소에서만 액세스 허용을 선택하고 빈 범위 항목 옆에 있는 항목 삭제를 클릭합니다.
gcloud
환경을 만들 때 다음 인수가 웹 서버 액세스 수준을 제어합니다.
--web-server-allow-all은 모든 IP 주소의 Airflow에 대한 액세스를 제공합니다. 기본 옵션입니다.--web-server-allow-ip는 특정 소스 IP 범위로만 액세스를 제한합니다. 여러 IP 범위를 지정하려면 이 인수를 여러 번 사용합니다.--web-server-deny-all은 모든 IP 주소의 액세스를 금지합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION
다음과 같이 바꿉니다.
WS_IP_RANGE를 CIDR 표기법으로 나타낸 IP 범위로 바꿉니다. Airflow UI에 액세스할 수 있습니다.WS_RANGE_DESCRIPTION을 IP 범위 설명으로 바꿉니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
--web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"
API
환경을 만들 때 환경 > EnvironmentConfig 리소스에 웹 서버 액세스 매개변수를 지정합니다.
모든 IP 주소의 Airfow 웹 서버에 대한 액세스 권한을 제공하려면
webServerNetworkAccessControl을 생략합니다.특정 IP 범위로만 액세스를 제한하려면
allowedIpRanges에 하나 이상의 범위를 지정합니다.모든 IP 주소의 액세스를 금지하려면
allowedIpRanges를 추가하고 빈 목록으로 만듭니다. 여기에 IP 범위를 지정하지 마세요.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "WS_IP_RANGE",
"description": "WS_RANGE_DESCRIPTION"
}
]
}
}
}
다음과 같이 바꿉니다.
WS_IP_RANGE를 CIDR 표기법으로 나타낸 IP 범위로 바꿉니다. Airflow UI에 액세스할 수 있습니다.WS_RANGE_DESCRIPTION을 IP 범위 설명으로 바꿉니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "192.0.2.0/24",
"description": "office net 1"
},
{
"value": "192.0.4.0/24",
"description": "office net 3"
}
]
}
}
}
Terraform
환경을 만들 때 web_server_network_access_control 블록의 allowed_ip_range 블록에는 웹 서버에 액세스할 수 있는 IP 범위가 포함됩니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
web_server_network_access_control {
allowed_ip_range {
value = "WS_IP_RANGE"
description = "WS_RANGE_DESCRIPTION"
}
}
}
}
다음과 같이 바꿉니다.
WS_IP_RANGE를 CIDR 표기법으로 나타낸 IP 범위로 바꿉니다. Airflow UI에 액세스할 수 있습니다.WS_RANGE_DESCRIPTION을 IP 범위 설명으로 바꿉니다.
예를 들면 다음과 같습니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
web_server_network_access_control {
allowed_ip_range {
value = "192.0.2.0/24"
description = "office net 1"
},
allowed_ip_range {
value = "192.0.4.0/24"
description = "office net 3"
}
}
}
8단계: (선택사항) Airflow 구성 재정의 및 환경 변수 지정
환경을 만들 때 Airflow 구성 재정의 및 환경 변수를 설정할 수 있습니다. 또는 환경이 생성된 후 나중에 수행할 수도 있습니다.
일부 차단된 Airflow 구성 옵션은 재정의할 수 없습니다.
사용 가능한 Airflow 구성 옵션의 목록은 Airflow 2 구성 참조 및 Airflow 1.10*을 참조하세요.
Airflow 구성 재정의 및 환경 변수를 지정하려면 다음 안내를 따르세요.
콘솔
환경 만들기 페이지에서 다음을 수행합니다.
환경 변수 섹션에서 환경 변수 추가를 클릭합니다.
환경 변수의 이름 및 값을 입력합니다.
Airflow 구성 재정의 섹션에서 Airflow 구성 재정의 추가를 클릭합니다.
구성 옵션 재정의의 섹션, 키, 값을 입력합니다.
예를 들면 다음과 같습니다.
섹션 키 값 webserverdag_orientationTB
gcloud
환경을 만들 때 다음 인수는 환경 변수와 Airflow 구성 재정의를 제어합니다.
--env-variables는 쉼표로 구분된 환경 변수 목록을 지정합니다.변수 이름에는 대소문자, 숫자, 밑줄이 포함될 수 있지만 숫자로 시작할 수 없습니다.
--airflow-configs는 Airflow 구성 재정의의 키와 값을 쉼표로 구분된 목록으로 지정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--env-variables ENV_VARS \
--airflow-configs CONFIG_OVERRIDES
다음과 같이 바꿉니다.
ENV_VARS를 환경 변수의 쉼표로 구분된NAME=VALUE쌍 목록으로 바꿉니다.CONFIG_OVERRIDES를 구성 재정의의 쉼표로 구분된SECTION-KEY=VALUE쌍 목록으로 바꿉니다. 구성 섹션 이름을-기호로 구분하고 그 뒤에 키 이름을 입력합니다. 예를 들면core-dags_are_paused_at_creation입니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
--airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB
API
환경을 만들 때 환경 > EnvironmentConfig 리소스에 환경 변수 및 Airflow 구성 재정의를 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"SECTION-KEY": "OVERRIDE_VALUE"
},
"envVariables": {
"VAR_NAME": "VAR_VALUE",
}
}
}
}
다음과 같이 바꿉니다.
SECTION을 구성 파일에서 Airflow 구성 옵션이 있는 섹션으로 바꿉니다.KEY를 Airflow 구성 옵션의 이름으로 바꿉니다.OVERRIDE_VALUE를 Airflow 구성 옵션의 값으로 바꿉니다.VAR_NAME을 환경 변수의 이름으로 바꿉니다.VAR_VALUE를 환경 변수 값으로 바꿉니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"core-dags_are_paused_at_creation": "True",
"webserver-dag_orientation": "TB"
},
"envVariables": {
"SENDGRID_MAIL_FROM": "user@example.com",
"SENDGRID_API_KEY": "example-key"
}
}
}
}
Terraform
환경을 만들 때 다음 블록은 환경 변수와 Airflow 구성 재정의를 제어합니다.
software_config블록의env_variables블록은 환경 변수를 지정합니다.변수 이름에는 대소문자, 숫자, 밑줄이 포함될 수 있지만 숫자로 시작할 수 없습니다.
software_config블록의airflow_config_overrides블록은 Airflow 구성 재정의를 지정합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
airflow_config_overrides = {
SECTION-KEY = "OVERRIDE_VALUE"
}
env_variables = {
VAR_NAME = "VAR_VALUE"
}
}
}
}
다음과 같이 바꿉니다.
SECTION을 구성 파일에서 Airflow 구성 옵션이 있는 섹션으로 바꿉니다.KEY를 Airflow 구성 옵션의 이름으로 바꿉니다.OVERRIDE_VALUE를 Airflow 구성 옵션의 값으로 바꿉니다.VAR_NAME을 환경 변수의 이름으로 바꿉니다.VAR_VALUE를 환경 변수 값으로 바꿉니다.
예를 들면 다음과 같습니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
airflow_config_overrides = {
core-dags_are_paused_at_creation = "True"
webserver-dag_orientation = "TB"
}
env_variables = {
SENDGRID_MAIL_FROM = "user@example.com"
SENDGRID_API_KEY = "example-key"
}
}
}
}
9단계: (선택사항) 유지보수 기간 지정
Cloud Composer 3의 기본 유지보수 기간은 다음과 같은 방식으로 정의됩니다.
- 모든 시간은 환경이 위치한 리전의 현지 시간대이지만 일광 절약 시간은 무시됩니다.
- 화요일, 수요일, 목요일, 금요일 유지보수 기간은 00:00:00~02:00:00입니다.
- 토요일, 일요일, 월요일 유지보수 기간은 00:00:00~04:00:00입니다.
환경의 커스텀 유지보수 기간을 지정하려면 다음 안내를 따르세요.
콘솔
환경 만들기 페이지에서 다음을 수행합니다.
유지보수 기간 섹션을 찾습니다.
시간대 드롭다운 목록에서 유지보수 기간의 시간대를 선택합니다.
지정한 일정의 총 기간이 7일 순환 기간 동안 최소 12시간이 되도록 시작 시간, 일, 길이를 설정합니다. 예를 들어 매주 월요일, 수요일, 금요일마다 4시간이면 필요한 시간을 제공합니다.
gcloud
다음 인수는 유지보수 기간 매개변수를 정의합니다.
--maintenance-window-start는 유지보수 기간의 시작 시간을 설정합니다.--maintenance-window-end는 유지보수 기간의 종료 시간을 설정합니다.--maintenance-window-recurrence는 유지보수 기간 반복을 설정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--maintenance-window-start 'DATETIME_START' \
--maintenance-window-end 'DATETIME_END' \
--maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'
다음과 같이 바꿉니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.DATETIME_START를 날짜/시간 입력 형식의 시작 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다.DATETIME_END를 날짜/시간 입력 형식의 종료 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다. 지정한 날짜와 시간은 시작일 이후여야 합니다.MAINTENANCE_RECURRENCE를 유지보수 기간 반복을 위한 RFC 5545 RRULE로 바꿉니다. Cloud Composer는 다음 두 가지 형식을 지원합니다.FREQ=DAILY형식은 일일 반복을 지정합니다.FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA형식은 선택한 요일의 반복을 지정합니다.
다음 예시에서는 수요일, 토요일, 일요일 01:00~07:00(UTC) 사이에서 유지보수 기간 6시간을 지정합니다. 2023년 1월 1일 날짜는 무시됩니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--maintenance-window-start '2023-01-01T01:00:00Z' \
--maintenance-window-end '2023-01-01T07:00:00Z' \
--maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'
API
환경을 만들 때 환경 > EnvironmentConfig 리소스에 유지보수 기간 매개변수를 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"maintenanceWindow": {
"startTime": "DATETIME_START",
"endTime": "DATETIME_END",
"recurrence": "MAINTENANCE_RECURRENCE"
}
}
}
다음과 같이 바꿉니다.
DATETIME_START를 날짜/시간 입력 형식의 시작 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다.DATETIME_END를 날짜/시간 입력 형식의 종료 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다. 지정한 날짜와 시간은 시작일 이후여야 합니다.MAINTENANCE_RECURRENCE를 유지보수 기간 반복을 위한 RFC 5545 RRULE로 바꿉니다. Cloud Composer는 다음 두 가지 형식을 지원합니다.FREQ=DAILY형식은 일일 반복을 지정합니다.FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA형식은 선택한 요일의 반복을 지정합니다.
다음 예시에서는 수요일, 토요일, 일요일 01:00~07:00(UTC) 사이에서 유지보수 기간 6시간을 지정합니다. 2023년 1월 1일 날짜는 무시됩니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"maintenanceWindow": {
"startTime": "2023-01-01T01:00:00Z",
"endTime": "2023-01-01T07:00:00Z",
"recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
Terraform
maintenance_window 블록은 환경의 유지보수 기간을 지정합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
maintenance_window {
start_time = "DATETIME_START"
end_time = "DATETIME_END"
recurrence = "MAINTENANCE_RECURRENCE"
}
}
}
다음과 같이 바꿉니다.
DATETIME_START를 날짜/시간 입력 형식의 시작 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다.DATETIME_END를 날짜/시간 입력 형식의 종료 날짜 및 시간으로 바꿉니다. 지정한 시간만 사용되며 날짜는 무시됩니다. 지정한 날짜와 시간은 시작일 이후여야 합니다.MAINTENANCE_RECURRENCE를 유지보수 기간 반복을 위한 RFC 5545 RRULE로 바꿉니다. Cloud Composer는 다음 두 가지 형식을 지원합니다.FREQ=DAILY형식은 일일 반복을 지정합니다.FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA형식은 선택한 요일의 반복을 지정합니다.
다음 예시에서는 수요일, 토요일, 일요일 01:00~07:00(UTC) 사이에서 유지보수 기간 6시간을 지정합니다. 2023년 1월 1일 날짜는 무시됩니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
maintenance_window {
start_time = "2023-01-01T01:00:00Z"
end_time = "2023-01-01T07:00:00Z"
recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
10단계: (선택사항) 데이터 계보 통합
데이터 계보는 데이터 이동을 추적할 수 있는 Dataplex 기능입니다.
데이터 계보 통합은 Cloud Composer 3의 모든 버전에서 사용할 수 있습니다.다음 조건이 충족되면 새 Cloud Composer 환경에서 데이터 계보 통합이 자동으로 사용 설정됩니다.
프로젝트에 Data Lineage API가 사용 설정되어 있습니다. 자세한 내용은 Dataplex 문서의 Data Lineage API 사용 설정을 참조하세요.
Airflow에는 커스텀 계보 백엔드가 구성되지 않습니다.
환경을 만들 때 데이터 계보 통합을 중지할 수 있습니다. 예를 들어 자동 동작을 재정의하거나 환경이 생성된 후 나중에 데이터 계보를 사용 설정하려는 경우입니다.
콘솔
데이터 계보 통합을 중지하려면 환경 만들기 페이지에서 다음을 수행합니다.
고급 구성 섹션에서 고급 구성 표시 항목을 펼칩니다.
Dataplex 데이터 계보 통합 섹션에서 Dataplex 데이터 계보와의 통합 중지를 선택합니다.
gcloud
환경을 만들 때 --disable-cloud-data-lineage-integration 인수는 데이터 계보 통합을 중지합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--disable-cloud-data-lineage-integration
다음과 같이 바꿉니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.LOCATION을 환경이 위치한 리전으로 바꿉니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--disable-cloud-data-lineage-integration
11단계: (선택사항) 데이터 암호화 구성(CMEK)
기본적으로 환경의 데이터는 Google이 제공하는 키로 암호화됩니다.
고객 관리 암호화 키(CMEK)를 사용하여 사용자 환경에서 데이터를 암호화하려면 고객 관리 암호화 키 사용에 설명된 안내를 따르세요.
12단계: (선택사항) 커스텀 환경의 버킷 사용
환경을 만들면 Cloud Composer가 사용자 환경의 버킷을 자동으로 만듭니다.
또는 프로젝트에서 커스텀 Cloud Storage 버킷을 지정할 수 있습니다. 환경은 자동으로 생성된 버킷과 동일한 방식으로 이 버킷을 사용합니다.
커스텀 환경 버킷을 사용하려면 커스텀 환경의 버킷 사용에 설명된 안내를 따르세요.
13 단계 (선택사항) 환경 라벨 지정
환경에 라벨을 할당하여 이 라벨을 기준으로 청구 비용을 세분화할 수 있습니다.
콘솔
환경 만들기 페이지의 라벨 섹션에서 다음을 수행합니다.
라벨 추가를 클릭합니다.
키 및 값 필드에서 환경 라벨의 키 및 값 쌍을 지정합니다.
gcloud
환경을 만들 때 --labels 인수는 환경 라벨의 키와 값을 쉼표로 구분된 목록으로 지정합니다.
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.9.3-build.3 \
--labels LABELS
다음과 같이 바꿉니다.
LABELS를 환경 라벨의 쉼표로 구분된KEY=VALUE쌍 목록으로 바꿉니다.
예를 들면 다음과 같습니다.
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.9.3-build.3 \
--labels owner=engineering-team,env=production
API
환경을 만들 때 Environment 리소스에 환경의 라벨을 지정합니다.
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"labels": {
"LABEL_KEY": "LABEL_VALUE"
}
}
다음과 같이 바꿉니다.
LABEL_KEY를 환경 라벨 키로 바꿉니다.LABEL_VALUE를 환경 라벨 값으로 바꿉니다.
예를 들면 다음과 같습니다.
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"labels": {
"owner": "engineering-team",
"env": "production"
}
}
Terraform
환경을 만들 때 labels 블록(config 블록 외부)에 라벨을 지정합니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
labels = {
LABEL_KEY = "LABEL_VALUE"
}
}
다음과 같이 바꿉니다.
LABEL_KEY를 환경 라벨 키로 바꿉니다.LABEL_VALUE를 환경 라벨 값으로 바꿉니다.
예를 들면 다음과 같습니다.
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
labels = {
owner = "engineering-team"
env = "production"
}
}