Cloud Composer 1은 사후 유지보수 모드 상태입니다. Google은 Airflow의 새 버전, 버그 수정, 보안 업데이트를 비롯한 Cloud Composer 1 추가 업데이트를 출시하지 않습니다. Cloud Composer 2로 마이그레이션하는 것이 좋습니다.

환경 확장

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

이 페이지에서는 Cloud Composer 환경을 확장하는 방법을 설명합니다.

수직 및 수평 확장

Cloud Composer 1에서 사용자는 Cloud Composer 및 Airflow 구성요소(예: 작업자 및 스케줄러)의 특정 CPU 및 메모리 리소스를 정의하지 않습니다. 대신 환경의 클러스터에 있는 노드의 머신 수와 유형을 지정합니다.

수평 확장 옵션:

노드 수 조정
스케줄러 수 조정

수직 확장 옵션:

Cloud SQL 인스턴스의 머신 유형 조정
웹 서버 머신 유형 조정

스케줄러 매개변수 조정

환경에서 동시에 2개 이상의 Airflow 스케줄러를 실행할 수 있습니다. 성능 및 안정성을 높이기 위해 여러 스케줄러를 사용하여 여러 스케줄러 인스턴스 사이에 부하를 분산합니다.

환경에서 Airflow 2를 사용하는 경우 해당 환경의 노드 수만큼 스케줄러 수를 지정할 수 있습니다.

스케줄러 수를 늘린다고 해서 항상 Airflow 성능이 향상되는 것은 아닙니다. 예를 들어 1개의 스케줄러만 사용하면 2개를 사용할 때보다 더 나은 성능을 제공할 수 있습니다. 스케줄러를 추가해도 전체 성능에 도움을 주지 않고 환경의 리소스만 소비될 때가 여기에 해당합니다. 실제 스케줄러 성능은 Airflow 작업자 수, 환경에서 실행되는 DAG 및 태스크 수, Airflow와 환경의 구성에 따라 다릅니다.

2개의 스케줄러로 시작한 다음 환경의 성능을 모니터링하는 것이 좋습니다. 스케줄러 수를 변경한 후 언제든지 환경을 원래 스케줄러 수로 다시 조정할 수 있습니다.

여러 스케줄러 구성에 대한 자세한 내용은 Airflow 문서를 참조하세요.

콘솔

Google Cloud 콘솔에서 환경 페이지로 이동합니다.

환경으로 이동
환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.
환경 구성 탭으로 이동합니다.
리소스 > 워크로드 구성 항목에서 수정을 클릭합니다.
리소스 > 스케줄러 수 항목에서 수정을 클릭합니다.
스케줄러 구성 창의 스케줄러 수 필드에서 환경의 스케줄러 수를 지정합니다.
저장을 클릭합니다.

gcloud

다음과 같은 Airflow 스케줄러 매개변수를 사용할 수 있습니다.

--scheduler-count: 환경의 스케줄러 수입니다.

다음 Google Cloud CLI 명령어를 실행합니다.

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --scheduler-count SCHEDULER_COUNT

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전

예를 들면 다음과 같습니다.

gcloud composer environments update example-environment \
  --location us-central1 \
  --scheduler-count 2

API

environments.patch API 요청을 생성합니다.
이 요청의 작성 방법:
1. updateMask 매개변수에서 config.workloadsConfig.schedulerCount 마스크를 지정합니다.
2. 요청 본문에서 환경의 스케줄러 수를 지정합니다.

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": SCHEDULER_COUNT
    }
  }
}

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
SCHEDULER_COUNT: 스케줄러 수입니다.

예를 들면 다음과 같습니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.scheduler

"config": {
  "workloadsConfig": {
    "scheduler": {
      "count": 2
    }
  }
}

Terraform

workloads_config.scheduler 블록의 다음 필드는 Airflow 스케줄러 매개변수를 제어합니다. 각 스케줄러는 지정된 양의 리소스를 사용합니다.

scheduler.count: 환경의 스케줄러 수입니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      scheduler {
        count = SCHEDULER_COUNT
      }
    }

  }
}

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
SCHEDULER_COUNT: 스케줄러 수입니다.

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      scheduler {
        
        count = 2
      }
    }

  }
}

트리거 매개변수 조정

트리거 수를 0으로 설정할 수 있지만 환경에는 트리거 인스턴스가 1개 이상(또는 복원력이 우수한 환경에서는 2개 이상)이 있어야 DAG에서 지연 가능한 연산자를 사용할 수 있습니다.

환경의 복원력 모드에 따라 트리거 수에 대한 여러 구성이 가능합니다.

표준 복원력: 최대 10개의 트리거를 실행할 수 있음
높은 복원력: 트리거 최소 2개, 최대 10개

트리거 수를 0으로 설정해도 트리거 포드 정의가 생성되고 환경의 클러스터에 표시되지만 실제 트리거 워크로드는 실행되지 않습니다.

환경에서 Airflow 트리거가 사용하는 CPU, 메모리, 디스크 공간의 크기를 지정할 수도 있습니다. 이러한 방식으로 여러 트리거를 사용하여 제공되는 수평 확장 외에도 환경의 성능을 향상시킬 수 있습니다.

콘솔

Google Cloud 콘솔에서 환경 페이지로 이동합니다.

환경으로 이동
환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.
환경 구성 탭으로 이동합니다.
리소스 > 워크로드 구성 항목에서 수정을 클릭합니다.
워크로드 구성 창에서 Airflow 트리거의 매개변수를 조정합니다.
1. 트리거 섹션의 트리거 수 필드에 환경의 트리거 수를 입력합니다.
  
  환경에 트리거를 최소 하나 이상 설정하는 경우 CPU 및 메모리 필드도 사용하여 트리거에 대한 리소스 할당을 구성합니다.
2. CPU 및 메모리에서 Airflow 트리거의 CPU, 메모리, 스토리지 수를 지정합니다. 각 트리거는 지정된 양의 리소스를 사용합니다.
저장을 클릭합니다.

gcloud

다음과 같은 Airflow 트리거 매개변수를 사용할 수 있습니다.

--triggerer-count: 환경의 트리거 수입니다.
- 표준 복원력 환경의 경우 0에서 10 사이의 값을 사용합니다.
- 복원력이 우수한 환경의 경우 0을 사용하거나 2에서 10 사이의 값을 사용합니다.
--triggerer-cpu: Airflow 트리거의 CPU 수입니다.
--triggerer-memory: Airflow 트리거의 메모리 양입니다.

다음 Google Cloud CLI 명령어를 실행합니다.

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --triggerer-count TRIGGERER_COUNT \
  --triggerer-cpu TRIGGERER_CPU \
  --triggerer-memory TRIGGERER_MEMORY

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
TRIGGERER_COUNT: 트리거 수
TRIGGERER_CPU: 트리거의 CPU 수(vCPU 단위)
TRIGGERER_MEMORY: 트리거의 메모리 양

예를 들면 다음과 같습니다.

4개의 트리거 인스턴스로 확장합니다.

  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 4 \
    --triggerer-cpu 1 \
    --triggerer-memory 1
  ```

- Disable triggerers by setting triggerer count to `0`. This operation
  doesn't require specifying CPU or memory for the triggerers.

```bash
  gcloud composer environments update example-environment \
    --location us-central1 \
    --triggerer-count 0
  ```

API

updateMask 쿼리 매개변수에서 config.workloadsConfig.triggerer 마스크를 지정합니다.
요청 본문에서 트리거에 대한 세 가지 매개변수를 모두 지정합니다.

"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": TRIGGERER_COUNT,
      "cpu": TRIGGERER_CPU,
      "memoryGb": TRIGGERER_MEMORY
    }
  }
}

다음을 바꿉니다.

TRIGGERER_COUNT: 트리거 수
- 표준 복원력 환경의 경우 0에서 10 사이의 값을 사용합니다.
- 복원력이 우수한 환경의 경우 0을 사용하거나 2에서 10 사이의 값을 사용합니다.
TRIGGERER_CPU: 트리거의 CPU 수(vCPU 단위)
TRIGGERER_MEMORY: 트리거의 메모리 양

예를 들면 다음과 같습니다.

트리거 수를 0으로 설정하여 트리거를 사용 중지합니다. 이 작업에서는 트리거의 CPU 또는 메모리를 지정할 필요가 없습니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 0
    }
  }
}

4개의 트리거 인스턴스로 확장합니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.triggerer
"config": {
  "workloadsConfig": {
    "triggerer": {
      "count": 4,
      "cpu": 1,
      "memoryGb": 1
    }
  }
}

Terraform

workloads_config.triggerer 블록의 다음 필드는 Airflow 트리거 매개변수를 제어합니다. 각 트리거는 지정된 양의 리소스를 사용합니다.

triggerer.count: 환경의 트리거 수입니다.
- 표준 복원력 환경의 경우 0에서 10 사이의 값을 사용합니다.
- 복원력이 우수한 환경의 경우 0을 사용하거나 2에서 10 사이의 값을 사용합니다.
triggerer.cpu: Airflow 트리거의 CPU 수입니다.
triggerer.memory_gb: Airflow 트리거의 메모리 양입니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      triggerer {
        count = TRIGGERER_COUNT
        cpu = TRIGGERER_CPU
        memory_gb = TRIGGERER_MEMORY
      }
    }

  }
}

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
TRIGGERER_COUNT: 트리거 수
TRIGGERER_CPU: 트리거의 CPU 수(vCPU 단위)
TRIGGERER_MEMORY: 트리거의 메모리 양(GB)

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      triggerer {
        count = 1
        cpu = 0.5
        memory_gb = 0.5
      }
    }

  }
}

웹 서버 매개변수 조정

환경에서 Airflow 웹 서버가 사용하는 CPU, 메모리, 디스크 공간의 크기를 지정할 수 있습니다. 이러한 방식으로 예를 들어 다수의 사용자 또는 다수의 관리형 DAG로부터 발생하는 수요에 맞게 Airflow UI의 성능을 확장할 수 있습니다.

콘솔

Google Cloud 콘솔에서 환경 페이지로 이동합니다.

환경으로 이동
환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.
환경 구성 탭으로 이동합니다.
리소스 > 워크로드 구성 항목에서 수정을 클릭합니다.
워크로드 구성 창에서 웹 서버의 매개변수를 조정합니다. CPU, 메모리, 스토리지 필드에서 웹 서버의 CPU, 메모리, 스토리지 수를 지정합니다.
저장을 클릭합니다.

gcloud

다음과 같은 Airflow 웹 서버 매개변수를 사용할 수 있습니다.

--web-server-cpu: Airflow 웹 서버의 CPU 수입니다.
--web-server-memory: Airflow 웹 서버의 메모리 양입니다.
--web-server-storage: Airflow 웹 서버의 디스크 공간 크기입니다.

다음 Google Cloud CLI 명령어를 실행합니다.

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-cpu WEB_SERVER_CPU \
  --web-server-memory WEB_SERVER_MEMORY \
  --web-server-storage WEB_SERVER_STORAGE

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
WEB_SERVER_CPU: 웹 서버의 CPU 수(vCPU 단위)
WEB_SERVER_MEMORY: 웹 서버의 메모리 양
WEB_SERVER_STORAGE: 웹 서버의 메모리 양

예를 들면 다음과 같습니다.

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-cpu 1 \
  --web-server-memory 2.5 \
  --web-server-storage 2

API

environments.patch API 요청을 생성합니다.
이 요청의 작성 방법:
1. updateMask 매개변수에서 모든 웹 서버 매개변수를 업데이트하도록 config.workloadsConfig.webServer 마스크를 지정합니다. 이러한 매개변수(config.workloadsConfig.webServer.cpu, config.workloadsConfig.webServer.memoryGb, config.workloadsConfig.webServer.storageGb)에 마스크를 지정하여 개별 웹 서버 매개변수를 업데이트할 수도 있습니다.
2. 요청 본문에서 새 웹 서버 매개변수를 지정합니다.

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": WEB_SERVER_CPU,
      "memoryGb": WEB_SERVER_MEMORY,
      "storageGb": WEB_SERVER_STORAGE
    }
  }
}

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
WEB_SERVER_CPU: 웹 서버의 CPU 수(vCPU 단위)입니다.
WEB_SERVER_MEMORY: 웹 서버의 메모리 양(GB)입니다.
WEB_SERVER_STORAGE: 웹 서버의 디스크 크기(GB)입니다.

예를 들면 다음과 같습니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.workloadsConfig.webServer.cpu,
// config.workloadsConfig.webServer.memoryGb,
// config.workloadsConfig.webServer.storageGb

"config": {
  "workloadsConfig": {
    "webServer": {
      "cpu": 0.5,
      "memoryGb": 2.5,
      "storageGb": 2
    }
  }
}

Terraform

workloads_config.web_server 블록의 다음 필드는 웹 서버 매개변수를 제어합니다.

web_server.cpu: 웹 서버의 CPU 수입니다.
web_server.memory_gb: 웹 서버의 메모리 양입니다.
web_server.storage_gb: 웹 서버의 디스크 공간 크기입니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    workloads_config {
      web_server {
        cpu = WEB_SERVER_CPU
        memory_gb = WEB_SERVER_MEMORY
        storage_gb = WEB_SERVER_STORAGE
      }
    }

  }
}

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
WEB_SERVER_CPU: 웹 서버의 CPU 수(vCPU 단위)입니다.
WEB_SERVER_MEMORY: 웹 서버의 메모리 양(GB)입니다.
WEB_SERVER_STORAGE: 웹 서버의 디스크 크기(GB)입니다.

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    workloads_config {
      web_server {
        cpu = 0.5
        memory_gb = 1.875
        storage_gb = 1
      }
    }

  }
}

환경 크기 조정

환경 크기는 예를 들어 Airflow 데이터베이스가 포함된 관리형 Cloud Composer 인프라의 성능 매개변수를 제어합니다.

DAG 및 태스크를 대량으로 실행하려는 경우에는 더 큰 환경 크기를 선택해 보세요.

콘솔

Google Cloud 콘솔에서 환경 페이지로 이동합니다.

환경으로 이동
환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.
환경 구성 탭으로 이동합니다.
리소스 > 워크로드 구성 항목에서 수정을 클릭합니다.
리소스 > 핵심 인프라 항목에서 수정을 클릭합니다.
핵심 인프라 창의 환경 크기 필드에서 환경 크기를 지정합니다.
저장을 클릭합니다.

gcloud

--environment-size 인수는 환경 크기를 제어합니다.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --environment-size ENVIRONMENT_SIZE

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
ENVIRONMENT_SIZE: small, medium 또는 large

예를 들면 다음과 같습니다.

gcloud composer environments update example-environment \
    --location us-central1 \
    --environment-size medium

API

environments.patch API 요청을 만듭니다.
이 요청의 작성 방법:
1. updateMask 매개변수에서 config.environmentSize 마스크를 지정합니다.
2. 요청 본문에서 환경 크기를 지정합니다.

  "config": {
    "environmentSize": "ENVIRONMENT_SIZE"
  }

다음을 바꿉니다.

ENVIRONMENT_SIZE: 환경 크기(ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM 또는 ENVIRONMENT_SIZE_LARGE)

예를 들면 다음과 같습니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.environmentSize

"config": {
  "environmentSize": "ENVIRONMENT_SIZE_MEDIUM"
}

Terraform

config 블록의 environment_size 필드는 환경 크기를 제어합니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    environment_size = "ENVIRONMENT_SIZE"

  }
}

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
ENVIRONMENT_SIZE: 환경 크기(ENVIRONMENT_SIZE_SMALL, ENVIRONMENT_SIZE_MEDIUM 또는 ENVIRONMENT_SIZE_LARGE)

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    environment_size = "ENVIRONMENT_SIZE_SMALL"

    }
  }
}

노드 수 조정

환경의 노드 수를 변경할 수 있습니다.

이 수는 환경의 Airflow 작업자 수에 해당합니다. 환경 노드는 Airflow 작업자를 실행하는 것 외에도 Airflow 스케줄러와 기타 환경 구성요소를 실행합니다.

콘솔

Google Cloud 콘솔에서 환경 페이지로 이동합니다.

환경으로 이동
환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.
환경 구성 탭으로 이동합니다.
워커 노드 > 노드 수 항목에서 수정을 클릭합니다.
워커 노드 구성 창의 노드 수 필드에서 환경의 노드 수를 지정합니다.
저장을 클릭합니다.

gcloud

--node-count 인수는 환경의 노드 수를 제어합니다.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --zone NODE_ZONE \
    --node-count NODE_COUNT

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
NODE_COUNT: 노드 수. 최소 노드 수는 3개입니다.
NODE_ZONE: 환경 VM의 Compute Engine 영역

예를 들면 다음과 같습니다.

gcloud composer environments update example-environment \
    --location us-central1 \
    --zone us-central1-a \
    --node-count 6

API

environments.patch API 요청을 만듭니다.
이 요청의 작성 방법:
1. updateMask 매개변수에서 config.nodeCount 마스크를 지정합니다.
2. 요청 본문에서 환경의 노드 수를 지정합니다.

  "config": {
    "nodeCount": NODE_COUNT
  }

다음을 바꿉니다.

NODE_COUNT: 노드 수. 최소 노드 수는 3개입니다.

예를 들면 다음과 같습니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.nodeCount

"config": {
  "nodeCount": 6
}

Terraform

node_config 블록의 node_count 필드는 환경의 노드 수를 지정합니다.

resource "google_composer_environment" "example" {

  config {
    node_config {
      node_count = NODE_COUNT
    }
}

다음을 바꿉니다.

NODE_COUNT: 노드 수.

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      node_count = 4
    }

}

Cloud SQL 인스턴스의 머신 유형 조정

환경의 Airflow 데이터베이스를 저장하는 Cloud SQL 인스턴스의 머신 유형을 변경할 수 있습니다.

콘솔

Google Cloud 콘솔에서 환경 페이지로 이동합니다.

환경으로 이동
환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.
환경 구성 탭으로 이동합니다.
리소스 > Cloud SQL 머신 유형 항목에서 수정을 클릭합니다.
Cloud SQL 구성 창의 Cloud SQL 머신 유형 드롭다운 목록에서 환경의 Cloud SQL 인스턴스에 대한 머신 유형을 선택합니다.
저장을 클릭합니다.

gcloud

--cloud-sql-machine-type 인수는 환경에서 Cloud SQL 인스턴스의 머신 유형을 제어합니다.

다음 Google Cloud CLI 명령어를 실행합니다.

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-sql-machine-type SQL_MACHINE_TYPE

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
SQL_MACHINE_TYPE: Cloud SQL 인스턴스의 머신 유형입니다.

예를 들면 다음과 같습니다.

gcloud composer environments update example-environment \
  --location us-central1 \
  --cloud-sql-machine-type db-n1-standard-2

API

environments.patch API 요청을 만듭니다.
이 요청의 작성 방법:
1. updateMask 매개변수에서 config.databaseConfig.machineType 마스크를 지정합니다.
2. 요청 본문에서 Cloud SQL 인스턴스의 머신 유형을 지정합니다.

{
  "config": {
    "databaseConfig": {
      "machineType": "SQL_MACHINE_TYPE"
    }
  }
}

다음을 바꿉니다.

SQL_MACHINE_TYPE: Cloud SQL 인스턴스의 머신 유형입니다.

예를 들면 다음과 같습니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.databaseConfig.machineType

{
  "config": {
    "databaseConfig": {
      "machineType": "db-n1-standard-2"
    }
  }
}

Terraform

database_config 블록의 machine_type 필드는 Cloud SQL 인스턴스의 머신 유형을 지정합니다.

resource "google_composer_environment" "example" {

  config {
    database_config {
      machine_type = "SQL_MACHINE_TYPE"
    }
  }
}

다음을 바꿉니다.

SQL_MACHINE_TYPE: Cloud SQL 인스턴스의 머신 유형입니다.

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    database_config {
      machine_type = "db-n1-standard-2"
    }
}

웹 서버 머신 유형 조정

환경의 Airflow 웹 서버에 대한 머신 유형을 변경할 수 있습니다.

콘솔

Google Cloud 콘솔에서 환경 페이지로 이동합니다.

환경으로 이동
환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.
환경 구성 탭으로 이동합니다.
리소스 > 웹 서버 머신 유형 항목에서 수정을 클릭합니다.
웹 서버 구성 창의 웹 서버 머신 유형 드롭다운 목록에서 Airflow 웹 서버의 머신 유형을 선택합니다.
저장을 클릭합니다.

gcloud

--web-server-machine-type 인수는 환경에서 Airflow 웹 서버 인스턴스의 머신 유형을 제어합니다.

다음 Google Cloud CLI 명령어를 실행합니다.

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --web-server-machine-type WS_MACHINE_TYPE

다음을 바꿉니다.

ENVIRONMENT_NAME: 환경의 이름입니다.
LOCATION: 환경이 위치한 리전
WS_MACHINE_TYPE을 Airflow 웹 서버 인스턴스의 머신 유형으로 바꿉니다.

예를 들면 다음과 같습니다.

gcloud composer environments update example-environment \
  --location us-central1 \
  --web-server-machine-type composer-n1-webserver-2

API

environments.patch API 요청을 만듭니다.
이 요청의 작성 방법:
1. updateMask 매개변수에서 config.webServerConfig.machineType 마스크를 지정합니다.
2. 요청 본문에서 웹 서버의 머신 유형을 지정합니다.

{
  "config": {
    "webServerConfig": {
      "machineType": "WS_MACHINE_TYPE"
    }
  }
}

다음을 바꿉니다.

WS_MACHINE_TYPE을 Airflow 웹 서버 인스턴스의 머신 유형으로 바꿉니다.

예를 들면 다음과 같습니다.

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.webServerConfig.machineType

{
  "config": {
    "webServerConfig": {
      "machineType": "composer-n1-webserver-2"
    }
  }
}

Terraform

web_server_config 블록의 machine_type 필드는 Airflow 웹 서버 인스턴스의 머신 유형을 지정합니다.

resource "google_composer_environment" "example" {

  config {
    web_server_config {
      machine_type = "WS_MACHINE_TYPE"
    }
  }
}

다음을 바꿉니다.

WS_MACHINE_TYPE을 Airflow 웹 서버 인스턴스의 머신 유형으로 바꿉니다.

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"

  config {
    web_server_config {
      machine_type = "composer-n1-webserver-2"
    }
}

환경 확장

수직 및 수평 확장

스케줄러 매개변수 조정

콘솔

gcloud

API

Terraform

트리거 매개변수 조정

콘솔

gcloud

API

Terraform

웹 서버 매개변수 조정

콘솔

gcloud

API

Terraform

환경 크기 조정

콘솔

gcloud

API

Terraform

노드 수 조정

콘솔

gcloud

API

Terraform

Cloud SQL 인스턴스의 머신 유형 조정

콘솔

gcloud

API

Terraform

웹 서버 머신 유형 조정

콘솔

gcloud

API

Terraform

다음 단계