환경 업데이트 및 삭제

이 페이지에서는 Cloud Composer 환경의 세부정보를 업데이트, 삭제, 확인하는 방법을 설명합니다. 또한 환경의 Apache Airflow 구성을 업데이트하고 확인하는 방법도 설명합니다.

시작하기 전에

  • 환경을 업데이트하거나 삭제하려면 다음 권한이 필요합니다.

    • composer.environments.update: 환경 업데이트
    • composer.environments.delete: 환경 삭제

      자세한 내용은 Cloud Composer 액세스 제어를 참조하세요.

  • 대부분 gcloud composer 명령어에는 위치가 필요합니다. 위치를 지정하려면 --location 플래그를 사용하거나 기본 위치를 설정하면 됩니다.

  • Cloud Composer에는 일부 Airflow 매개변수가 사전 구성되어 있으며, 이러한 매개변수는 변경할 수 없습니다. 노드 수, Airflow 구성 재정의, 환경 변수, 라벨, PyPI 패키지와 같은 Cloud Composer 환경 구성을 업데이트할 수 있습니다.

  • 패키지 설치 및 버전 업그레이드와 같은 일부 환경 업데이트에서는 Cloud Composer 이미지를 다시 빌드합니다. Cloud Composer 가비지 컬렉션은 이전 이미지를 삭제할 수 있습니다.

  • 업데이트 요청을 제출하고 약 5분이 지나면 모든 Airflow 인스턴스(작업자, 서버, 스케줄러)에 Airflow 구성 업데이트가 적용됩니다.

  • (베타) 이제 Airflow 웹 서버를 실행하는 Google App Engine VM과 Airflow 데이터베이스를 실행하는 Cloud SQL 인스턴스의 머신 유형을 업데이트할 수 있습니다. gcloud beta composer, Cloud Console 또는 Composer 베타 API를 사용하여 업데이트할 수 있습니다.

제한사항

Cloud Composer는 동시 환경 업데이트 또는 삭제 요청을 허용하지 않습니다. 다른 환경 갱신 또는 삭제 요청을 실행하기 전에 환경 업데이트 또는 삭제 요청이 완료될 때까지 기다려야 합니다.

환경 업데이트

Airflow 구성을 포함한 Cloud Composer 환경을 업데이트하려면 다음 안내를 따르세요.

Console

  1. Google Cloud에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 수정할 환경 이름을 클릭합니다.

  3. 업데이트하려는 속성에 해당하는 탭을 선택합니다.

  4. 수정을 클릭합니다.

  5. 업데이트 작업을 수행한 후 제출을 클릭합니다.

gcloud

Airflow 구성을 업데이트하려면 --update-airflow-configs 플래그와 함께 gcloud composer environments update 명령어를 실행합니다.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --update-airflow-configs=KEY=VALUE,KEY=VALUE,... 

각 매개변수는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.
  • KEY=VALUE는 구성 섹션이며 하이픈으로 구분된 속성 이름(예: core-print_stats_interval)과 해당 값입니다.

예:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

추가 예를 보려면 'gcloud composer environments update' 참조 페이지를 확인하세요.

API

Cloud Composer REST API를 사용하여 Airflow 구성을 포함한 Cloud Composer 환경을 업데이트하려면 environments.patch API 요청을 실행합니다.

기본 Airflow 구성 복원

모든 기본 Airflow 구성 값을 복원하려면 다음을 사용하세요.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --clear-airflow-configs

하나 이상의 기본 Airflow 구성 값을 복원하려면 다음을 사용하세요.

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --remove-airflow-configs=core-load_example,webserver-dag_orientation 

각 항목의 의미는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.

예:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

작업이 완료되면 명령어가 종료됩니다. 기다리지 않으려면 --async 플래그를 사용하세요.

환경 세부정보 보기

Airflow 구성을 포함한 Cloud Composer 환경 세부정보를 보려면 다음 안내를 따르세요.

Console

  1. Google Cloud Console에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 환경의 이름을 클릭합니다.
  3. 적절한 속성 탭을 선택합니다.

gcloud

gcloud composer environments describe ENVIRONMENT_NAME \
    --location LOCATION
    --format="get(PROPERTY)"

각 항목의 의미는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.
  • --format은 환경 속성을 지정하는 옵션입니다(예: Airflow 웹 서버 URL의 경우 config.airflowUri).

예:

gcloud composer environments describe test-environment 
--location us-central1 --format="get(config.airflowUri)"

# Returns https://a6b3z6e3nnZZZnnd3a-tp.appspot.com

API

Cloud Composer REST API를 사용하여 Airflow 구성을 보려면 환경 ID를 입력하여 environments.get API 요청을 전송합니다.

GKE 노드의 머신 유형 업그레이드

기존 default-pool을 삭제하고 원하는 머신 유형으로 새 default-pool을 만들어 환경의 GKE 클러스터의 머신 유형을 수동으로 업그레이드할 수 있습니다.

머신 유형을 업그레이드하려면 다음 안내를 따르세요.

  1. Cloud Console에서 업그레이드할 환경의 이름을 클릭합니다.
  2. 기본 노드 풀을 보려면 다음 안내를 따르세요.
    1. 환경 세부정보 페이지에서 클러스터 세부정보 보기 링크를 클릭합니다.
    2. 클러스터 페이지의 노드 풀 섹션에서 default-pool을 클릭합니다.
    3. 노드 풀 세부정보 페이지에서 default-pool의 모든 정보를 기록합니다. 환경에서 새 기본 노드 풀을 만들 때 이 정보를 사용합니다.
  3. default-pool을 삭제하려면 다음 안내를 따르세요.
    1. 노드 풀 세부정보 페이지에서 뒤로 화살표를 클릭하여 환경의 클러스터 페이지로 돌아갑니다.
    2. 노드 풀 섹션에서 default-pool 오른쪽에 있는 휴지통을 클릭합니다.
    3. 삭제를 클릭하여 확인합니다.
  4. default-pool을 만들려면 다음 안내를 따르세요.

    1. 클러스터 페이지 상단에 있는 노드 풀 추가를 클릭합니다.
    2. 이름에 default-pool을 입력합니다. 노드 풀 이름을 default-pool로 지정하지 않으면 워크플로가 실패합니다.
    3. 크기 및 노드 설정을 입력합니다.
    4. 액세스 범위에 모든 Cloud API에 대한 전체 액세스 허용을 선택합니다.
    5. 저장을 클릭합니다.
  5. 워크로드가 균일하지 않게 배포되면 airflow-worker 배포 크기를 0으로 줄이고 다시 확장합니다.

환경 삭제

Cloud Composer 환경을 삭제하려면 다음 안내를 따르세요.

Console

  1. Google Cloud Console에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 삭제할 환경 옆에 있는 상자를 선택합니다.
  3. 삭제를 클릭합니다.

gcloud

다음 명령어를 실행하여 Cloud Composer 환경을 삭제합니다.

gcloud composer environments delete ENVIRONMENT_NAME \
    --location LOCATION   

각 매개변수는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.

명령어 매개변수 정보에 gcloud composer environments describe --help를 실행합니다.

API

Cloud Composer REST API를 사용하여 환경을 삭제하려면 환경 ID를 입력하여 environments.delete API 요청을 전송합니다.

다음 단계