환경 업그레이드

Cloud Composer 1 | Cloud Composer 2

이 페이지에서는 환경을 새 Cloud Composer 또는 Airflow 버전으로 업그레이드하는 방법을 설명합니다.

업그레이드 작업 설명

환경에서 사용하는 Airflow 또는 Cloud Composer 버전을 변경하면 환경이 업그레이드됩니다.

업그레이드해도 환경 버킷의 URL 또는 Airflow 웹 서버와 같은 사용자 환경의 리소스에 연결하는 방법은 변경되지 않습니다.

업그레이드 시 Cloud Composer는 다음을 수행합니다.

  1. Cloud Composer 이미지의 새 버전을 사용하여 환경 구성요소를 다시 배포합니다.
  2. 업그레이드 전에 환경에 커스텀 PyPI 패키지 또는 Airflow 구성 옵션 재정의와 같은 Airflow 구성이 있었던 경우 변경사항을 적용합니다.
  3. Airflow airflow_db 연결이 새 Cloud SQL 데이터베이스를 가리키도록 업데이트합니다.

시작하기 전에

  • 업그레이드는 미리보기 상태입니다. 프로덕션 환경에서는 이 기능을 주의해서 사용해야 합니다.

  • 이전 버전의 Cloud Composer 또는 Airflow로 다운그레이드할 수는 없습니다.

  • 필요한 경우 환경을 다시 만들 수 있도록 환경의 새 스냅샷을 만드는 것이 좋습니다.

  • Cloud Composer 버전, Airflow 버전 또는 둘 다를 동시에 업그레이드할 수 있습니다.

  • 모든 버전의 Cloud Composer에서 최신 버전, 이전 세 가지 버전의 Cloud Composer, 업그레이드 타임라인이 연장된 버전으로만 업그레이드할 수 있습니다.

  • 최신 Cloud Composer 버전 이외의 버전으로 업그레이드하려면 Google Cloud CLI, API, Terraform을 사용합니다. Google Cloud 콘솔에서는 최신 버전으로만 업그레이드할 수 있습니다.

  • 다른 주 버전의 Cloud Composer 또는 Airflow로 업그레이드할 수 없습니다. 환경 간에 DAG 및 구성을 수동으로 전송할 수 있습니다. 자세한 내용은 다음을 참고하세요.

  • 환경 업그레이드 작업을 트리거할 수 있는 역할이 필요합니다. 또한 해당 환경의 서비스 계정에 업그레이드 작업을 수행하는 데 충분한 권한이 있는 역할이 있어야 합니다. 자세한 내용은 액세스 제어를 참조하세요.

  • 업그레이드하려는 버전의 PyPI 패키지 목록은 Cloud Composer 버전 목록을 참조하세요.

  • Airflow 데이터베이스에 16GB가 넘는 데이터가 포함된 경우 환경을 업그레이드할 수 없습니다. Airflow 데이터베이스 크기가 16GB를 초과하면 업그레이드 중 경고가 표시됩니다. 이 경우 데이터베이스 유지보수를 수행하여 데이터베이스 크기를 줄입니다.

  • 업그레이드 대상 이미지 버전은 사용자 환경의 현재 Python 버전을 지원해야 합니다.

  • DAG가 Airflow 버전 및 모든 공급자 패키지(Google Cloud 및 Google 서비스용 Airflow 공급자 패키지 포함)와 호환되는지 확인합니다. 특정 Cloud Composer 버전에 포함된 공급자 패키지 버전을 확인할 수 있습니다.

  • Google Cloud 콘솔에서 IAM 및 관리 > 할당량 및 시스템 한도 페이지로 이동하고 CPU의 Compute Engine Engine API 할당량이 초과되지 않았는지 확인합니다. 할당량 기준점에 가까워지면 업그레이드 작업을 진행하기 전에 할당량 확장을 요청합니다.

  • 최근에 게시된의 Cloud Composer 버전 3개 또는 Cloud Composer 버전의 설명대로 '확장 업그레이드 지원' 버전 중 하나로 업그레이드할 수 있습니다.

환경이 최신 상태인지 확인

Cloud Composer는 환경 이미지의 지원 종료 날짜가 다가올 때 경고를 표시합니다. 이러한 경고를 사용하여 해당 환경을 항상 전체 지원 기간으로 유지할 수 있습니다.

환경 세부정보 페이지에 지원 중단 메시지가 표시됩니다.
그림 1. 환경 세부정보 페이지에 지원 중단 메시지가 표시됩니다.

Cloud Composer는 해당 환경의 기초가 되는 Cloud Composer 이미지 버전을 추적합니다. 이미지의 지원 종료 날짜가 다가오면 환경 목록 및 환경 세부정보 페이지에 경고가 표시될 수 있습니다.

환경 이미지가 최신 버전인지 확인하려면 다음 안내를 따르세요.

Console

  1. Google Cloud 콘솔에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 환경 구성 탭으로 이동합니다.

  4. 이미지 버전 필드에 다음 메시지 중 하나가 표시됩니다.

    • 사용 가능한 최신 버전. 환경 이미지가 완전히 지원됩니다.

    • 새 버전 사용 가능. 해당 환경 이미지가 완전히 지원되며, 이후 버전으로 업그레이드할 수 있습니다.

    • 이 버전의 지원이 ...에 만료됨 환경 이미지의 지원 기간이 곧 만료됩니다.

    • 이 버전은 ...부터 지원되지 않음 환경의 전체 지원 기간이 지났습니다.

사용 가능한 업그레이드 보기

업그레이드할 수 있는 Cloud Composer 버전을 보려면 다음 안내를 따르세요.

Console

  1. Google Cloud 콘솔에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 환경 구성 탭으로 이동하고 이미지 버전 업그레이드를 클릭합니다.

  4. 사용 가능한 버전 목록을 보려면 Cloud Composer 이미지 버전 드롭다운 메뉴를 클릭합니다.

gcloud 

gcloud beta composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.
  • LOCATION을 환경이 위치한 리전으로 바꿉니다.

예:

gcloud beta composer environments list-upgrades example-environment \
  --location us-central1

API

위치에 사용 가능한 버전을 볼 수 있습니다. 이렇게 하려면 imageVersions.list API 요청을 생성합니다.

예를 들면 다음과 같습니다.

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

업그레이드 전 PyPI 패키지 충돌 확인

환경에 설치된 PyPI 패키지가 새 Cloud Composer 이미지의 사전 설치된 패키지와 충돌하는지 확인할 수 있습니다.

검사가 성공하면 현재 및 지정된 버전 간에 PyPI 패키지 종속 항목 충돌이 없는 것입니다. 하지만 다른 이유로 인해 업그레이드 작업이 실패할 수도 있습니다.

Console

사용자 환경의 업그레이드 확인을 실행하려면 다음을 수행하세요.

  1. Google Cloud 콘솔에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 환경 구성 탭으로 이동하고 이미지 버전 항목을 찾아서 업그레이드를 클릭합니다.

  4. 환경 버전 업그레이드 대화상자의 새 버전 드롭다운 목록에서 업그레이드하려는 Cloud Composer 버전을 선택합니다.

  5. PyPI 패키지 호환성 섹션에서 충돌 확인을 클릭합니다.

  6. 검사가 완료될 때까지 기다립니다. PyPI 패키지 종속 항목 충돌이 있으면 표시된 오류 메시지에 충돌하는 패키지 및 패키지 버전에 대한 세부정보가 포함됩니다.

gcloud

환경에 대한 업그레이드 확인을 실행하려면 업그레이드하려는 Cloud Composer 이미지 버전으로 environments check-upgrade 명령어를 실행합니다.

gcloud beta composer environments check-upgrade \
    ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version COMPOSER_IMAGE

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.
  • LOCATION을 환경이 위치한 리전으로 바꿉니다.
  • COMPOSER_IMAGE를 composer-a.b.c-airflow-x.y.z 형식의 업그레이드할 새 Cloud Composer 이미지 버전으로 바꿉니다.

예를 들면 다음과 같습니다.

gcloud beta composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

출력 예시:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-1.20.12-airflow-1.10.15. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1beta1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

또는 업그레이드 검사를 비동기적으로 실행할 수 있습니다. --async 인수를 사용하여 비동기 호출을 수행하고 gcloud composer operations describe 명령어로 결과를 확인합니다.

API

environments.checkUpgrade API 요청을 생성합니다.

imageVersion 필드에 이미지 버전을 지정합니다.

{
  "imageVersion": "COMPOSER_IMAGE"
}

COMPOSER_IMAGE를 composer-a.b.c-airflow-x.y.z 형식의 업그레이드할 새 Cloud Composer 이미지 버전으로 바꿉니다.

환경 업그레이드

환경을 Cloud Composer 또는 Airflow의 이후 버전으로 업그레이드하려면 다음 안내를 따르세요.

Console

  1. Google Cloud 콘솔에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 환경 구성 탭으로 이동합니다.

  4. 이미지 버전 항목을 찾아 업그레이드를 클릭합니다.

  5. 이미지 버전 드롭다운 메뉴에서 버전을 선택합니다.

  6. 업그레이드를 클릭합니다.

gcloud 

gcloud beta composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version COMPOSER_IMAGE

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.
  • LOCATION을 환경이 위치한 리전으로 바꿉니다.
  • COMPOSER_IMAGE를 composer-a.b.c-airflow-x.y.z 형식의 업그레이드할 새 Cloud Composer 이미지 버전으로 바꿉니다.

예를 들면 다음과 같습니다.

gcloud beta composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

API

  1. environments.patch 베타 API 요청을 생성합니다.

  2. 이 요청의 작성 방법:

    1. updateMask 매개변수에서 config.softwareConfig.imageVersion 마스크를 지정합니다.

    2. 요청 본문의 imageVersion 필드에서 composer-a.b.c-airflow-x.y.z 형식의 업그레이드할 새 Cloud Composer 이미지 버전으로 바꿉니다.

예를 들면 다음과 같습니다.

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      }
    }
  }

Terraform

config.software_config 블록의 image_version 필드는 환경의 Cloud Composer 이미지를 제어합니다. 이 필드에 새 Cloud Composer 이미지를 지정합니다.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "COMPOSER_IMAGE"
    }
  }
}

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.
  • LOCATION을 환경이 위치한 리전으로 바꿉니다.
  • COMPOSER_IMAGE를 composer-a.b.c-airflow-x.y.z 형식의 업그레이드할 새 Cloud Composer 이미지 버전으로 바꿉니다.

예를 들면 다음과 같습니다.

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
  }
}

다음 단계