환경 업그레이드

이 페이지에서는 환경에서 실행되는 Airflow 버전 또는 Cloud Composer 버전을 업그레이드하는 방법을 설명합니다.

업그레이드하는 동안 Cloud Composer는 다음을 수행합니다.

  • Airflow 스케줄러 및 작업자 pod를 새 Kubernetes 네임스페이스에 다시 배포합니다. 업그레이드가 완료되면 Airflow가 새로운 Cloud SQL 데이터베이스를 사용합니다. 데이터베이스 이름은 Kubernetes 네임스페이스와 일치합니다. DAG 실행 기록은 보존됩니다.

  • Airflow airflow_db 연결이 새 Cloud SQL 데이터베이스를 가리키도록 업데이트합니다.

이러한 변경사항으로 인해 pod 액세스 방법과 Cloud SQL 데이터베이스 연결 방법도 달라집니다.

  • 업그레이드 후에 GKE 클러스터의 pod에 액세스하려면 네임스페이스를 인식하는 kubectl 명령어를 사용해야 합니다. 예를 들어 클러스터의 pod를 나열하려면 kubectl get pods -A를 사용합니다. pod에서 명령어를 실행하려면 kubectl exec -n <NAMESPACE> ...를 사용합니다.
  • SQL 프록시를 직접 참조하는 Airflow 연결과 워크로드를 사용하는 경우 기본 네임스페이스를 호스트 이름 airflow-sqlproxy-service.default의 일부로 사용합니다(airflow-sqlproxy-service가 아님).

Cloud Composer를 업그레이드해도 Google Kubernetes Engine 노드 VM IP 주소, Cloud SQL 인스턴스 IP 주소, Cloud Storage 버킷 또는 Airflow 웹 서버 도메인 이름과 같이 사용자 환경의 리소스에 연결하는 방법에는 변화가 없습니다.

시작하기 전에

  • 환경 업그레이드는 현재 미리보기 상태입니다. 프로덕션 환경에서는 이 기능을 주의해서 사용해야 합니다.

  • 환경 업그레이드 작업을 트리거할 수 있는 역할이 필요합니다. 또한 해당 환경의 서비스 계정에 업그레이드 작업을 수행하는 데 충분한 권한이 있는 역할이 있어야 합니다. 자세한 내용은 액세스 제어를 참조하세요.

  • 업그레이드하기 전에 모든 DAG를 일시중지하고 진행 중인 태스크가 완료될 때까지 기다립니다.

  • Cloud Composer, Airflow 버전 또는 둘 다를 동시에 업그레이드할 수 있습니다.

  • 업그레이드하려는 Cloud Composer-Airflow 조합은 출시된 버전이어야 합니다.

    • 사용 가능한 업그레이드는 사용 가능한 업그레이드 보기를 참조하세요. 최신 기능과 수정사항을 가져오려면 최신 Cloud Composer 출시 버전으로 업그레이드하는 것이 좋습니다.
    • 지원되는 버전의 PyPI 패키지 및 맞춤설정 목록은 Cloud Composer 버전 목록을 참조하세요.

      업그레이드하기 전에 Airflow와 Cloud Composer의 현재 버전과 업그레이드 버전의 차이점을 알고 있어야 합니다. 호환되지 않는 변경사항으로 인해 DAG가 중단될 수 있습니다.

제한사항

  • 이전 버전의 Cloud Composer 또는 Airflow로 다운그레이드할 수는 없습니다.
  • Cloud Composer에서는 Airflow 1.10.* 환경에서 Airflow 2 환경으로 DAG 및 구성을 수동으로 전송할 수 있습니다. Airflow 1.10.* 환경에서 Airflow 2로 인플레이스(In-Place) 업그레이드하는 것은 불가능합니다.
  • 동일한 주 버전 내 최신 Cloud Composer 버전으로만 업그레이드할 수 있습니다(예: composer-1.12.4-airflow-1.10.10에서 composer-1.13.0-airflow-1.10.10으로 업그레이드). composer-1.4.0-airflow-1.10.0에서 composer-2.0.0-airflow-1.10.0으로 업그레이드는 Cloud Composer의 주 버전이 1에서 2로 변경되므로 허용되지 않습니다.
  • 업그레이드 대상 이미지 버전은 사용자 환경의 현재 Python 버전을 지원해야 합니다.
  • Airflow 데이터베이스에 16GB가 넘는 데이터가 포함된 경우 환경을 업그레이드할 수 없습니다. Airflow 크기가 16GB를 초과하면 업그레이드 중 경고가 표시됩니다. 이 경우 데이터베이스 유지보수를 수행하여 데이터베이스 크기를 줄입니다.
  • Cloud Composer 1에서 Cloud Composer 2로 업그레이드할 수 없음

    Cloud Composer 2를 사용해야 하면 새 Cloud Composer 2 환경을 만들어야 합니다.

    • Airflow 1에서 Airflow 2로 마이그레이션하려면 마이그레이션 가이드를 참조하세요. 여기에서는 Airflow 1 포함 Cloud Composer 1에서 Airflow 2 포함 Cloud Composer 2 환경으로 DAG 및 태스크 실행 기록을 이전하기 위한 안내를 제공합니다.

지원 중단 메시지

Cloud Composer는 환경 이미지의 지원 종료 날짜가 다가올 때 경고를 표시합니다. 이러한 경고를 사용하여 해당 환경을 항상 전체 지원 기간으로 유지할 수 있습니다.

지원 중단 메시지

Cloud Composer는 해당 환경의 기초가 되는 Cloud Composer 이미지 버전을 추적합니다. 이미지의 지원 종료 날짜가 다가오면 환경 목록 및 환경 세부정보 페이지에 경고가 표시될 수 있습니다.

환경 이미지가 최신 버전인지 확인하려면 다음 안내를 따르세요.

  1. Google Cloud Console에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 환경 이름을 클릭하여 세부정보를 확인합니다.

  3. 환경 구성에서 이미지 버전 필드를 찾습니다.

  4. 이미지 버전 필드에 다음 메시지 중 하나가 표시됩니다.

    • 사용 가능한 최신 버전. 환경 이미지가 완전히 지원됩니다.

    • 새 버전 사용 가능. 해당 환경 이미지가 완전히 지원되며, 이후 버전으로 업그레이드할 수 있습니다.

    • 이 버전의 지원이 ...에 만료됨 환경 이미지의 지원 기간이 곧 만료됩니다.

    • 이 버전은 ...부터 지원되지 않음 환경의 전체 지원 기간이 지났습니다.

사용 가능한 업그레이드 보기

업그레이드할 수 있는 Cloud Composer 버전을 보려면 다음 안내를 따르세요.

Console

  1. Google Cloud에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 환경 이름을 클릭합니다.

  3. 환경 구성 탭에서 이미지 버전 업그레이드를 클릭합니다.

  4. 사용 가능한 버전을 보려면 Cloud Composer 이미지 버전 드롭다운 메뉴를 클릭합니다.

gcloud

gcloud beta composer environments list-upgrades ENVIRONMENT_NAME \
    --location LOCATION 

각 항목의 의미는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.

예를 들면 다음과 같습니다.

gcloud beta composer environments list-upgrades test-environment \
    --location us-central1
┌─────────────────────────────────────────────────────────────────────────────┐
│                              AVAILABLE UPGRADES                             │
├──────────────────────────────┬──────────────────┬───────────────────────────┤
│        IMAGE VERSION         │ COMPOSER DEFAULT │ SUPPORTED PYTHON VERSIONS │
├──────────────────────────────┼──────────────────┼───────────────────────────┤
│ composer-1.4.0-airflow-1.9.0 │ True             │ 2,3                       │
└──────────────────────────────┴──────────────────┴───────────────────────────┘

API

Cloud Composer REST API로 사용 가능한 버전을 보려면 imageVersions.list API 요청을 작성하고 projects/{projectId}/locations/{locationId} 형식으로 프로젝트와 위치를 제공합니다.

예를 들면 다음과 같습니다.

GET https://composer.googleapis.com/v1/projects/test-project-id/locations/us-central1/imageVersions

{
  "imageVersions": [
    {
      "imageVersionId": "composer-1.4.2-airflow-1.10.0",
      "supportedPythonVersions": [
        "2",
        "3"
      ]
    },
    {
      "imageVersionId": "composer-1.4.2-airflow-1.9.0",
      "isDefault": true,
      "supportedPythonVersions": [
        "2",
        "3"
      ]
    }
  ]
} 

업그레이드 전 PyPI 패키지 충돌 확인

환경에 설치된 PyPI 패키지가 새 Cloud Composer 이미지의 사전 설치된 패키지와 충돌하는지 확인할 수 있습니다.

검사가 성공하면 현재 및 지정된 버전 간에 PyPI 패키지 종속 항목 충돌이 없는 것입니다. 하지만 다른 이유로 인해 업그레이드 작업이 실패할 수도 있습니다.

Console

사용자 환경의 업그레이드 확인을 실행하려면 다음을 수행하세요.

  1. Google Cloud Console에서 환경 페이지로 이동합니다.

    환경으로 이동

  2. 환경을 선택합니다.

  3. 환경 구성 탭으로 이동하고 이미지 버전 항목을 찾아서 업그레이드를 클릭합니다.

  4. 환경 버전 업그레이드 대화상자의 새 버전 드롭다운 목록에서 업그레이드하려는 Cloud Composer 버전을 선택합니다.

  5. PyPI 패키지 호환성 섹션에서 충돌 확인을 클릭합니다.

  6. 검사가 완료될 때까지 기다립니다. PyPI 패키지 종속 항목 충돌이 있으면 표시된 오류 메시지에 충돌하는 패키지 및 패키지 버전에 대한 세부정보가 포함됩니다.

gcloud

환경에 대한 업그레이드 확인을 실행하려면 업그레이드하려는 Cloud Composer 이미지 버전으로 environments check-upgrade 명령어를 실행합니다.

gcloud beta composer environments check-upgrade ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version COMPOSER_IMAGE

다음과 같이 바꿉니다.

  • ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.
  • LOCATION: 환경이 위치한 Compute Engine 리전입니다.
  • COMPOSER_IMAGE를 업그레이드하려는 Cloud Composer 이미지 버전으로 바꿉니다.

예:

gcloud beta composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-1.16.6-airflow-1.10.15

출력 예시:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-1.16.6-airflow-
1.10.15. Operation [projects/example-project/locations/us-central1/operations
/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1beta1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

또는 업그레이드 검사를 비동기적으로 실행할 수 있습니다. --async 인수를 사용하여 비동기 호출을 수행하고 gcloud composer operations describe 명령어로 결과를 확인합니다.

API

environments.checkUpgrade API 요청을 생성합니다.

imageVersion 필드에 이미지 버전을 지정합니다.

{
  "imageVersion": "COMPOSER_IMAGE"
}

COMPOSER_IMAGE를 업그레이드하려는 Cloud Composer 이미지 버전으로 바꿉니다.

Cloud Composer 버전 업그레이드

환경에서 실행되는 Cloud Composer 버전을 업그레이드하려면 다음 안내를 따르세요.

Console

  1. Google Cloud에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 수정할 환경 이름을 클릭합니다.

  3. 환경 구성 탭에서 이미지 버전 업그레이드를 클릭합니다.

  4. Cloud Composer 이미지 버전 드롭다운 메뉴를 클릭하고 버전을 선택합니다.

  5. 제출을 클릭합니다.

gcloud

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION --image-version VERSION

각 항목의 의미는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.
  • VERSION은 개발자 환경에 사용할 Cloud Composer 버전과 Airflow 버전입니다(composer-a.b.c-airflow-x.y.z 또는 composer-a.b.c-airflow-x.y 형식). Airflow 패치를 지정하지 않으면 지정된 주 버전 및 부 버전에 사용 가능한 최신 패치 버전이 사용됩니다.

예를 들면 다음과 같습니다.

gcloud beta composer environments update test-environment \
    --location us-central1 --image-version composer-latest-airflow-1.10.1 

API

Cloud Composer REST API를 사용하여 업그레이드하려면 environments.patch API 요청을 작성합니다. 버전composer-a.b.c-airflow-x.y.z 형식으로 제공합니다.

예를 들면 다음과 같습니다.

PATCH https://composer.googleapis.com/v1beta1/projects/test-project/locations/us-central1/environments/test-environment?updateMask=config.software_config.image_version

요청 본문에는 imageVersion이 포함됩니다.

{
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-1.6.0-airflow-1.10.1"
    }
  }
}

Airflow 버전 업그레이드

gcloud beta composer environments update ENVIRONMENT_NAME \
--location LOCATION --airflow-version VERSION

각 항목의 의미는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.
  • VERSION은 개발자 환경에서 사용할 x.y.z 또는 x.y 형식의 Airflow 버전입니다.

예를 들면 다음과 같습니다.

gcloud beta composer environments update test-environment \
--location us-central1 --airflow-version=1.10.1