환경 업그레이드

이 페이지에서는 환경에서 실행되는 Airflow 버전 또는 Cloud Composer 버전을 업그레이드하는 방법을 설명합니다.

업그레이드하는 동안 Cloud Composer는 다음을 수행합니다.

  • Airflow 스케줄러 및 작업자 pod를 새 Kubernetes 네임스페이스에 다시 배포합니다. 업그레이드가 완료되면 Airflow가 새로운 MySQL 데이터베이스를 사용합니다. 데이터베이스 이름은 Kubernetes 네임스페이스와 일치합니다. DAG 실행 기록은 보존됩니다.

  • Airflow airflow_db 연결이 새 Cloud SQL 데이터베이스를 가리키도록 업데이트합니다.

이러한 변경사항으로 인해 Pod 액세스 방법과 Cloud SQL 데이터베이스 연결 방법도 달라집니다.

  • 업그레이드 후에 GKE 클러스터의 Pod에 액세스하려면 네임스페이스를 인식하는 kubectl 명령어를 사용해야 합니다. 예를 들어 클러스터의 Pod를 나열하려면 kubectl get pods -A를 사용합니다. Pod에서 명령어를 실행하려면 kubectl exec -n <NAMESPACE> ...를 사용합니다.
  • SQL 프록시를 직접 참조하는 Airflow 연결과 워크로드를 사용하는 경우 기본 네임스페이스를 호스트 이름 airflow-sqlproxy-service.default의 일부로 사용합니다(airflow-sqlproxy-service가 아님).

Cloud Composer를 업그레이드해도 Google Kubernetes Engine 노드 VM IP 주소, Cloud SQL 인스턴스 IP 주소, Cloud Storage 버킷 또는 Airflow 웹 서버 도메인 이름과 같이 사용자 환경의 리소스에 연결하는 방법에는 변화가 없습니다.

시작하기 전에

  • 환경 업그레이드는 현재 베타 버전입니다. 프로덕션 환경에서 이 기능을 사용할 때는 주의하세요.
  • 업그레이드하려면 roles/editor 역할 또는 roles/composer.admin 역할이 필요합니다.
  • 업그레이드하기 전에 모든 DAG를 일시중지하고 진행 중인 태스크가 완료될 때까지 기다립니다.
  • Cloud Composer, Airflow 버전 또는 둘 다를 동시에 업그레이드할 수 있습니다.
  • 업그레이드하려는 Cloud Composer-Airflow 조합은 출시된 버전이어야 합니다.
    • 사용 가능한 업그레이드는 사용 가능한 업그레이드 보기를 참조하세요. 최신 기능과 수정사항을 가져오려면 최신 Cloud Composer 출시 버전으로 업그레이드하는 것이 좋습니다.
    • 지원되는 버전의 PyPI 패키지 및 맞춤설정 목록은 Cloud Composer 버전 목록을 참조하세요.

      업그레이드하기 전에 Airflow와 Cloud Composer의 현재 버전과 업그레이드 버전의 차이점을 알고 있어야 합니다. 호환되지 않는 변경사항으로 인해 DAG가 중단될 수 있습니다.

제한사항

  • 이전 버전의 Cloud Composer 또는 Airflow로 다운그레이드할 수는 없습니다.
  • 동일한 주 버전 내 최신 Cloud Composer 버전으로만 업그레이드할 수 있습니다(예: composer-1.4.0-airflow-1.10.0에서 composer-1.5.0-airflow-1.10.0으로 업그레이드). composer-1.4.0-airflow-1.10.0에서 composer-2.0.0-airflow-1.10.0으로 업그레이드는 Cloud Composer의 주 버전이 1에서 2로 변경되므로 허용되지 않습니다.
  • 업그레이드 대상 이미지 버전은 사용자 환경의 현재 Python 버전을 지원해야 합니다.
  • 현재 VPC 서비스 제어가 사용 설정된 프로젝트의 환경에서는 이미지 버전 업그레이드를 수행할 수 없습니다.

사용 가능한 업그레이드 보기

업그레이드할 수 있는 Cloud Composer 버전을 보려면 다음 안내를 따르세요.

Console

  1. Google Cloud에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 환경 이름을 클릭합니다.

  3. 환경 구성 탭에서 이미지 버전 업그레이드를 클릭합니다.

  4. 사용 가능한 버전을 보려면 Cloud Composer 이미지 버전 드롭다운 메뉴를 클릭합니다.

gcloud

gcloud beta composer environments list-upgrades ENVIRONMENT_NAME \
    --location LOCATION 

각 항목의 의미는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.

예:

gcloud beta composer environments list-upgrades test-environment \
    --location us-central1
┌─────────────────────────────────────────────────────────────────────────────┐
│                              AVAILABLE UPGRADES                             │
├──────────────────────────────┬──────────────────┬───────────────────────────┤
│        IMAGE VERSION         │ COMPOSER DEFAULT │ SUPPORTED PYTHON VERSIONS │
├──────────────────────────────┼──────────────────┼───────────────────────────┤
│ composer-1.4.0-airflow-1.9.0 │ True             │ 2,3                       │
└──────────────────────────────┴──────────────────┴───────────────────────────┘

API

Cloud Composer REST API로 사용 가능한 버전을 보려면 imageVersions.list API 요청을 작성하고 projects/{projectId}/locations/{locationId} 형식으로 프로젝트와 위치를 제공합니다.

예:

GET https://composer.googleapis.com/v1/projects/test-project-id/locations/us-central1/imageVersions

{
  "imageVersions": [
    {
      "imageVersionId": "composer-1.4.2-airflow-1.10.0",
      "supportedPythonVersions": [
        "2",
        "3"
      ]
    },
    {
      "imageVersionId": "composer-1.4.2-airflow-1.9.0",
      "isDefault": true,
      "supportedPythonVersions": [
        "2",
        "3"
      ]
    }
  ]
} 

Cloud Composer 버전 업그레이드

환경에서 실행되는 Cloud Composer 버전을 업그레이드하려면 다음 안내를 따르세요.

Console

  1. Google Cloud에서 환경 페이지를 엽니다.

    환경 페이지 열기

  2. 수정할 환경 이름을 클릭합니다.

  3. 환경 구성 탭에서 이미지 버전 업그레이드를 클릭합니다.

  4. Cloud Composer 이미지 버전 드롭다운 메뉴를 클릭하고 버전을 선택합니다.

  5. 제출을 클릭합니다.

gcloud

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION --image-version VERSION

각 항목의 의미는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.
  • VERSION은 개발자 환경에 사용할 Cloud Composer 버전과 Airflow 버전입니다(composer-a.b.c-airflow-x.y.z 또는 composer-a.b.c-airflow-x.y 형식). Airflow 패치를 지정하지 않으면 지정된 주 버전 및 부 버전에 사용 가능한 최신 패치 버전이 사용됩니다.

예:

gcloud beta composer environments update test-environment \
    --location us-central1 --image-version composer-latest-airflow-1.10.1 

API

Cloud Composer REST API를 사용하여 업그레이드하려면 environments.patch API 요청을 작성합니다. 버전composer-a.b.c-airflow-x.y.z 형식으로 제공합니다.

예:

PATCH https://composer.googleapis.com/v1beta1/projects/test-project/locations/us-central1/environments/test-environment?updateMask=config.software_config.image_version

요청 본문에는 imageVersion이 포함됩니다.

{
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-1.6.0-airflow-1.10.1"
    }
  }
}

Airflow 버전 업그레이드

최신 Cloud Composer 버전을 실행하는 환경에서는 Cloud SDK를 사용하여 Airflow 버전만 업그레이드할 수 있습니다(예: composer-1.6.1-airflow-1.9.0에서 composer-1.6.1-airflow-1.10.0으로 업그레이드).

gcloud beta composer environments update ENVIRONMENT_NAME \
--location LOCATION --airflow-version VERSION

각 매개변수는 다음과 같습니다.

  • ENVIRONMENT_NAME은 환경 이름입니다.
  • LOCATION은 환경이 위치한 Compute Engine 리전입니다.
  • VERSION은 개발자 환경에서 사용할 x.y.z 또는 x.y 형식의 Airflow 버전입니다.

예:

gcloud beta composer environments update test-environment \
--location us-central1 --airflow-version=1.10.1