Cloud Composer 버전 관리 개요

Cloud Composer 1 | Cloud Composer 2

이 페이지에서는 Cloud Composer 버전 관리를 설명하고 Cloud Composer의 주요 버전 간의 차이점을 나열합니다.

Cloud Composer의 메이저 버전

Cloud Composer에는 두 가지 메이저 버전이 있습니다.

  • Cloud Composer 2. 이 버전은 자동 확장 환경을 사용합니다.

  • Cloud Composer 1. 이 버전은 수동 확장을 사용합니다.

다음 표에는 Cloud Composer 1과 Cloud Composer 2의 주요 차이점이 나와 있습니다.

Cloud Composer 1 Cloud Composer 2
Cloud Composer 이미지 버전 composer-1.x.x composer-2.x.x
Airflow 버전 Airflow 1.10.* 및 Airflow 2 Airflow 2
Python 버전 3.8.12 3.8.12
환경 클러스터 표준 모드 VPC 기반 또는 경로 기반 Google Kubernetes Engine 클러스터 Autopilot 모드 VPC 기반 Google Kubernetes Engine 클러스터
수평 확장 환경 클러스터의 노드 수를 조정할 수 있습니다. 이렇게 하면 Airflow 작업자 수가 변경됩니다.
Airflow 스케줄러 수를 조정할 수 있습니다. 		수요에 따라 Airflow 작업자 수를 자동으로 확장합니다. 작업자 수의 상한과 하한을 설정하고 변경할 수 있습니다.
Airflow 스케줄러 수를 조정할 수 있습니다.
수직 확장 환경을 만들 때 클러스터 노드, Airflow 웹 서버, 데이터베이스의 머신 유형을 설정할 수 있습니다. Airflow 웹 서버와 데이터베이스의 머신 유형을 변경할 수 있습니다. 워크로드 구성(Airflow 작업자, 스케줄러, 웹 서버, 데이터베이스의 CPU, 메모리, 스토리지 매개변수)을 설정하고 변경할 수 있습니다.
가격 책정 모델 Cloud Composer 1 가격 책정 모델 Cloud Composer 2 가격 책정 모델
액세스 제어 Cloud Composer 역할 Cloud Composer 역할. 워크로드 아이덴티티를 사용하고 Cloud Composer 서비스 에이전트 계정에 대한 추가 권한이 필요합니다.
직원 ID 제휴를 통한 액세스 지원되지 않음 지원됨
환경 아키텍처 Cloud Composer 1 환경 아키텍처 Cloud Composer 2 환경 아키텍처
비공개 IP 네트워킹 VPC 피어링 VPC 피어링 또는 Private Service Connect
Terraform 지원 Cloud Composer 1 환경을 만들고 업데이트할 수 있습니다. Cloud Composer 2 환경을 만들고 업데이트할 수 있습니다.
CMEK 지원됨 지원됨
웹 서버 액세스 제어 지원됨 지원됨
웹 서버 다시 시작 지원됨 지원됨
웹 서버 플러그인 DAG 직렬화가 사용 중지된 Airflow 1 환경에서 지원됨 지원됨
커스텀 플러그인 설치 지원됨 지원됨
유지보수 작업 모든 태스크가 영향을 받을 수 있습니다. 실행 시간이 55분 미만인 태스크는 영향을 받지 않습니다.
비동기 DAG 로드 Airflow 1에서 지원됨 지원되지 않음
DAG 직렬화 Airflow 2에서 항상 사용 설정됩니다. Airflow 1에서 사용 중지할 수 있습니다. Airflow 2에서 항상 사용 설정됩니다.
네트워크 태그 지원 예 예
GPU가 포함된 클러스터 노드 예 아니요
스냅샷 저장 Airflow 2.x 및 1.10.15 버전에 지원됨 지원됨
스냅샷 로드 지원되지 않음 지원됨
예약된 스냅샷 지원되지 않음 지원됨

Cloud Composer 이미지

Apache Airflow를 실행하기 위해 Cloud Composer는 Airflow 출시 버전과 다른 일반 바이너리 및 Python 라이브러리를 묶어 놓은 Docker 이미지를 빌드합니다.

Cloud Composer 이미지는 Cloud Composer와 관련된 Airflow 수정사항을 포함하며 업스트림 Airflow 코드베이스에는 부적합합니다. Cloud Composer 관련 Airflow 변경사항과 사전 설치된 패키지를 통칭해서 Cloud Composer 버전이라고 합니다.

Google은 새로운 Airflow 출시 버전과 Cloud Composer 향상 기능을 포함하는 새로운 Cloud Composer 이미지를 주기적으로 출시합니다.

Cloud Composer 1 버전 지원

새로운 Cloud Composer 1 버전은 2023년 3월 말에 출시됩니다. 출시된 모든 Cloud Composer 1 버전은 버전 지원 중단 정책을 따르며 이에 따라 지원됩니다.

새로운 Cloud Composer 기능 중 일부는 Cloud Composer 2에서만 지원될 수 있습니다. Cloud Composer 2에서만 지원되는 기능은 버전 간의 주요 차이점이 나열된 표를 참조하세요.

Cloud Composer 버전 지원 중단 및 지원

Google은 버전 출시 후 일정 기간 동안 Cloud Composer 버전을 지원합니다. 이 기간 동안은 이러한 버전을 사용하는 Cloud Composer 환경이 완전하게 지원됩니다.

Cloud Composer 버전 지원은 다음과 같이 정의됩니다.

  • 출시일로부터 0-12개월: 이러한 버전을 실행하는 Cloud Composer 환경이 완전하게 지원됩니다.

  • 출시일로부터 12-18개월: 고객에게 보안 문제를 알리는 경우를 제외하고 이러한 버전을 실행하는 Cloud Composer 환경을 지원하지 않습니다.

  • 출시일로부터 18개월 이상: 이러한 버전을 실행하는 Cloud Composer 환경이 지원되지 않으며 전적으로 사용자가 관리합니다.

Airflow 버전 지원

Airflow는 의미론적인 소프트웨어 버전 관리 스키마를 따릅니다. Airflow 버전마다 주, 부, 패치 버전이 있습니다.

각 Cloud Composer 버전에서 지원되는 Airflow 버전 목록은 Cloud Composer 버전 목록을 참조하세요.

Airflow 2 버전 지원

  • Cloud Composer는 출시 버전마다 Airflow 2의 두 가지 부 버전을 지원합니다.

    예를 들어 Cloud Composer 1.17.0은 Airflow 2.0.* 및 Airflow 2.1.*을 지원합니다.

  • Cloud Composer는 Airflow 2의 각 부 버전에 대해 하나의 패치 버전을 지원합니다.

    예를 들어 Airflow 2.1.*의 경우 Cloud Composer는 Airflow 2.1.2를 지원합니다.

  • Cloud Composer에서 Airflow 2의 새 패치 버전이 제공되면 해당 출시 버전에는 Airflow의 동일한 부 버전에 사용할 수 있는 Airflow 2의 패치 버전 두 가지가 포함됩니다. 이후에 이전 패치 버전이 다음 출시 버전 중 하나에서 삭제됩니다.

    예를 들어 Cloud Composer 1.17.4는 Airflow 2.1.2 및 Airflow 2.1.4를 둘 다 지원합니다.

  • Cloud Composer는 Cloud Composer 출시 버전 간에 일부 Airflow 패치 버전을 건너뛸 수 있습니다. 또한 Airflow의 특정 패치 버전에 함수, 품질 또는 성능 문제가 있으면 Cloud Composer에서도 이 버전을 건너뛸 수 있습니다.

    예를 들어 Airflow 2.1.3은 건너뛰고 Airflow 2.1.4가 제공됩니다.

  • 안정적인 Airflow 버전을 실행하는 Cloud Composer 출시 버전에는 이후 Airflow 버전에서 백포트된 Airflow 업데이트가 포함될 수 있습니다.

Cloud Composer 버전 스키마

Cloud Composer 이미지 버전 관리 스키마는 Cloud Composer 및 Airflow 버전을 캡처합니다.

composer-a.b.c-airflow-x.y.z

각 항목의 의미는 다음과 같습니다.

  • composer-a.b.c는 Cloud Composer 관리형 맞춤설정 버전입니다.
  • airflow-x.y.z는 Airflow 출시 버전입니다.

버전 별칭

Cloud Composer 2에서는 다음과 같은 버전 별칭을 지원합니다.

별칭 Cloud Composer 버전 Airflow 버전
composer-2-airflow-2 Cloud Composer 2 최신 버전 Airflow 2 최신 버전
composer-2-airflow-x.y Cloud Composer 2 최신 버전 x.y 주 버전과 부 버전 내 최신 버전의 Airflow
composer-2-airflow-x.y.z Cloud Composer 2 최신 버전 지정된 Airflow 버전
composer-2.b.c-airflow-x.y Cloud Composer 2의 지정된 버전 x.y 주 버전과 부 버전 내에서 사용 가능한 최신 버전의 Airflow

Cloud Composer 1에서는 다음과 같은 버전 별칭을 지원합니다.

별칭 Cloud Composer 버전 Airflow 버전
composer-1-airflow-2 Cloud Composer 1 최신 버전 Airflow 2 최신 버전
composer-1-airflow-1 Cloud Composer 1 최신 버전 Airflow 1 최신 버전
composer-1-airflow-x.y Cloud Composer 1 최신 버전 x.y 주 버전과 부 버전 내 최신 버전의 Airflow
composer-1-airflow-x.y.z Cloud Composer 1 최신 버전 지정된 Airflow 버전
composer-1.b.c-airflow-x.y Cloud Composer 1의 지정된 버전 x.y 주 버전과 부 버전 내에서 사용 가능한 최신 버전의 Airflow

다음 버전 별칭은 Cloud Composer 2를 가리킵니다. 계속 사용할 수 있지만 Cloud Composer 버전의 별칭으로 전환하는 것이 좋습니다.

  • composer-latest-airflow-x.y는 composer-2-airflow-x.y와 같습니다.
  • composer-latest-airflow-x.y.z는 composer-2-airflow-x.y.z와 같습니다.

Google Cloud CLI의 버전 인수

Google Cloud CLI를 사용하여 Cloud Composer 환경을 만들거나 업그레이드할 때는 Cloud Composer 및 Airflow 버전을 지정할 수 있습니다.

  • --image-version 인수는 Cloud Composer 및 Airflow 버전을 지정합니다.

    • composer-a.b.c-airflow-x.y.z 형식은 지정된 버전의 Cloud Composer 및 Airflow를 사용하여 환경을 만듭니다.
    • 버전 별칭은 먼저 composer-a.b.c-airflow-x.y.z 형식으로 확인된 후 지정된 버전의 Cloud Composer 및 Airflow를 사용하여 환경을 만듭니다.

  • --airflow-version은 두 가지 형식으로 Airflow 버전을 지정합니다.

    • x.y.z 형식은 Cloud Composer 2 최신 버전과 Airflow 지정 버전에 사용됩니다. 이 형식은 composer-2-airflow-x.y.z 버전 별칭과 동일합니다.

    • x.y 형식은 Cloud Composer 2 최신 버전과 x.y 주 버전 및 부 버전 내에서 사용 가능한 Airflow 최신 버전에 사용됩니다. 이 형식은 composer-2-airflow-x.y 버전 별칭과 동일합니다.

다음 단계