이 페이지에서는 Cloud Composer 버전 관리를 설명하고 Cloud Composer의 주요 버전 간의 차이점을 나열합니다.
Cloud Composer의 메이저 버전
Cloud Composer에는 세 가지 주 버전이 있습니다.
- Cloud Composer 1. 수동 환경 확장이 있고 인프라가 프로젝트 및 네트워크에 배포됩니다.
Cloud Composer 2. 이 버전에서는 환경 클러스터가 리소스 요구에 맞게 자동으로 확장됩니다.
Cloud Composer 버전 비교
다음 표에는 Cloud Composer 1과 Cloud Composer 2의 주요 차이점이 나와 있습니다.
| 특성 | Cloud Composer 1 | Cloud Composer 2 |
|---|---|---|
| 이미지 버전 | composer-1.b.c-airflow-x.y.z |
composer-2.b.c-airflow-x.y.z |
| Airflow 버전 | Airflow 1.10.* 및 Airflow 2 | Airflow 2 |
| Python 버전 | 3.8.12 | 이전 버전의 3.11.5 및 3.8.12 |
| 환경 클러스터 | 표준 모드 VPC 기반 또는 경로 기반 Google Kubernetes Engine 클러스터 | Autopilot 모드 VPC 기반 Google Kubernetes Engine 클러스터 |
| 수평 확장 | 환경 클러스터의 노드 수를 조정할 수 있습니다. 이렇게 하면 Airflow 작업자 수가 변경됩니다. Airflow 스케줄러 수를 조정할 수 있습니다. |
수요에 따라 Airflow 작업자 수를 자동으로 확장합니다. 작업자 수의 상한과 하한을 설정하고 변경할 수 있습니다. Airflow 스케줄러 및 트리거 수를 조정할 수 있습니다. |
| 수직 확장 | 환경을 만들 때 클러스터 노드, Airflow 웹 서버, 데이터베이스의 머신 유형을 설정할 수 있습니다. Airflow 웹 서버와 데이터베이스의 머신 유형을 변경할 수 있습니다. | 워크로드 구성(Airflow 작업자의 CPU, 메모리, 스토리지 매개변수, 스케줄러, 웹 서버, 환경 크기)을 설정하고 변경할 수 있습니다. |
| 가격 책정 모델 | Cloud Composer 1 가격 책정 모델 | Cloud Composer 2 가격 책정 모델 |
| 액세스 제어 | Cloud Composer 1 역할 | Cloud Composer 역할. 워크로드 아이덴티티를 사용하고 Cloud Composer 서비스 에이전트 계정에 대한 추가 권한이 필요합니다. |
| 직원 ID 제휴를 통한 액세스 | 지원되지 않음 | 지원됨 |
| 복원력이 우수한 환경 | 지원되지 않음 | 지원됨 |
| 비공개 IP 네트워킹 | VPC 피어링 | Private Service Connect |
| VPC 서비스 제어 | 지원됨 | 지원됨 |
| Airflow 실행자 | Celery Executor | Celery Executor |
| Airflow 트리거(지연 가능한 연산자) | 지원되지 않음 | 지원됨 |
| CMEK | 지원됨 | 지원됨 |
| 웹 서버 액세스 제어 | 지원됨 | 지원됨 |
| 웹 서버 다시 시작 | 지원됨 | 지원됨 |
| 웹 서버 플러그인 | DAG 직렬화가 사용 중지된 Airflow 1 환경에서 지원됩니다. | 지원됨 |
| 커스텀 플러그인 설치 | 지원됨 | 지원됨 |
| 유지보수 작업 | 모든 태스크가 영향을 받을 수 있습니다. | 실행 시간이 55분 미만인 태스크는 영향을 받지 않습니다. |
| 스냅샷 저장 | Airflow 2.x 및 1.10.15 버전에 지원됨 | 지원됨 |
| 스냅샷 로드 | 지원되지 않음 | 지원됨 |
| 예약된 스냅샷 | 지원되지 않음 | 지원됨 |
| 커스텀 환경 버킷 | 지원되지 않음 | 지원됨 |
| Cloud Logging에만 Airflow 태스크 로그 저장 | 지원되지 않음 | 지원됨 |
| 데이터 계보 통합 | 지원되지 않음 | 지원됨 |
Cloud Composer 이미지
Apache Airflow를 실행하기 위해 Cloud Composer는 Airflow 출시 버전과 다른 일반 바이너리 및 Python 라이브러리를 묶어 놓은 Docker 이미지를 빌드합니다.
Cloud Composer 이미지는 Cloud Composer와 관련된 Airflow 수정사항을 포함하며 업스트림 Airflow 코드베이스에는 부적합합니다. 각 Cloud Composer 이미지에는 Cloud Composer 관련 Airflow 변경사항과 함께 사전 설치된 패키지가 포함됩니다.
Google은 주기적으로 새로운 Cloud Composer 이미지를 출시합니다.
- Cloud Composer 2 및 Cloud Composer 1의 이미지에는 Cloud Composer 개선사항 및 지원되는 Airflow 버전의 새 빌드가 포함됩니다. Cloud Composer를 개선하려면 환경을 최신 버전의 Cloud Composer로 업그레이드합니다.
버전 지원 중단 및 지원
Composer 2
Google은 버전 출시 후 일정 기간 동안 Cloud Composer 2 버전을 지원합니다. 이 기간 동안은 이러한 버전을 사용하는 Cloud Composer 2 환경이 완전하게 지원됩니다.
Cloud Composer 2 버전 지원은 다음과 같이 정의됩니다.
출시일로부터 0~12개월: 이러한 버전을 실행하는 Cloud Composer 2 환경이 완전하게 지원됩니다.
출시일로부터 12~18개월: 고객에게 보안 문제를 알리는 경우를 제외하고 이러한 버전을 실행하는 Cloud Composer 2 환경을 지원하지 않습니다.
출시일로부터 18개월 이상: 이러한 버전을 실행하는 Cloud Composer 2 환경이 지원되지 않으며 전적으로 사용자가 관리합니다.
더 이상 지원되지 않는 날짜 이후에도 Cloud Composer 버전을 계속 사용할 수 있습니다. 예를 들어 지원 기간이 지난 Cloud Composer 버전을 기반으로 하는 환경도 계속 작동하며 이를 계속 사용할 수 있습니다. 이 경우 해당 환경을 지원되는 버전으로 업그레이드하는 것이 좋습니다.
Composer 1
새로운 Cloud Composer 1 버전은 2023년 3월 말에 출시되었습니다. 출시된 모든 Cloud Composer 1 버전은 Cloud Composer 2와 동일한 버전 지원 중단 정책을 따르며 이에 따라 지원됩니다.
2024년 3월 25일에 Cloud Composer 1이 유지보수 후 모드로 전환되었습니다. Google은 Airflow의 새 버전, 버그 수정, 보안 업데이트를 비롯한 Cloud Composer 1 추가 업데이트를 출시하지 않습니다. Cloud Composer 2로 마이그레이션하는 것이 좋습니다.
Airflow 버전 지원
Airflow는 의미론적인 소프트웨어 버전 관리 스키마를 따릅니다. Airflow 버전마다 주, 부, 패치 버전이 있습니다.
Composer 2
각 Cloud Composer 버전에서 지원되는 Airflow 버전 목록은 Cloud Composer 버전 목록을 참조하세요.
Cloud Composer 2는 출시 버전마다 Airflow 2의 두 가지 부 버전을 지원합니다.
예를 들어 Cloud Composer 2.4.0은 Airflow 2.4.* 및 Airflow 2.5.*를 지원합니다.
Cloud Composer는 Airflow 2의 각 부 버전에 대해 하나의 패치 버전을 지원합니다.
예를 들어 Airflow 2.4.*의 경우 Cloud Composer는 Airflow 2.4.3를 지원합니다.
Cloud Composer에서 Airflow 2의 새 패치 버전이 제공되면 해당 출시 버전에는 Airflow의 동일한 부 버전에 사용할 수 있는 Airflow 2의 패치 버전 두 가지가 포함됩니다. 이후에 이전 패치 버전이 다음 출시 버전 중 하나에서 삭제됩니다.
예를 들어 Cloud Composer 2.3.4는 Airflow 2.5.1 및 Airflow 2.5.3를 둘 다 지원합니다.
Cloud Composer는 Cloud Composer 출시 버전 간에 일부 Airflow 패치 버전을 건너뛸 수 있습니다. 또한 Airflow의 특정 패치 버전에 함수, 품질 또는 성능 문제가 있으면 Cloud Composer에서도 이 버전을 건너뛸 수 있습니다.
예를 들어 Airflow 2.1.3은 건너뛰고 Airflow 2.1.4가 제공됩니다.
안정적인 Airflow 버전을 실행하는 Cloud Composer 출시 버전에는 이후 Airflow 버전에서 백포트된 Airflow 업데이트가 포함될 수 있습니다.
Composer 1
Cloud Composer 1에서 지원되는 최신 버전의 Airflow는 Airflow 2.4.3입니다.
Cloud Composer 1만 Airflow 1의 최신 출시 버전인 Airflow 1.10.15를 지원합니다.
Cloud Composer 버전 스키마
Composer 2
Cloud Composer 2 이미지 버전 관리 스키마는 Cloud Composer 및 Airflow 버전을 캡처합니다.
composer-2.b.c-airflow-x.y.z
각 항목의 의미는 다음과 같습니다.
composer-2.b.c는 Cloud Composer 관리형 맞춤설정 버전입니다.airflow-x.y.z는 Airflow 출시 버전입니다.
Composer 1
Cloud Composer 1 이미지 버전 관리 스키마는 Cloud Composer 및 Airflow 버전을 캡처합니다.
composer-1.b.c-airflow-x.y.z
각 항목의 의미는 다음과 같습니다.
composer-1.b.c는 Cloud Composer 관리형 맞춤설정 버전입니다.airflow-x.y.z는 Airflow 출시 버전입니다.
버전 별칭
버전 별칭은 다음과 같은 방식으로 작동합니다.
- Cloud Composer는 환경을 만들 때 버전 별칭을 전체 형식으로 확인합니다.
-
Cloud Composer 2 및 Cloud Composer 1에서 모든 버전 별칭은
composer-a.b.c-airflow-x.y.z가 됩니다. -
Cloud Composer 2 및 Cloud Composer 1에서
composer-a-airflow-x.y.z와 같은 버전 별칭을 사용하면 환경에 대한 자동 업그레이드가 제공되지 않습니다. 환경은 업그레이드할 때까지 동일한 Cloud Composer 및 Airflow 버전으로 유지됩니다.
Cloud Composer 2에서는 다음과 같은 버전 별칭을 지원합니다.
| 별칭 | Cloud Composer 버전 | Airflow 버전 |
|---|---|---|
composer-2-airflow-2 |
Cloud Composer 2 최신 버전 | Airflow 2 최신 버전 |
composer-2-airflow-x.y |
Cloud Composer 2 최신 버전 | x.y 주 버전과 부 버전 내 최신 버전의 Airflow |
composer-2-airflow-x.y.z |
Cloud Composer 2 최신 버전 | 지정된 Airflow 버전 |
composer-2.b.c-airflow-x.y |
Cloud Composer 2의 지정된 버전 | x.y 주 버전과 부 버전 내에서 사용 가능한 최신 버전의 Airflow |
Cloud Composer 1에서는 다음과 같은 버전 별칭을 지원합니다.
| 별칭 | Cloud Composer 버전 | Airflow 버전 |
|---|---|---|
composer-1-airflow-2 |
Cloud Composer 1 최신 버전 | Airflow 2 최신 버전 |
composer-1-airflow-1 |
Cloud Composer 1 최신 버전 | Airflow 1 최신 버전 |
composer-1-airflow-x.y |
Cloud Composer 1 최신 버전 | x.y 주 버전과 부 버전 내 최신 버전의 Airflow |
composer-1-airflow-x.y.z |
Cloud Composer 1 최신 버전 | 지정된 Airflow 버전 |
composer-1.b.c-airflow-x.y |
Cloud Composer 1의 지정된 버전 | x.y 주 버전과 부 버전 내에서 사용 가능한 최신 버전의 Airflow |
다음 버전 별칭은 Cloud Composer 2를 가리킵니다. 계속 사용할 수 있지만 Cloud Composer 버전의 별칭으로 전환하는 것이 좋습니다.
composer-latest-airflow-x.y는composer-2-airflow-x.y와 같습니다.composer-latest-airflow-x.y.z는composer-2-airflow-x.y.z와 같습니다.
Google Cloud CLI의 버전 인수
Google Cloud CLI를 사용하여 Cloud Composer 환경을 만들거나 업그레이드할 때는 Cloud Composer 및 Airflow 버전을 지정할 수 있습니다.
Composer 2
--image-version인수는 Cloud Composer 2 및 Airflow 버전을 지정합니다.composer-a.b.c-airflow-x.y.z형식은 지정된 버전의 Cloud Composer 및 Airflow를 사용하여 환경을 만듭니다.- 버전 별칭은 먼저
composer-a.b.c-airflow-x.y.z형식으로 확인된 후 지정된 버전의 Cloud Composer 2 및 Airflow를 사용하여 환경을 만듭니다.
--airflow-version은 Airflow 버전을 다음 형식으로 지정합니다.x.y.z형식은 Cloud Composer 2 최신 버전과 Airflow 지정 버전에 사용됩니다. 이 형식은composer-2-airflow-x.y.z버전 별칭과 동일합니다.x.y형식은 Cloud Composer 2 최신 버전과x.y주 버전 및 부 버전 내에서 사용 가능한 Airflow 최신 버전에 사용됩니다. 이 형식은composer-2-airflow-x.y버전 별칭과 동일합니다.
Composer 1
--image-version인수는 Cloud Composer 1 및 Airflow 버전을 지정합니다.composer-a.b.c-airflow-x.y.z형식은 지정된 버전의 Cloud Composer 및 Airflow를 사용하여 환경을 만듭니다.- 버전 별칭은 먼저
composer-a.b.c-airflow-x.y.z형식으로 확인된 후 지정된 버전의 Cloud Composer 1 및 Airflow를 사용하여 환경을 만듭니다.
--airflow-version은 Airflow 버전을 다음 형식으로 지정합니다.x.y.z형식은 Cloud Composer 1 최신 버전과 Airflow 지정 버전에 사용됩니다. 이 형식은composer-1-airflow-x.y.z버전 별칭과 동일합니다.x.y형식은 최신 버전의 Cloud Composer 1과x.y주 버전과 부 버전 내에 사용 가능한 최신 버전의 Airflow에 사용됩니다. 이 형식은composer-1-airflow-x.y버전 별칭과 동일합니다.