Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
本頁面說明如何將環境升級至新的 Cloud Composer 或 Airflow 版本。
關於升級作業
您可以升級 Cloud Composer 版本、Airflow 版本,或同時升級這兩者。
變更環境使用的 Airflow 或 Cloud Composer 版本時:
Cloud Composer 會使用新版 Cloud Composer 映像檔,重新部署環境的元件。
如果環境在升級前有自訂 PyPI 套件或 Airflow 設定選項覆寫等設定,Cloud Composer 會套用這些變更。
Cloud Composer 會更新 Airflow
airflow_db
連線,使其指向新的 Cloud SQL 資料庫。
升級後,連線至環境中資源的方式不會有所改變,例如環境值區的網址或 Airflow 網路伺服器。
升級作業的限制
升級作業有下列限制:
Cloud Composer 版本會在幾天內,逐步推出至 Cloud Composer 支援的所有區域。您所在的區域可能尚未推出最新版本。
您無法降級至先前版本的 Cloud Composer 或 Airflow。
在 Google Cloud 控制台中,您只能升級至 Cloud Composer 2 的最新支援版本。
在 Google Cloud CLI、API 或 Terraform 中,您可以將環境升級至最新支援版本、Cloud Composer 2 的前三個版本、前一個次要版本的最後一個修補程式版本,以及升級時間延長的版本。即使其他 Cloud Composer 2 版本仍受支援,且可用於建立新環境,您也無法升級至這些版本。
Google Cloud CLI、API 和 Terraform 的升級選項範例:
- 最新版本:
composer-2.11.5-airflow-*
- 先前的三個 Cloud Composer 2 版本:
composer-2.11.4-airflow-*
、composer-2.11.3-airflow-*
、composer-2.11.2-airflow-*
。 - 前一個 Cloud Composer 2 次要版本的最後一個修補程式:
composer-2.10.2-airflow-*
- 升級時間延長的 Cloud Composer 2 版本:
composer-2.10.2-airflow-*
、composer-2.10.1-ariflow-*
、composer-2.9.7-airflow-*
,以及其他升級時間延長的版本。
- 最新版本:
升級目標版本必須支援環境目前的 Python 版本。
Compute Engine API 配額限制可能會導致升級失敗。 在 Google Cloud 控制台,依序前往「IAM and Admin」(IAM 與管理) >「Quotas and System Limits」(配額與系統限制) 頁面,然後檢查 CPU 的 Compute Engine API 配額是否未超出上限。如果配額即將達到上限,請先申請擴充配額,再繼續進行升級作業。
如果 Airflow 資料庫包含超過 16 GB 的資料,您就無法升級環境。升級期間,如果 Airflow 資料庫大小超過 16 GB,系統會顯示警告。在此情況下,請執行資料庫維護作業,縮減資料庫大小。
如果使用 XCom 機制傳輸檔案,請務必按照 Airflow 的指南使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能,並可能導致載入快照或升級環境時發生錯誤。請考慮使用 Cloud Storage 等替代方案來移轉大量資料。
事前準備
建議您建立環境的新快照,以便在需要時重新建立環境。
您的帳戶必須具備可觸發環境升級作業的角色。此外,環境的服務帳戶必須具備足夠權限的角色,才能執行升級作業。詳情請參閱存取權控管一文。
您可能會注意到專案中環境所屬 GKE 叢集的 Compute Engine 中繼資料項目。在建立及升級 GKE 叢集期間,Google Kubernetes Engine 會自動新增專案層級的中繼資料項目 (
google_compute_project_metadata
),追蹤次要 IP 位址範圍的使用情形。請勿修改或移除這些項目。Google Kubernetes Engine 會自動管理這些節點。
確認環境是否為最新版本
當環境的映像檔即將終止完整支援時,Cloud Composer 會顯示警告。您可以根據這些警告,確保環境一律受到支援。

Cloud Composer 會追蹤環境所用的 Cloud Composer 映像檔版本。當支援期限即將到期時,您會在環境清單和「環境詳細資料」頁面中看到警告。
如要檢查環境是否為最新版本,請按照下列步驟操作:
主控台
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁。
「圖片版本」欄位會顯示下列其中一則訊息:
最新可用版本。系統完全支援您的環境圖片。
已推出新版本。環境映像檔完全受到支援,您可以升級至較新版本。
這個映像檔版本的支援將於...結束您的環境圖片即將結束完整支援期。
這個版本自...起不再支援 您的環境已超過完整支援期限。
gcloud
Google Cloud CLI 不支援這項功能。您可以改為查看建議的升級,瞭解有哪些新版本。
API
API 不支援這項功能。您可以改為查看建議的升級,瞭解有哪些新版本。
查看建議升級項目
Cloud Composer 提供可升級環境的 Cloud Composer 版本清單。
如要查看建議升級的 Cloud Composer 版本,請按照下列步驟操作:
主控台
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁,然後按一下「升級映像檔版本」。
如要查看建議版本清單,請按一下 Cloud Composer「Image version」(映像檔版本) 下拉式選單。
gcloud
gcloud composer environments list-upgrades \
ENVIRONMENT_NAME \
--location LOCATION
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。
範例:
gcloud composer environments list-upgrades example-environment \
--location us-central1
API
您可以查看營業地點的可用版本。如要這麼做,請建構 imageVersions.list
API 要求。
例如:
// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions
升級前檢查 PyPI 套件衝突
您可以檢查環境中安裝的 PyPI 套件,是否與新版 Cloud Composer 映像檔中預先安裝的套件有任何衝突。
如果檢查成功,表示目前版本和指定版本之間的 PyPI 套件依附元件沒有衝突。不過,升級作業仍可能因其他原因而失敗。
主控台
如要對環境執行升級檢查,請按照下列步驟操作:
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁,找到「映像檔版本」項目,然後按一下「升級」。
在「環境版本升級」對話方塊中,從「新版本」下拉式清單選取要升級的 Cloud Composer 版本。
在「PyPI 套件相容性」部分,按一下「檢查衝突」。
等待檢查完成。如有 PyPI 套件依附元件衝突,顯示的錯誤訊息會包含衝突套件和套件版本的詳細資料。
gcloud
如要對環境執行升級檢查,請搭配要升級的 Cloud Composer 映像檔版本,執行 environments check-upgrade
指令。
gcloud composer environments check-upgrade \
ENVIRONMENT_NAME \
--location LOCATION \
--image-version VERSION
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。VERSION
採用composer-a.b.c-airflow-x.y.z
格式,指定要升級的新版 Cloud Composer 映像檔版本。您也可以使用所有版本別名。
範例:
gcloud composer environments check-upgrade example-environment \
--location us-central1 \
--image-version composer-2.13.8-airflow-2.10.5
輸出內容範例:
Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-2.13.8-airflow-2.10.5. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...
Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.
或者,您也可以非同步執行升級檢查。使用 --async
引數進行非同步呼叫,然後使用 gcloud composer operations describe
指令檢查結果。
API
建構 environments.checkUpgrade
API 要求。
在 imageVersion
欄位中指定映像檔版本:
{
"imageVersion": "VERSION"
}
將 VERSION
替換成要升級的新版本,格式為 composer-a.b.c-airflow-x.y.z
。
升級環境
如要將環境升級至較新版本的 Cloud Composer 或 Airflow,請按照下列步驟操作:
主控台
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁。
找出「圖片版本」項目,然後按一下「升級」。
在「映像檔版本」下拉式選單中,選取要升級的 Cloud Composer 版本。
按一下「升級」。
gcloud
gcloud composer environments update \
ENVIRONMENT_NAME \
--location LOCATION \
--image-version VERSION
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。VERSION
採用composer-a.b.c-airflow-x.y.z
格式,指定要升級的新版 Cloud Composer 映像檔版本。您也可以使用所有版本別名。
例如:
gcloud composer environments update
example-environment \
--location us-central1 \
--image-version composer-2.13.8-airflow-2.10.5
API
建構
environments.patch
API 要求。在這個要求中:
在
updateMask
參數中,指定config.softwareConfig.imageVersion
遮罩。在要求主體的
imageVersion
欄位中,指定要升級的新版本。
例如:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion
{
"config": {
"softwareConfig": {
"imageVersion": "composer-2.13.8-airflow-2.10.5"
}
}
}
Terraform
config.software_config
區塊中的 image_version
欄位會控管環境的 Cloud Composer 映像檔。在這個欄位中,指定新的 Cloud Composer 映像檔。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "VERSION"
}
}
}
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。 要升級的新 Cloud Composer 映像檔版本,格式為composer-a.b.c-airflow-x.y.z
。您也可以使用所有版本別名。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-2.13.8-airflow-2.10.5"
}
}
}