Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
本頁面說明如何將環境升級至新的 Cloud Composer 或 Airflow 版本。
關於升級作業
您可以升級 Cloud Composer 版本、Airflow 版本,或同時升級這兩者。
變更環境使用的 Airflow 或 Cloud Composer 版本時:
Cloud Composer 會使用新版 Cloud Composer 映像檔,重新部署環境的元件。
如果環境在升級前有自訂 PyPI 套件或 Airflow 設定選項覆寫等設定,Cloud Composer 會套用這些變更。
Cloud Composer 會更新 Airflow
airflow_db
連線,使其指向新的 Cloud SQL 資料庫。
升級後,連線至環境中資源的方式不會有所改變,例如環境值區的網址或 Airflow 網路伺服器。
升級作業的限制
升級作業有下列限制:
Cloud Composer 版本會在幾天內,逐步推出至 Cloud Composer 支援的所有區域。您所在的區域可能尚未推出最新版本。
您無法降級至先前版本的 Cloud Composer 或 Airflow。
在 Google Cloud 控制台中,您只能升級至 Cloud Composer 2 的最新支援版本。
在 Google Cloud CLI、API 或 Terraform 中,您可以將環境升級至最新支援版本、Cloud Composer 2 的前三個版本、前一個次要版本的最後一個修補程式版本,以及升級時間延長的版本。即使其他 Cloud Composer 2 版本仍受支援,且可用於建立新環境,您也無法升級至這些版本。
Google Cloud CLI、API 和 Terraform 的升級選項範例:
- 最新版本:
composer-2.11.5-airflow-*
- 先前的三個 Cloud Composer 2 版本:
composer-2.11.4-airflow-*
、composer-2.11.3-airflow-*
、composer-2.11.2-airflow-*
。 - 前一個 Cloud Composer 2 次要版本的最後一個修補程式:
composer-2.10.2-airflow-*
- 升級時間延長的 Cloud Composer 2 版本:
composer-2.10.2-airflow-*
、composer-2.10.1-ariflow-*
、composer-2.9.7-airflow-*
,以及其他升級時間延長的版本。
- 最新版本:
升級目標版本必須支援環境目前的 Python 版本。
Compute Engine API 配額限制可能會導致升級失敗。 在 Google Cloud 控制台,依序前往「IAM and Admin」(IAM 與管理) >「Quotas and System Limits」(配額與系統限制) 頁面,然後檢查 CPU 的 Compute Engine API 配額是否未超出上限。如果配額即將達到上限,請先申請擴充配額,再繼續進行升級作業。
您無法就地升級至其他 Cloud Composer 或 Airflow 主要版本。您可以在環境之間手動轉移 DAG 和設定。如需詳細資訊,請參閱:
如果 Airflow 資料庫包含超過 16 GB 的資料,您就無法升級環境。升級期間,如果 Airflow 資料庫大小超過 16 GB,系統會顯示警告。在此情況下,請執行資料庫維護作業,縮減資料庫大小。
如果使用 XCom 機制傳輸檔案,請務必按照 Airflow 的指南使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能,並可能導致載入快照或升級環境時發生錯誤。請考慮使用 Cloud Storage 等替代方案來移轉大量資料。
事前準備
確認環境是否為最新版本
當環境的映像檔即將終止完整支援時,Cloud Composer 會顯示警告。您可以根據這些警告,確保環境一律受到支援。

Cloud Composer 會追蹤環境所用的 Cloud Composer 映像檔版本。當支援期限即將到期時,您會在環境清單和「環境詳細資料」頁面中看到警告。
如要檢查環境是否為最新版本,請按照下列步驟操作:
主控台
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁。
「圖片版本」欄位會顯示下列其中一則訊息:
最新可用版本。系統完全支援您的環境圖片。
已推出新版本。環境映像檔完全受到支援,您可以升級至較新版本。
這個映像檔版本的支援將於...結束您的環境圖片即將結束完整支援期。
這個版本自...起不再支援 您的環境已超過完整支援期限。
gcloud
Google Cloud CLI 不支援這項功能。您可以改為查看建議的升級,瞭解有哪些新版本。
API
API 不支援這項功能。您可以改為查看建議的升級,瞭解有哪些新版本。
查看建議升級項目
Cloud Composer 提供可升級環境的 Cloud Composer 版本清單。
如要查看建議升級的 Cloud Composer 版本,請按照下列步驟操作:
主控台
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁,然後按一下「升級映像檔版本」。
如要查看建議版本清單,請按一下 Cloud Composer「Image version」(映像檔版本) 下拉式選單。
gcloud
gcloud composer environments list-upgrades \
ENVIRONMENT_NAME \
--location LOCATION
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。
範例:
gcloud composer environments list-upgrades example-environment \
--location us-central1
API
您可以查看營業地點的可用版本。如要這麼做,請建構 imageVersions.list
API 要求。
例如:
// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions
升級前檢查 PyPI 套件衝突
您可以檢查環境中安裝的 PyPI 套件,是否與新版 Cloud Composer 映像檔中預先安裝的套件有任何衝突。
如果檢查成功,表示目前版本和指定版本之間的 PyPI 套件依附元件沒有衝突。不過,升級作業仍可能因其他原因而失敗。
主控台
如要對環境執行升級檢查,請按照下列步驟操作:
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁,找到「映像檔版本」項目,然後按一下「升級」。
在「環境版本升級」對話方塊中,從「新版本」下拉式清單選取要升級的 Cloud Composer 版本。
在「PyPI 套件相容性」部分,按一下「檢查衝突」。
等待檢查完成。如有 PyPI 套件依附元件衝突,顯示的錯誤訊息會包含衝突套件和套件版本的詳細資料。
gcloud
如要對環境執行升級檢查,請搭配要升級的 Cloud Composer 映像檔版本,執行 environments check-upgrade
指令。
gcloud composer environments check-upgrade \
ENVIRONMENT_NAME \
--location LOCATION \
--image-version VERSION
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。VERSION
採用composer-a.b.c-airflow-x.y.z
格式,指定要升級的新版 Cloud Composer 映像檔版本。您也可以使用所有版本別名。
範例:
gcloud composer environments check-upgrade example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15
輸出內容範例:
Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-1.20.12-airflow-1.10.15. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...
Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.
或者,您也可以非同步執行升級檢查。使用 --async
引數進行非同步呼叫,然後使用 gcloud composer operations describe
指令檢查結果。
API
建構 environments.checkUpgrade
API 要求。
在 imageVersion
欄位中指定映像檔版本:
{
"imageVersion": "VERSION"
}
將 VERSION
替換成要升級的新版本,格式為 composer-a.b.c-airflow-x.y.z
。
升級環境
如要將環境升級至較新版本的 Cloud Composer 或 Airflow,請按照下列步驟操作:
主控台
前往 Google Cloud 控制台的「Environments」頁面。
在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。
前往「環境設定」分頁。
找出「圖片版本」項目,然後按一下「升級」。
在「映像檔版本」下拉式選單中,選取要升級的 Cloud Composer 版本。
按一下「升級」。
gcloud
gcloud composer environments update \
ENVIRONMENT_NAME \
--location LOCATION \
--image-version VERSION
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。VERSION
採用composer-a.b.c-airflow-x.y.z
格式,指定要升級的新版 Cloud Composer 映像檔版本。您也可以使用所有版本別名。
例如:
gcloud composer environments update
example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15
API
建構
environments.patch
API 要求。在這個要求中:
在
updateMask
參數中,指定config.softwareConfig.imageVersion
遮罩。在要求主體的
imageVersion
欄位中,指定要升級的新版本。
例如:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion
{
"config": {
"softwareConfig": {
"imageVersion": "composer-1.20.12-airflow-1.10.15"
}
}
}
Terraform
config.software_config
區塊中的 image_version
欄位會控管環境的 Cloud Composer 映像檔。在這個欄位中,指定新的 Cloud Composer 映像檔。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "VERSION"
}
}
}
取代:
- 將
ENVIRONMENT_NAME
替換為環境的名稱。 LOCATION
改成環境所在的地區。 要升級的新 Cloud Composer 映像檔版本,格式為composer-a.b.c-airflow-x.y.z
。您也可以使用所有版本別名。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-1.20.12-airflow-1.10.15"
}
}
}