升級環境

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁面說明如何將環境升級至新的 Cloud Composer 或 Airflow 版本。

關於升級作業

您可以升級 Cloud Composer 版本、Airflow 版本,或同時升級這兩者。

變更環境使用的 Airflow 或 Cloud Composer 版本時:

  • Cloud Composer 會使用新版 Cloud Composer 映像檔,重新部署環境的元件

  • 如果環境在升級前有自訂 PyPI 套件或 Airflow 設定選項覆寫等設定,Cloud Composer 會套用這些變更。

  • Cloud Composer 會更新 Airflow airflow_db 連線,使其指向新的 Cloud SQL 資料庫。

升級後,連線至環境中資源的方式不會有所改變,例如環境值區的網址或 Airflow 網路伺服器。

升級作業的限制

升級作業有下列限制:

  • Cloud Composer 版本會在幾天內,逐步推出至 Cloud Composer 支援的所有區域。您所在的區域可能尚未推出最新版本。

  • 您無法降級至先前版本的 Cloud Composer 或 Airflow。

  • 在 Google Cloud 控制台中,您只能升級至 Cloud Composer 2 的最新支援版本。

  • 在 Google Cloud CLI、API 或 Terraform 中,您可以將環境升級至最新支援版本、Cloud Composer 2 的前三個版本、前一個次要版本的最後一個修補程式版本,以及升級時間延長的版本。即使其他 Cloud Composer 2 版本仍受支援,且可用於建立新環境,您也無法升級至這些版本。

    Google Cloud CLI、API 和 Terraform 的升級選項範例:

    • 最新版本:composer-2.11.5-airflow-*
    • 先前的三個 Cloud Composer 2 版本: composer-2.11.4-airflow-*composer-2.11.3-airflow-*composer-2.11.2-airflow-*
    • 前一個 Cloud Composer 2 次要版本的最後一個修補程式: composer-2.10.2-airflow-*
    • 升級時間延長的 Cloud Composer 2 版本:composer-2.10.2-airflow-*composer-2.10.1-ariflow-*composer-2.9.7-airflow-*,以及其他升級時間延長的版本。
  • 升級目標版本必須支援環境目前的 Python 版本。

  • Compute Engine API 配額限制可能會導致升級失敗。 在 Google Cloud 控制台,依序前往「IAM and Admin」(IAM 與管理) >「Quotas and System Limits」(配額與系統限制) 頁面,然後檢查 CPU 的 Compute Engine API 配額是否未超出上限。如果配額即將達到上限,請先申請擴充配額,再繼續進行升級作業。

  • 您無法就地升級至其他 Cloud Composer 或 Airflow 主要版本。您可以在環境之間手動轉移 DAG 和設定。如需詳細資訊,請參閱:

  • 如果 Airflow 資料庫包含超過 16 GB 的資料,您就無法升級環境。升級期間,如果 Airflow 資料庫大小超過 16 GB,系統會顯示警告。在此情況下,請執行資料庫維護作業,縮減資料庫大小。

  • 如果使用 XCom 機制傳輸檔案,請務必按照 Airflow 的指南使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能,並可能導致載入快照或升級環境時發生錯誤。請考慮使用 Cloud Storage 等替代方案來移轉大量資料。

事前準備

  • 建議您建立環境的新快照,以便在需要時重新建立環境。

  • 您的帳戶必須具備可觸發環境升級作業的角色。此外,環境的服務帳戶必須具備足夠權限的角色,才能執行升級作業。詳情請參閱存取權控管一文。

確認環境是否為最新版本

當環境的映像檔即將終止完整支援時,Cloud Composer 會顯示警告。您可以根據這些警告,確保環境一律受到支援

環境詳細資料頁面會顯示淘汰訊息
圖 1. 環境詳細資料頁面會顯示淘汰訊息

Cloud Composer 會追蹤環境所用的 Cloud Composer 映像檔版本。當支援期限即將到期時,您會在環境清單和「環境詳細資料」頁面中看到警告。

如要檢查環境是否為最新版本,請按照下列步驟操作:

主控台

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。

  3. 前往「環境設定」分頁。

  4. 「圖片版本」欄位會顯示下列其中一則訊息:

    • 最新可用版本。系統完全支援您的環境圖片。

    • 已推出新版本。環境映像檔完全受到支援,您可以升級至較新版本。

    • 這個映像檔版本的支援將於...結束您的環境圖片即將結束完整支援期。

    • 這個版本自...起不再支援 您的環境已超過完整支援期限。

gcloud

Google Cloud CLI 不支援這項功能。您可以改為查看建議的升級,瞭解有哪些新版本。

API

API 不支援這項功能。您可以改為查看建議的升級,瞭解有哪些新版本。

查看建議升級項目

Cloud Composer 提供可升級環境的 Cloud Composer 版本清單。

如要查看建議升級的 Cloud Composer 版本,請按照下列步驟操作:

主控台

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。

  3. 前往「環境設定」分頁,然後按一下「升級映像檔版本」

  4. 如要查看建議版本清單,請按一下 Cloud Composer「Image version」(映像檔版本) 下拉式選單。

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

取代:

  • ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。

範例:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

您可以查看營業地點的可用版本。如要這麼做,請建構 imageVersions.list API 要求。

例如:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

升級前檢查 PyPI 套件衝突

您可以檢查環境中安裝的 PyPI 套件,是否與新版 Cloud Composer 映像檔中預先安裝的套件有任何衝突。

如果檢查成功,表示目前版本和指定版本之間的 PyPI 套件依附元件沒有衝突。不過,升級作業仍可能因其他原因而失敗。

主控台

如要對環境執行升級檢查,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。

  3. 前往「環境設定」分頁,找到「映像檔版本」項目,然後按一下「升級」

  4. 在「環境版本升級」對話方塊中,從「新版本」下拉式清單選取要升級的 Cloud Composer 版本。

  5. 在「PyPI 套件相容性」部分,按一下「檢查衝突」

  6. 等待檢查完成。如有 PyPI 套件依附元件衝突,顯示的錯誤訊息會包含衝突套件和套件版本的詳細資料。

gcloud

如要對環境執行升級檢查,請搭配要升級的 Cloud Composer 映像檔版本,執行 environments check-upgrade 指令。

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

取代:

範例:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

輸出內容範例:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-1.20.12-airflow-1.10.15. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

或者,您也可以非同步執行升級檢查。使用 --async 引數進行非同步呼叫,然後使用 gcloud composer operations describe 指令檢查結果。

API

建構 environments.checkUpgrade API 要求。

imageVersion 欄位中指定映像檔版本:

{
  "imageVersion": "VERSION"
}

VERSION 替換成要升級的新版本,格式為 composer-a.b.c-airflow-x.y.z

升級環境

如要將環境升級至較新版本的 Cloud Composer 或 Airflow,請按照下列步驟操作:

主控台

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在環境清單中,按一下環境名稱。 「環境詳細資料」頁面隨即開啟。

  3. 前往「環境設定」分頁。

  4. 找出「圖片版本」項目,然後按一下「升級」

  5. 在「映像檔版本」下拉式選單中,選取要升級的 Cloud Composer 版本。

  6. 按一下「升級」

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

取代:

例如:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-1.20.12-airflow-1.10.15

API

  1. 建構 environments.patch API 要求。

  2. 在這個要求中:

    1. updateMask 參數中,指定 config.softwareConfig.imageVersion 遮罩。

    2. 在要求主體的 imageVersion 欄位中,指定要升級的新版本。

例如:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      }
    }
  }

Terraform

config.software_config 區塊中的 image_version 欄位會控管環境的 Cloud Composer 映像檔。在這個欄位中,指定新的 Cloud Composer 映像檔。

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

取代:

  • ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。 要升級的新 Cloud Composer 映像檔版本,格式為 composer-a.b.c-airflow-x.y.z。您也可以使用所有版本別名

範例:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
  }
}

後續步驟