Cloud Composer 功能

本頁面提供 Cloud Composer 特色與功能的總覽。

Cloud Composer 是代管 Apache Airflow 服務,可協助您建立、安排執行、監控和管理工作流程。

Airflow 環境

Cloud Composer 環境包覆在 Apache Airflow 之外。Cloud Composer 會為每個環境建立下列元件:

  • 網路伺服器:網路伺服器會執行 Apache Airflow 網頁介面,Cloud Identity-Aware Proxy 則會保護該介面。詳情請參閱 Airflow 網頁介面一文。
  • 資料庫:用來存放 Apache Airflow 中繼資料的資料庫。
  • Cloud Storage 值區:Cloud Composer 會將一個 Cloud Storage 值區與環境建立關聯。關聯值區會儲存環境的 DAG記錄、自訂外掛程式和資料。如要進一步瞭解 Cloud Composer 的儲存空間值區,請參閱 Cloud Storage 一文。

Airflow 管理

如要存取並管理 Airflow 環境,您可以使用下列 Airflow 原生工具:

  • 網頁介面:在具有適當權限的情況下,您可以透過 Google Cloud Platform 主控台或直接網址存取 Airflow 網頁介面。詳情請參閱 Airflow 網頁介面一文。
  • 指令列工具:安裝 Cloud SDK 後,您可以執行 gcloud composer environments 指令,向 Cloud Composer 環境發出 Airflow CLI 指令。詳情請參閱 Airflow 指令列介面一文。

除了原生工具以外,您也可以使用 Cloud Composer REST 或 RPC API,以程式輔助的方式存取 Airflow 環境。詳情請參閱 API 與參考資料一文。

Airflow 設定

一般來說,Cloud Composer 提供的 Apache Airflow 設定與在本機託管的 Airflow 部署設定相同。Cloud Composer 中的部分 Airflow 設定已經過預先設定,且您無法變更設定屬性。其他設定則可在建立或更新環境時指定。詳情請參閱 Airflow 設定一文。

Airflow DAG (工作流程)

Apache Airflow DAG 是「工作流程」,即一組工作和其他工作依附元件。Cloud Composer 會使用 Cloud Storage 儲存 DAG。如要在 Cloud Composer 環境中新增或移除 DAG,您必須在與環境相關聯的 Cloud Storage 值區中新增或移除 DAG。將 DAG 移到儲存空間值區後,系統會自動在環境中新增並安排執行 DAG。

除了安排執行 DAG 以外,您也可以手動觸發 DAG,或在發生事件時觸發 DAG,例如當相關聯的 Cloud Storage 值區有所異動時。詳情請參閱觸發 DAG 一文。

外掛程式

您可以在 Cloud Composer 環境中安裝自訂外掛程式,例如自訂的內部 Apache Airflow 運算子、掛鉤、感應器或介面。詳情請參閱 Cloud Composer 外掛程式一文。

Python 依附元件

您可以在環境中安裝 Python Package Index 內的 Python 依附元件;如果想安裝的依附元件不在套件索引中,您可以使用外掛程式功能。詳情請參閱安裝 Python 依附元件一文。

存取權控管

您必須在 GCP 專案層級管理安全性,並可指派 Cloud Identity and Access Management (IAM) 角色禁止特定使用者修改或建立環境。使用者如果沒有專案存取權或不具備適當 Cloud Composer IAM 角色,就無法存取您的任何環境。詳情請參閱 Cloud Composer 存取權控管一文。

記錄和監控

您可以在 Airflow 網頁介面相關聯 Cloud Storage 值區的 logs 資料夾中,查看與單一 DAG 工作相關聯的 Airflow 記錄。

Cloud Composer 提供串流記錄。如要存取串流記錄,您可以使用 Google Cloud Platform 主控台中的記錄檢視器和 Stackdriver。如要瞭解如何使用 Stackdriver,請參閱監控 Cloud Composer 環境一文。

Cloud Composer 也提供 GCP 專案的稽核記錄,例如管理員稽核記錄。詳情請參閱查看稽核記錄一文。

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Cloud Composer