Cloud Composer
在 Apache Airflow 上打造全代管的工作流程自動化調度管理服務。
新客戶可獲得 $300 美元的免費抵免額,有效期間為 90 天,可用於 Composer 或其他 Google Cloud 產品。
-
編寫、排定及監控橫跨混合式雲端與多雲端環境的管道
-
以 Apache Airflow 開放原始碼專案為建構基礎,並使用 Python 執行作業
-
讓您擺脫單一架構的限制,而且簡單易用
優點
全代管工作流程自動化調度管理
Cloud Composer 的代管特性搭配 Apache Airflow 相容性,可讓您專心建立、監控工作流程並安排時程,不需要煩惱佈建資源的問題。
可整合其他 Google Cloud 產品
端對端整合 Google Cloud 產品,包括 BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub 和 AI 平台,讓使用者自由選擇要以何種方式全面自動化調度管理其管道。
支援混合式雲端與多雲端
透過單一自動化調度管理工具,無論管道是位於內部部署系統、多雲端環境或完全位於 Google Cloud,您都能建立、監控工作流程並安排時程。
主要功能與特色
主要功能與特色
混合式雲端與多雲端
針對跨內部部署系統和公用雲端環境的工作流程進行自動化調度管理,藉此簡化遷移至雲端的作業或維持混合式資料環境。建立可以跨雲端連結資料、處理作業和服務的工作流程,享受整合式的資料環境。
開放原始碼
Cloud Composer 建立在 Apache Airflow 上,讓使用者不再受限於單一架構,能輕鬆移轉資料。這項由 Google 回饋贊助的開放原始碼專案可讓客戶擺脫單一架構束縛,並與許多平台進行整合。隨著 Airflow 社群不斷擴展,這些平台的數量勢必會持續成長。
輕鬆執行自動化調度管理
Cloud Composer 管道是以 Python 設為有向無環圖 (DAG),因此任何使用者都能輕鬆使用。按一下滑鼠即可部署,讓您立即存取豐富的連接器資料庫,並透過多個圖表查看工作流程的運作情況,這麼一來,就能輕而易舉地進行疑難排解程序。自動同步處理的有向無環圖可以確保工作按照時程執行。
說明文件
說明文件
Cloud Composer 總覽
總覽 Cloud Composer 環境以及用於 Apache Airflow 部署作業的 Google Cloud 產品。
使用 Cloud Composer 自動化基礎架構
瞭解如何安排自動備份 Compute Engine 虛擬機器 (VM) 執行個體的時程。
設定資料處理工作流程的持續整合/持續部署管道
研究如何設定持續整合/持續部署 (CI/CD) 管道,以透過 Google Cloud 上的代管產品處理資料。
私人 IP Cloud Composer 環境
查看使用私人 IP Cloud Composer 環境的相關資訊。
編寫 DAG (工作流程)
瞭解如何編寫在 Cloud Composer 環境中執行的 Apache Airflow 有向無環圖 (DAG)。
Google Cloud Skills Boost:Google Cloud 中的資料工程
在這個為期四天的課程中,講師會透過實作方式,為上課的學員講解如何在 Google Cloud 上設計和建構資料管道。
所有功能與特色
所有功能與特色
多雲端 | 建立可以跨雲端連結資料、處理作業和服務的工作流程,享受整合式的資料環境。 |
開放原始碼 | Cloud Composer 建立在 Apache Airflow 上,讓使用者不再受限於單一架構,能輕鬆移轉資料。 |
混合 | 針對跨內部部署系統和公用雲端環境的工作流程進行自動化調度管理,藉此簡化遷移至雲端的作業或維持混合式資料環境。 |
高度整合 | 內建與 BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub 和 AI 平台等產品的整合功能,可讓您自動化調度管理端對端的 Google Cloud 工作負載。 |
Python 程式設計語言 | 利用現有的 Python 技能,在 Cloud Composer 中以靈活的方式,建立工作流程並進行排程。 |
可靠性 | 透過簡單易用的圖表監控並解決問題根源,藉此提升工作流程的可靠性。 |
全代管 | Cloud Composer 的代管特性可讓您專心建立、監控工作流程並安排時程,不需要煩惱佈建資源的問題。 |
網路與安全 | 在建立環境的過程中,Cloud Composer 提供以下設定選項:具備路徑式 GKE 叢集的 Cloud Composer 環境 (預設設定)、 私人 IP Cloud Composer 環境、具備 VPC 原生 GKE 叢集的 Cloud Composer 環境 (使用別名 IP 位址) 和共用虛擬私人雲端。 |
定價
定價
Cloud Composer 按每小時 vCPU 用量、每月使用及傳輸的 GB 數計費,用多少付多少。Cloud Composer 由多項 Google Cloud 產品組成,因此計價單元較多。
所有實際用量和續用折扣級別都適用相同的定價。詳情請參閱定價頁面。