Managed Service for Apache Airflow (原為 Cloud Composer)
在 Apache Airflow 上打造全代管的工作流程自動化調度管理服務。
新客戶可獲得價值 $300 美元的免費抵免額，盡情體驗 Managed Service for Apache Airflow 或其他 Google Cloud 產品。
編寫、監控橫跨混合雲與多雲端環境的管道及排定時程
以 Apache Airflow 開放原始碼專案為建構基礎，並使用 Python 執行作業
讓您擺脫單一架構的限制，而且簡單易用
Apache Airflow 3 全新支援服務 (預先發布版)
優點
全代管工作流程自動化調度管理
全代管工作流程自動化調度管理
Managed Service for Apache Airflow 的代管特性加上 Airflow 相容性，可讓您專心建立、監控工作流程並排定時程，不必煩惱佈建資源的問題。
可整合其他 Google Cloud 產品
可整合其他 Google Cloud 產品
端對端整合多項 Google Cloud 產品，包括 BigQuery、Dataflow、Managed Service for Apache Spark、Datastore、Cloud Storage 和 Pub/Sub，能讓使用者自由選擇要以何種方式全面自動調度管理管道。
支援混合雲與多雲端
支援混合雲與多雲端
透過單一自動化調度管理工具，無論管道是位於地端部署系統、多雲端環境或完全位於 Google Cloud，您都能建立、監控工作流程並安排時程。
主要功能與特色
主要功能與特色
混合雲與多雲端
透過自動化調度管理橫跨內部部署和公用雲端的工作流程，簡化遷移至雲端的作業，或維持混合式資料環境。建立可以跨雲端連結資料、處理作業和服務的工作流程，享受整合式的資料環境。
開放原始碼
Managed Service for Apache Airflow 能讓使用者擺脫單一架構的限制，同時保有資源可攜性。這項由 Google 回饋贊助的開放原始碼專案可讓客戶擺脫單一架構束縛，並與許多平台進行整合。隨著 Airflow 社群不斷擴展，這些平台的數量勢必會持續成長。
輕鬆執行自動化調度管理
Managed Service for Apache Airflow 管道會以 Python 撰寫並設為有向無環圖 (DAG)，因此任何使用者都能輕鬆使用。按一下滑鼠即可部署，讓您立即存取豐富的連接器資料庫，並透過多個圖表查看工作流程的運作情況，這麼一來，就能輕而易舉地進行疑難排解程序。自動同步處理的 DAG 還能確保工作按照時間表進行。
強化資料工作流程的建構、管理和監控機制
主要增強功能包括 DAG 版本管理功能，可讓使用者稽核資料並安心復原；以及由排程器管理的補充功能，有助於簡化歷來資料的重新處理作業。新的 Task Execution API 和 SDK 推出後，使用者日後將能享有多語言支援，以及獨立的工作環境。另外，我們也推出以 React 為基礎的新型使用者介面，不僅運作快速，操作起來也更容易。有了預定事件導向排程功能，就能打造回應更迅速、處理速度近乎即時的管道。Edge Executor 可以最佳方式執行遠端工作，分隔的 CLI (airflow/airflowctl) 則可讓使用者透過更清晰的指令列介面進行開發運作工作。
說明文件
說明文件
用途
用途
探索 Managed Service for Apache Airflow 的用途
- 資料管道 (ETL/ELT) 自動化調度管理：自動處理複雜的資料工作流程，包括擷取、轉換和載入 (ETL/ELT) 工作，以及管理工作間的依附關係。
- MLOps 和機器學習工作流程：自動調度管理端對端機器學習生命週期，涵蓋資料準備、模型訓練/評估、部署和監控等階段。
- 商業智慧 (BI) 自動化：排定 BI 工具的資料擷取時間，自動生成報表及重新整理資訊主頁。
- 基礎架構和開發運作自動化：自動執行雲端基礎架構工作，例如佈建及停用叢集、提交工作、管理 CI/CD 發布程序等。
- 混合雲和多雲端資料整合：協調不同來源 (包括其他雲端服務供應商和地端部署資料中心) 的資料流程，進而建立經過整合的資料集。
所有功能與特色
所有功能與特色
| 多雲端 | 建立連結資料、處理和服務的跨雲端工作流程，提供整合的雲端環境。 |
| 開放原始碼 | Managed Service for Apache Airflow 能讓使用者擺脫單一架構的限制，同時保有資源可攜性。 |
| 混合 | 透過自動化調度管理橫跨內部部署和公用雲端的工作流程，簡化遷移至雲端的作業，或維持混合式資料環境。 |
| 整合性 | 已整合 BigQuery、Dataflow、Managed Service for Apache Spark、Datastore、Cloud Storage、Pub/Sub 等產品，能讓您自動調度管理端對端的 Google Cloud 工作負載。 |
| Python 程式設計語言 | 運用現有的 Python 技能，在 Managed Service for Apache Airflow 中靈活建立工作流程並安排時程。 |
| 可靠性 | 透過簡單易用的圖表進行監控，以及排解問題的根本原因，增加工作流程的可靠性。 |
| 全代管 | Managed Service for Apache Airflow 的代管特性可讓您專心建立、監控工作流程並安排時程，不必煩惱佈建資源的問題。 |
| 網路與安全 | 建立環境時，Managed Service for Apache Airflow 提供以下設定選項：私人 IP、Shared VPC、VPC Service Controls、CMEK 加密支援等。 |
