Cloud Composer
基于 Apache Airflow 构建的全代管式工作流编排服务。
新客户可获得 $300 赠金,可在前 90 天内抵扣在 Composer 或其他 Google Cloud 产品上的支出。
-
编写、安排和监控跨越混合环境和多云端环境的流水线
-
基于 Apache Airflow 开源项目构建,使用 Python 进行运维
-
摆脱供应商锁定,并且简单易用
优势
全代管式工作流编排
Cloud Composer 的代管式特性以及与 Apache Airflow 的兼容性让您可以专心编写、安排和监控工作流,而无需为资源预配分心。
集成其他 Google Cloud 产品
端到端地集成多种 Google Cloud 产品,包括 BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub 和 AI Platform,让用户可以灵活自由地全方位编排流水线。
支持混合云和多云
无论您的流水线位于本地、多个云环境中,还是完全位于 Google Cloud 内,您都可以仅通过一种编排工具来编写、安排和监控工作流。
主要特性
主要特性
混合云和多云
通过编排跨本地和公有云的工作流,轻松过渡到云端或维护混合式数据环境。创建跨多个云连接数据、处理任务和提供服务的工作流,从而实现统一的数据环境。
开源
Cloud Composer 基于 Apache Airflow 构建而成,可让用户避免供应商锁定问题并实现可移植性。Google 现在也成为了该开源项目的贡献者。该项目可让客户避免供应商锁定问题,并且可与大量平台集成。随着 Airflow 社区的发展,可集成的平台将会不断增加。
轻松编排
Cloud Composer 流水线配置为使用 Python 的有向无环图 (DAG),让任何用户都能轻松处理。一键式部署让用户可以即时访问丰富的连接器库和运行中的工作流的多种图形表现形式,简化问题排查过程。自动同步的有向无环图可确保您的作业按计划运行。
文档
文档
Cloud Composer 概览
概要了解 Cloud Composer 环境以及用于 Apache Airflow 部署的 Google Cloud 产品。
使用 Cloud Composer 实现基础架构自动化
了解如何安排 Compute Engine 虚拟机 (VM) 实例的自动备份。
为数据处理工作流设置 CI/CD 流水线
探索如何设置一个持续集成/持续部署 (CI/CD) 流水线,以便通过 Google Cloud 上的代管式产品处理数据。
专用 IP Cloud Composer 环境
了解使用专用 IP Cloud Composer 环境的信息。
编写 DAG(工作流)
了解如何编写在 Cloud Composer 环境中运行的 Apache Airflow 有向无环图 (DAG)。
Google Cloud Skills Boost:Google Cloud 上的数据工程
这是一个为期四天、由讲师指导的课程,为参与者介绍如何在 Google Cloud 上设计和构建数据流水线,并提供实操机会。
所有特性
所有特性
多云端 | 创建跨多个云端连接数据、处理任务和提供服务的工作流,从而实现统一的数据环境。 |
开源 | Cloud Composer 基于 Apache Airflow 构建而成,可让用户避免供应商锁定问题并实现可移植性。 |
混合 | 通过编排跨本地和公有云的工作流,轻松过渡到云端或维护混合式数据环境。 |
集成 | 内置与 BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub、AI Platform 及更多产品的集成,让您能够编排端到端的 Google Cloud 工作负载。 |
Python 编程语言 | 利用已有的 Python 知识在 Cloud Composer 中动态编写和安排工作流。 |
可靠性 | 通过易于使用的图表来监控和排查问题的根本原因,提高工作流的可靠性。 |
全代管式 | 由于 Cloud Composer 的代管式特性,您可以专注于编写、安排和监控工作流,而无需为资源预配分心。 |
网络和安全 | 在创建环境过程中,Cloud Composer 提供如下配置选项:具有基于路由的 GKE 集群的 Cloud Composer 环境(默认)、专用 IP Cloud Composer 环境、具有使用别名 IP 地址的 VPC 原生 GKE 集群的 Cloud Composer 环境和共享 VPC。 |
价格
价格
Cloud Composer 的价格基于用量,因此您只需为使用的资源付费,具体计费单位为 vCPU/小时、GB/月和传输的 GB/月。由于 Cloud Composer 用到了多个 Google Cloud 产品,因此有多种价格单位。
无论用量水平和持续使用情况如何,价格都是统一的。如需了解详情,请参阅价格页面。