Cloud Composer

基于 Apache Airflow 构建的全代管式工作流编排服务。

免费试用
  • action/check_circle_24px 使用 Sketch 创建。

    搭建、安排和监控跨越混合环境和多云端环境的流水线

  • action/check_circle_24px 使用 Sketch 创建。

    基于 Apache Airflow 开源项目构建,使用 Python 进行运维

  • action/check_circle_24px 使用 Sketch 创建。

    摆脱供应商锁定,并且简单易用

全代管式工作流编排

Cloud Composer 的代管式特性以及与 Apache Airflow 的兼容性让您可以专心搭建、安排和监控工作流,而无需为资源预配分心。

集成其他 Google Cloud 产品

端到端地集成多种 Google Cloud 产品,包括 BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub 和 AI Platform,让用户可以灵活自由地全方位编排流水线。

支持混合云和多云端

无论您的流水线位于本地、多个云环境中,还是完全位于 Google Cloud 内,您都可以仅通过一种编排工具搭建、安排和监控工作流。

主要特性

混合云和多云端

通过编排跨本地和公有云的工作流,轻松过渡到云端或维护混合式数据环境。创建跨多个云端连接数据、处理任务和提供服务的工作流,从而实现统一的数据环境。

开源

Cloud Composer 基于 Apache Airflow 构建而成,可让用户避免供应商锁定问题并实现可移植性。Google 现在也成为了该开源项目的贡献者。该项目可让客户避免供应商锁定问题,并且可与大量平台集成。随着 Airflow 社区的发展,可集成的平台将会越来越多。

轻松编排

Cloud Composer 流水线配置为使用 Python 的有向无环图 (DAG),让任何用户都能轻松处理。一键式部署让用户可以即时访问丰富的连接器库和运行中的工作流的多种图形表现形式,简化问题排查过程。自动同步的有向无环图可确保您的作业按计划运行。

查看所有特性

客户

许多客户已使用 Cloud Composer 取得了成功。
许多客户已使用 Cloud Composer 取得了成功。
阅读案例

案例亮点

  • 工作流对于保证易腐食品的运送至关重要

  • Cloud Composer 帮助我们更可靠地编排流水线

  • 使用 Python 在一个位置搭建、安排和监控工作流

行业

文档

Google Cloud 基础知识
Cloud Composer 概览

概要了解 Cloud Composer 环境以及为一个 Apache Airflow 部署使用的 Google Cloud 产品。

架构
使用 Cloud Composer 实现基础架构自动化

了解如何安排 Compute Engine 虚拟机 (VM) 实例的自动备份。

架构
为数据处理工作流设置 CI/CD 流水线

探索如何设置一个持续集成/持续部署 (CI/CD) 流水线,以便通过 Google Cloud 上的代管式产品处理数据。

模式
专用 IP Cloud Composer 环境

了解关于使用专用 IP Cloud Composer 环境的信息。

教程
编写 DAG(工作流)

了解如何编写在 Cloud Composer 环境中运行的 Apache Airflow 有向无环图 (DAG)。

教程
Qwiklab:Google Cloud 上的数据工程

这是一个为期四天、由讲师指导的课程,为参与者介绍如何在 Google Cloud 上设计和构建数据流水线,并提供实操机会。

所有特性

多云端 创建跨多个云端连接数据、处理任务和提供服务的工作流,从而实现统一的数据环境。
开源 Cloud Composer 基于 Apache Airflow 构建而成,可让用户避免供应商锁定问题并实现可移植性。
混合 通过编排跨本地和公有云的工作流,轻松过渡到云端或维护混合式数据环境。
集成 内置与 BigQueryDataflowDataprocDatastoreCloud StoragePub/SubAI Platform 及更多产品的集成,让您能够编排端到端的 Google Cloud 工作负载。
Python 编程语言 利用已有的 Python 知识在 Cloud Composer 中动态编写和安排工作流。
可靠性 通过易于使用的图表来监控和排查问题的根本原因,提高工作流的可靠性。
全代管式 由于 Cloud Composer 的代管式特性,您可以专注于搭建、安排和监控工作流,而无需为资源预配分心。
网络和安全 在创建环境过程中,Cloud Composer 提供如下配置选项:具有基于路由的 GKE 集群的 Cloud Composer 环境(默认)、专用 IP Cloud Composer 环境具有使用别名 IP 地址的 VPC 原生 GKE 集群的 Cloud Composer 环境共享 VPC

价格

Cloud Composer 的价格基于用量,因此您只需为使用的资源付费,具体计费单位为 vCPU/小时、GB/月和传输的 GB/月。由于 Cloud Composer 用到了多个 Google Cloud 产品,因此有多种价格单位。

无论用量水平和持续使用情况如何,价格都是统一的。如需了解详情,请参阅价格页面。