本部分介绍可用于安排工作流的 Google Cloud 选项。
Dataproc 工作流模板
Dataproc 工作流模板为工作流的管理和执行提供了一种灵活且易用的机制。工作流模板是可重复使用的工作流配置。该模板定义了作业图,其中包含在哪里运行这些作业的信息。
Cloud Scheduler
Cloud Scheduler 是一项全托管式企业级 cron 作业调度服务。 它允许您安排几乎任何作业,包括批量作业、大数据作业和 Cloud 基础架构操作。它提供简单的基于时间的安排,例如每天或每小时,您无需编写代码。
优点:
根据熟悉的 cron 表达式启用基于时间的工作流实例化
无需编写代码
Cloud Functions
Cloud Run 函数是一种轻量级计算解决方案,可用于创建单一用途的独立函数来响应 Cloud 事件,而无需管理服务器或运行时环境。您可以使用 Cloud Run 函数来启动 Workflows,以响应 Cloud Storage 中的 Pub/Sub 事件或文件更改。对于需要计算基于时间的参数的工作流,您可以将 Cloud Run 函数与 Cloud Scheduler 搭配使用。
优点:
启用工作流实例化以响应数据事件,例如 Cloud Storage 中的新文件或 Pub/Sub 事件。
动态生成工作流和工作流参数
Cloud Composer
Cloud Composer 是一项托管式 Apache Airflow 服务,可用于创建、安排、监控和管理工作流。
优点:
支持基于时间和事件的安排
使用 Operator 简化对 Dataproc 的调用
动态生成工作流和工作流参数
构建跨多个 Google Cloud 产品的数据流