Dataproc 工作流模板概览

Dataproc WorkflowTemplates API 为工作流的管理和执行提供了一种灵活且易用的机制。工作流模板是可重复使用的工作流配置。该模板定义了作业图,其中包含在哪里运行这些作业的信息。

要点:

  • 对工作流模板进行实例化会启动工作流。工作流是一种在集群上运行作业有向无环图 (DAG) 的操作。如果工作流使用受管集群,则会创建集群,运行作业,然后在作业完成时删除集群。
  • 如果工作流使用集群选择器,则它会在选定的现有集群上运行作业。
  • 工作流非常适合复杂的作业流。您可以创建作业依赖项,以便仅在其依赖项顺利完成后才启动作业。
  • 创建工作流模板不会创建 Dataproc 集群或提交作业。在对工作流模板进行实例化时,系统才会创建与工作流关联的集群和作业。

工作流模板的类型

受管集群

工作流模板可以指定受管集群。工作流会创建此“临时”集群以运行工作流作业,并在工作流完成时删除此集群。

集群选择器

工作流模板可以指定先前应用于一个或多个集群的一个或多个用户标签,以此来指定要在其上运行工作流作业的现有集群。工作流将在与所有指定标签匹配的集群上运行。如果多个集群与一个(或多个)标签匹配,Dataproc 将选择具有最多 YARN 可用内存的集群来运行所有工作流作业。在工作流结束时,系统不会删除选定的集群。如需了解详情,请参阅搭配使用集群选择器与工作流

参数化

如果您要使用不同的值多次运行工作流模板,则可以在模板中定义参数,然后为每次运行传递不同的参数值,以避免在每次运行前编辑工作流模板。 如需了解详情,请参阅工作流模板的参数化

内嵌

对工作流进行内嵌实例化的方式包括:使用 gcloud 命令来处理工作流模板 YAML 文件,或者调用 Dataproc InstantiateInline API。(请参阅使用内嵌 Dataproc 工作流)。内嵌工作流不会创建或修改工作流模板资源。

工作流模板用例

  • 重复性任务的自动化。 工作流封装了常用的集群配置和作业。

  • Transactional、Fire 和 Forget API 交互模型。 工作流模板会替换典型流中涉及的各个步骤,包括创建集群、提交作业、轮询和删除集群。 它们使用单个令牌来跟踪从集群创建到删除的进度,并自动进行错误处理和恢复。 它们还简化了 Dataproc 与其他工具(如 Cloud Functions 和 Cloud Composer)的集成。

  • 支持临时和长期集群。 与运行 Apache Hadoop 相关的常见复杂性是微调和调整集群大小。 临时(受管)集群运行单个工作负载,因此更易于配置。集群选择器可与有效期较长的集群一起使用,重复执行相同的工作负载,而不产生创建和删除集群的摊销成本。

  • 细化的 IAM 安全性。 创建 Dataproc 集群并提交作业需要一些“一刀切”式的 IAM 权限(要么全有、要么全无,无法精细指定)。工作流模板使用针对每个模板的 workflowTemplates.instantiate 权限,并且不依赖于集群或作业权限。