Dataproc 工作流模板概览

Dataproc WorkflowTemplates API 为工作流的管理和执行提供了一种灵活且易用的机制。工作流模板是可重复使用的工作流配置。该模板定义了作业图，其中包含在哪里运行这些作业的信息。

要点：

  • 对工作流模板进行实例化会启动工作流。工作流是一种在集群上运行作业的有向无环图 (DAG) 的操作。
    • 如果工作流使用受管集群，则会创建集群，运行作业，然后在作业完成时删除集群。
    • 如果工作流使用集群选择器，则它会在选定的现有集群上运行作业。
  • 工作流非常适合复杂的作业流。您可以创建作业依赖项，以便仅在其依赖项顺利完成后才启动作业。
  • 创建工作流模板时，Dataproc 不会创建集群或将作业提交到集群。当工作流模板实例化时，Dataproc 会创建或选择集群并在该集群上运行工作流作业。

工作流模板类型

受管集群

工作流模板可以指定受管集群。该工作流将创建一个“临时”集群来运行工作流作业，然后在工作流完成时删除该集群。

集群选择器

工作流模板可以通过指定先前附加到集群的一个或多个用户标签来指定要在其上运行工作流作业的现有集群。工作流将在与所有标签匹配的集群上运行。如果多个集群与所有标签匹配，Dataproc 将选择具有最多 YARN 可用内存的集群来运行所有工作流作业。在工作流结束时，Dataproc 不会删除所选集群。如需了解详情，请参阅结合使用集群选择器与工作流。

参数化

如果要使用不同的值多次运行工作流模板，请使用参数以避免每次运行都修改工作流模板：

  1. 在模板中定义参数

  2. 每次运行都会为参数传递不同的值。

如需了解详情，请参阅工作流模板的参数化。

内嵌

对工作流进行内嵌实例化的方式包括：使用 gcloud 命令来处理工作流模板 YAML 文件，或者调用 Dataproc InstantiateInline API。（请参阅使用内嵌 Dataproc 工作流）。内嵌工作流不会创建或修改工作流模板资源。

工作流模板用例

  • 重复性任务的自动化。 工作流封装了常用的集群配置和作业。

  • 事务性“即发即弃”API 交互模型。工作流模板会替换典型流程中涉及的步骤，其中包括：

    1. 创建集群
    2. 正在提交作业
    3. 轮询
    4. 删除集群

    工作流模板使用单个令牌来跟踪从集群创建到删除的进度，并自动执行错误处理和恢复。它们还简化了 Dataproc 与其他工具（如 Cloud Functions 和 Cloud Composer）的集成。

  • 支持临时和长期集群。 与运行 Apache Hadoop 相关的常见复杂性是微调和调整集群大小。 临时（受管）集群运行单个工作负载，因此更易于配置。集群选择器可与有效期较长的集群一起使用，重复执行相同的工作负载，而不会产生创建和删除集群的摊销成本。

  • 细化的 IAM 安全性。 创建 Dataproc 集群并提交作业需要一些“一刀切”式的 IAM 权限（要么全有、要么全无，无法精细指定）。工作流模板使用针对每个模板的 workflowTemplates.instantiate 权限，并且不依赖于集群或作业权限。