管理工作流

本文档介绍了如何管理工作流，包括如何安排和删除工作流。

本文档还介绍了如何在 Dataplex 中查看和管理工作流元数据。

Workflows 由 Dataform 提供支持。

准备工作

  1. 创建工作流。
  2. 如需在 Dataplex 中管理工作流元数据，请确保在您的 Google Cloud 项目中启用了 Dataplex API。

所需的角色

如需获得管理工作流所需的权限，请让管理员为您授予以下 IAM 角色：

  • 删除工作流：Dataform Admin (roles/dataform.Admin)（针对工作流）
  • 查看和运行工作流：项目的 Dataform Viewer (roles/dataform.Viewer)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需在 Dataplex 中管理工作流元数据，请确保您拥有所需的 Dataplex 角色

如需详细了解 Dataform IAM，请参阅使用 IAM 进行访问权限控制。

查看所有工作流

如需查看项目中所有工作流的列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，点击 展开工作流。

查看过往的手动运行作业

如需查看所选工作流的过往手动运行情况，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

  3. 点击执行。

  4. 可选：如需刷新过往运行情况的列表，请点击刷新。

为工作流运行失败配置提醒

每个工作流都有对应的 Dataform 代码库 ID。每次 BigQuery 工作流运行都会使用相应的 Dataform 仓库 ID 在 Cloud Logging 中记录。您可以使用 Cloud Monitoring 观察 BigQuery 工作流运行的 Cloud Logging 日志中的趋势，并在出现描述的条件时通知您。

如需在 BigQuery 工作流运行失败时接收提醒，您可以为相应的 Dataform 仓库 ID 创建基于日志的提醒政策。如需了解相关说明，请参阅为失败的工作流调用配置提醒。

如需查找工作流的 Dataform 代码库 ID，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

  3. 点击设置。

    工作流的 Dataform 代码库 ID 显示在设置标签页底部。

删除工作流

如需永久删除工作流，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，展开您的项目和工作流文件夹。找到要删除的工作流。

  3. 点击工作流旁边的 查看操作，然后点击删除。

  4. 点击删除。

在 Dataplex 中管理元数据

借助 Dataplex，您可以存储和管理工作流的元数据。Workflows 默认可在 Dataplex 中使用，无需额外配置。

您可以使用 Dataplex 管理所有工作流位置中的工作流。在 Dataplex 中管理工作流会受到 Dataplex 配额和限制以及 Dataplex 价格的约束。

Dataplex 会自动从工作流中检索以下元数据：

  • 数据资源名称
  • 数据资产父级
  • 数据资产位置
  • 数据资产类型
  • 相应的 Google Cloud 项目

Dataplex 会将工作流记录为条目，并附带以下条目值：

系统条目组
工作流的系统条目组为 @dataform。如需查看 Dataplex 中工作流条目的详细信息，您需要查看 dataform 系统条目组。如需了解如何查看条目组中的所有条目列表，请参阅 Dataplex 文档中的查看条目组的详细信息。
系统条目类型
工作流的系统条目类型为 dataform-code-asset。如需查看工作流的详细信息，您需要查看 dataform-code-asset 系统条目类型，使用基于方面的过滤条件过滤结果，并将 dataform-code-asset 方面中的 type 字段设置为 WORKFLOW。然后，选择所选工作流的条目。 如需了解如何查看所选条目类型的详细信息，请参阅 Dataplex 文档中的查看条目类型的详细信息。如需了解如何查看所选条目的详细信息，请参阅 Dataplex 文档中的查看条目的详细信息。
系统方面类型
工作流的系统方面类型为 dataform-code-asset。如需使用方面为 Dataplex 中的工作流提供更多上下文，请查看 dataform-code-asset 方面类型，使用基于方面的过滤条件过滤结果，并将 dataform-code-asset 方面中的 type 字段设为 WORKFLOW。如需了解如何使用方面为条目添加注释，请参阅 Dataplex 文档中的管理方面和丰富元数据。
类型
数据画布的类型为 WORKFLOW。借助此类型，您可以在基于方面过滤条件中使用 aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW 查询，从而在 dataform-code-asset 系统条目类型和 dataform-code-asset 方面类型中过滤工作流。

如需了解如何在 Dataplex 中搜索资产，请参阅 Dataplex 文档中的在 Dataplex 中搜索数据资产。

后续步骤