管理工作流

本文档介绍了如何管理工作流，包括如何安排和删除工作流。

本文档还介绍了如何在 Dataplex 中查看和管理工作流元数据。

工作流由 Dataform 提供支持。

准备工作

  1. 创建工作流。
  2. 如需在 Dataplex 中管理工作流元数据，请确保已在您的 Google Cloud 项目中启用 Dataplex API。

所需的角色

如需获得管理工作流所需的权限，请让您的管理员为您授予以下 IAM 角色：

  • 删除工作流：工作流的 Dataform Admin (roles/dataform.Admin)
  • 查看和运行工作流：项目的 Dataform Viewer (roles/dataform.Viewer)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需在 Dataplex 中管理工作流元数据，请确保您拥有所需的 Dataplex 角色

如需详细了解 Dataform IAM，请参阅使用 IAM 进行访问权限控制。

查看所有工作流

如需查看项目中所有工作流的列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，点击 展开工作流。

查看过去的手动运行

如需查看所选工作流的过往手动运行情况，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

  3. 点击执行。

  4. 可选：如需刷新过去运行情况的列表，请点击刷新。

为失败的工作流运行配置提醒

每个工作流都有一个对应的 Dataform 代码库 ID。每次 BigQuery 工作流运行都会使用相应的 Dataform 代码库 ID 在 Cloud Logging 中记录。您可以使用 Cloud Monitoring 观察 BigQuery 工作流运行的 Cloud Logging 日志中的趋势，并在出现描述的条件时通知您。

如需在 BigQuery 工作流运行失败时收到提醒，您可以为相应的 Dataform 代码库 ID 创建基于日志的提醒政策。如需查看说明，请参阅为失败的工作流调用配置提醒。

如需查找工作流的 Dataform 代码库 ID，请执行以下操作：

  1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

  3. 点击设置。

    工作流的 Dataform 代码库 ID 显示在设置标签页的底部。

删除工作流

如需永久删除工作流，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

    转到 BigQuery

  2. 在探索器窗格中，展开您的项目和工作流文件夹。找到要删除的工作流。

  3. 点击工作流旁边的 查看操作，然后点击删除。

  4. 点击删除。

在 Dataplex 中管理元数据

借助 Dataplex，您可以存储和管理工作流的元数据。默认情况下，Dataplex 中会提供工作流，而无需进行额外配置。

您可以使用 Dataplex 在所有工作流位置管理工作流。在 Dataplex 中管理工作流需要遵守 Dataplex 配额和限制以及 Dataplex 价格。

Dataplex 会自动从工作流中检索以下元数据：

  • 数据资产名称
  • 数据资产父级
  • 数据资产位置
  • 数据资产类型
  • 对应的 Google Cloud 项目

Dataplex 会将工作流记录为条目，并使用以下条目值：

系统条目组
工作流的系统条目组为 @dataform。
如需查看 Dataplex 中工作流条目的详细信息，您需要查看 dataform 系统条目组。如需了解如何查看条目组中所有条目的列表，请参阅 Dataplex 文档中的查看条目组的详细信息。
系统条目类型
工作流的系统条目类型为 dataform-code-asset。
如需查看工作流的详细信息，您需要查看 dataform-code-asset 系统条目类型，使用基于方面过滤器过滤结果，并将 dataform-code-asset 方面内的 type 字段设置为 WORKFLOW。 然后，选择所选工作流的条目。 如需了解如何查看所选条目类型的详细信息，请参阅 Dataplex 文档中的查看条目类型的详细信息。如需了解如何查看所选条目的详细信息，请参阅 Dataplex 文档中的查看条目的详细信息。
系统方面类型
工作流的系统方面类型为 dataform-code-asset。
如需通过使用方面为数据工作流条目添加注释来为 Dataplex 中的工作流提供更多上下文，请查看 dataform-code-asset 方面类型，使用基于方面的过滤条件过滤结果，并将 dataform-code-asset 方面内的 type 字段设置为 WORKFLOW。如需了解如何使用方面为条目添加注解，请参阅 Dataplex 文档中的管理方面并丰富元数据。
类型
数据画布的类型为 WORKFLOW。借助此类型，您可以使用基于方面过滤器中的 aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW 查询过滤 dataform-code-asset 系统条目类型和 dataform-code-asset 方面类型中的工作流。

如需了解如何在 Dataplex 中搜索资产，请参阅 Dataplex 文档中的在 Dataplex 中搜索数据资产。

后续步骤