创建工作流

预览

本产品受服务专用条款的“通用服务条款”部分中的“非正式版产品条款”约束。 非正式版产品“按原样”提供，可能只能获得有限的支持。 如需了解详情，请参阅发布阶段说明。

如需针对此功能请求支持或提供反馈，请发送电子邮件至 [e-mail]。

本文档介绍了如何在 BigQuery 中创建工作流。工作流由 Dataform 提供支持。

准备工作

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

8. 按照启用代码资产管理中的说明保存、共享和管理代码资产（例如工作流）的各个版本。
9. 如果这是您第一次创建代码资产，请设置用于存储代码资产的默认区域。代码资源创建后，便无法更改该区域。

所需的角色

如需获得创建工作流所需的权限，请让管理员向您授予项目的以下 IAM 角色：

• 创建工作流：Code Creator (roles/dataform.codeCreator)
• 修改和运行工作流：Dataform Editor (roles/dataform.editor)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需详细了解 Dataform IAM，请参阅使用 IAM 进行访问权限控制。

注意：当您创建工作流时，BigQuery 会为您授予专门用于该工作流的 Dataform Admin (roles/dataform.admin) 角色。这会向您授予管理和修改该工作流的所有者访问权限。任何在 Google Cloud 项目级被授予 Dataform Admin 角色的用户都会拥有对该项目中所有工作流的所有者访问权限。

创建工作流

如需创建工作流，请按以下步骤操作：

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 在编辑器窗格的标签页栏中，点击 + 号旁边的 下拉菜单箭头，然后点击工作流。

3. 可选：如需重命名工作流，请点击工作流名称，然后输入新名称。

4. 点击开始，然后前往设置标签页。

5. 在服务账号字段中，选择一个 Dataform 服务账号。

6. 在位置部分，为工作流选择处理区域。

   1. 如需选择特定区域，请选择区域，然后在区域下拉菜单中选择相应区域。
   2. 如需选择多区域位置，请选择多区域，然后在多区域下拉菜单中选择相应多区域位置。

   工作流处理区域无需与代码资产的默认存储区域相匹配。

7. 如果您打算将笔记本添加到工作流中，请执行以下操作：

   1. 在 Cloud Storage 存储桶字段中，点击浏览，然后选择或创建一个 Cloud Storage 存储桶，用于在工作流中存储笔记本的输出。

   2. 请按照将主账号添加到存储桶级层政策中中的说明，将您的自定义 Dataform 服务账号作为主账号添加到您计划用于存储预定工作流运行输出的 Cloud Storage 存储桶，并向此主账号授予 Storage Admin (roles/storage.admin) 角色。

      所选的自定义 Dataform 服务账号必须在所选存储桶中获得 Storage Admin IAM 角色。

添加工作流任务

如需将任务添加到工作流，请按以下步骤操作：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

3. 如需添加 SQL 查询或笔记本，请执行以下操作：

   SQL 查询

   1. 点击添加任务，然后选择查询。

   2. 可选：在 Query task details（查询任务详情）窗格中的在完成以下哪一项操作以后运行下拉菜单中，选择将在查询之前运行的任务。

      您的查询会取决于前置任务。

   3. 如需创建查询，请点击创建查询。

   4. 在新查询中，添加查询语法，然后点击保存查询。

   5. 可选：如需重命名查询，请点击查询名称，然后输入新名称。

   笔记本

   1. 点击添加任务，然后选择笔记本。

   2. 可选：在 Notebook task details（笔记本任务详情）窗格中的在完成以下哪一项操作以后运行下拉菜单中，选择将在笔记本之前运行的任务。

      您的笔记本会取决于前置任务。

   3. 如需创建笔记本，请点击创建笔记本。

   4. 在新笔记本中添加笔记本内容，然后点击保存。

   5. 可选：如需重命名笔记本，请点击笔记本名称，然后输入新名称。

修改工作流任务

如需修改工作流任务，请按以下步骤操作：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

3. 点击所选任务。

4. 如需更改前置任务，请在在完成以下哪一项操作以后运行下拉菜单中，选择将在笔记本之前运行的任务。

5. 如需修改所选任务的内容，请点击修改。

6. 在打开的新标签页中，修改任务内容，然后保存对任务的更改。

删除工作流任务

如需从工作流中删除任务，请按以下步骤操作：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

3. 点击所选任务。

4. 在任务详情窗格中，点击删除删除图标。

运行工作流

如需手动运行工作流的当前版本，请按以下步骤操作：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，展开您的项目和工作流文件夹，然后选择一个工作流。

3. 点击运行。

4. 可选：如需检查运行情况，请查看过去的手动运行情况。

后续步骤

• 详细了解 BigQuery 中的工作流。
• 了解如何管理工作流。