安排生产环境的执行

安排生产环境的执行

本快速入门将引导您逐步安排生产环境 Dataform 中的执行：

• 创建 Dataform 代码库。
• 授予 Dataform 对 BigQuery 的访问权限。

• 创建版本配置以配置生产环境。

  创建 production 版本配置，并设置创建 production 编译结果的频率。

• 创建工作流配置以在生产环境中安排执行作业。

  创建 production 工作流配置，然后选择 production 版本 配置，并设置执行 production 编译的时间表 结果。

• 查看过去的编译结果。

• 查看过往的执行情况。

• 清理制作的素材资源。

准备工作

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

所需的角色

如需获得执行本教程中所有任务所需的权限，请让管理员为您授予以下 IAM 角色：

• Dataform Admin (roles/dataform.admin) 代码库
• Dataform Editor (roles/dataform.editor) - 针对工作区和 workflowInvocations

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建 Dataform 仓库

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 点击 创建制品库。

3. 在创建仓库页面上，执行以下操作：

   1. 在代码库 ID 字段中，输入 quickstart-production。

   2. 在区域列表中，选择 europe-west4。

   3. 点击创建。

4. 点击完成。

向 Dataform 授予对 BigQuery 的访问权限

如需在 BigQuery 中执行工作流，Dataform 服务账号必须具有以下所需角色：

• 对 Dataform 需要同时拥有读取和写入权限的项目的 BigQuery Data Editor。其中通常包括托管 Dataform 代码库的项目。
• BigQuery 数据查看者 （针对 Dataform 需要只读访问权限的项目）。
• 托管 Dataform 代码库的项目中的 BigQuery Job User。

如需授予这些角色，请按以下步骤操作：

1. 在 Google Cloud 控制台中，转到 IAM 页面。

   转到 IAM 页面

2. 点击添加。

3. 在新的主账号字段中，输入您的 Dataform 服务账号 ID。

4. 在选择角色下拉列表中， BigQuery Job User 角色。

5. 点击添加其他角色，然后在选择角色下拉列表中选择 BigQuery Data Editor 角色。

6. 点击添加其他角色，然后在选择角色下拉列表中选择 BigQuery Data Viewer 角色。

7. 点击保存。

创建版本配置

如需创建 quickstart-production 仓库的生产编译结果，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 点击 quickstart-production。

3. 点击发布配置，然后点击 新版本配置。

4. 在创建版本配置窗格中，配置以下设置：

   1. 在版本 ID 字段中，输入 production。

   2. 在 Git commitish 字段中，保留默认值 main。

   3. 在频率下拉菜单中，选择自定义。

   4. 在自定义时间安排字段中，输入 0 16 * * *。

   5. 在时区下拉菜单中，选择 UTC+1 时区，例如 Greenwich Mean Time (GMT)（格林尼治标准时间）。

   Dataform 会在每天 UTC+1 下午 4 点编译 quickstart-production 仓库，并应用在此版本配置中配置的编译设置，以创建 production 编译结果。

5. 点击创建。

production 版本配置会创建 每天下午 4 点 (UTC+1) 上传整个 quickstart-production 代码库。

创建工作流配置

如需安排 production 表的执行，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 点击 quickstart-production。

3. 点击工作流配置，然后点击新建工作流配置。

4. 在创建工作流配置窗格的配置 ID 字段中，输入 production。

5. 在版本配置下拉菜单中，选择 production。

6. 在频率字段中，输入 0 17 * * *。

7. 在时区下拉菜单中，选择 UTC+1 时区，例如 Greenwich Mean Time (GMT)（格林尼治标准时间）。

   Dataform 会在每天下午 5 点 (UTC+1) 执行最新的 production quickstart-production 代码库的编译结果。

   为了确保 Dataform 执行最新的编译结果 对应的版本配置中，两个版本之间至少要间隔 1 小时 编译结果的创建时间和计划执行的时间。

8. 点击所有操作。

   Dataform 将在以下集群中执行所有 SQL 工作流操作： production 编译结果。

9. 点击创建。

production 工作流配置会在每天 UTC+1 下午 4 点执行通过 production 版本配置创建的整个最新编译结果。

查看过去 production 的编译结果

如需查看过去安排的 production 编译结果，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   转到 Dataform

2. 点击 quickstart-production。

3. 点击版本配置。

4. 点击 production。

查看过往的 production 工作流执行

如需查看过去 production 个工作流的执行情况，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 点击 quickstart-production。

3. 点击工作流配置。

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

删除在 BigQuery 中创建的数据集

为避免 BigQuery 资产产生费用，请遵循以下做法 删除名为 dataform_production 的数据集的步骤：

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器面板中，展开您的项目并选择 dataform_production。

3. 点击 操作菜单，然后选择删除。

4. 在删除数据集对话框中，输入 delete，然后点击删除。

删除 Dataform 版本配置

创建 Dataform 版本不会产生任何费用 配置。不过，如果您想删除“production”版本 配置，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往 Dataform 页面。

   前往 Dataform

2. 点击 quickstart-production。

3. 点击发布配置。

4. 根据 production 版本配置，点击 更多菜单，然后点击删除。

5. 在删除版本配置对话框中，点击删除。

删除 Dataform 工作流配置

为避免 BigQuery 资产产生费用，请按照以下步骤删除 Dataform production 工作流配置：

1. 在 Google Cloud 控制台中，进入 Dataform 页面。

   转到 Dataform

2. 点击 quickstart-production。

3. 点击工作流配置。

4. 根据 production 工作流配置，点击 更多菜单，然后点击删除。

5. 在删除版本配置对话框中，点击删除。

删除 Dataform 代码库

创建 Dataform 代码库不会产生任何相关费用。 但是，如果您想删除代码库及其所有内容，请按照以下指示操作 步骤：

1. 在 Google Cloud 控制台中，进入 Dataform 页面。

   转到 Dataform

2. quickstart-production，点击 的更多菜单， 然后选择删除。

3. 在删除代码库窗口中，输入代码库的名称以确认删除。

4. 请点击删除来确认操作。

后续步骤

• 如需详细了解 Dataform 中的代码生命周期，请参阅 Dataform 中代码生命周期简介。

• 如需详细了解 Dataform 中代码生命周期的最佳实践，请参阅管理代码生命周期。

• 如需详细了解 Dataform 中的发布配置，请参阅创建发布配置。

• 如需详细了解 Dataform 中的工作流配置，请参阅使用工作流配置安排执行作业。