本文档介绍了如何创建仓库以及如何设置和修改仓库 服务账号,并在 Dataform 中删除代码库。
创建 Dataform 代码库时,您需要设置以下内容 代码库设置:
- 代码库 ID
- 代码库的唯一 ID。ID 只能包含数字、字母、连字符 和下划线。
- 区域
用于存储代码库及其内容的 Dataform 区域。
此存储区域可以不同于处理 Dataform 会处理您的代码并存储执行结果。 默认情况下,处理区域设置为您的默认 BigQuery 数据集区域。您可以在工作流设置文件中修改处理区域 创建代码库后如需了解详情,请参阅 配置 Dataform 设置。
- 服务账号
与代码库关联的服务账号。您可以选择默认值 Dataform 服务账号,该服务账号 Google Cloud 项目,或手动输入其他服务账号。默认情况下 Dataform 使用根据您的项目编号生成的服务账号 以下格式:
service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com
Dataform 为所有代码库使用默认服务账号 操作。您可以使用其他服务账号执行工作流 但默认服务账号仍用于 其他代码库操作
- 加密
代码库的加密方法。您可以使用 默认加密 或应用客户管理的 Cloud KMS 加密密钥。 详细了解如何使用 客户管理的加密密钥 (CMEK) Dataform 部分,请参阅使用客户管理的加密密钥。
创建代码库后,您可以 将其连接到 GitHub 或 GitLab。
准备工作
- 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手,请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金,用于运行、测试和部署工作负载。
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Enable the BigQuery and Dataform APIs.
- 如需对代码库使用 CMEK 加密,请为 Dataform 代码库启用 CMEK 加密。
所需的角色
如需获取创建和删除代码库所需的权限,
请让管理员向您授予
针对代码库的 Dataform Admin (roles/dataform.admin
) IAM 角色。
如需详细了解如何授予角色,请参阅管理访问权限。
使用默认 Dataform 服务以外的服务账号 账号,授予对自定义服务账号的访问权限。
创建代码库
如需创建 Dataform 代码库,请按以下步骤操作:
在 Google Cloud 控制台中,前往 Dataform 页面。
点击创建代码库。
在创建代码库页面的代码库 ID 字段中, 输入唯一 ID
ID 只能包含数字、字母、连字符和下划线。
在区域下拉列表中,选择一个 Dataform 区域 用于存储代码库及其内容。选择 Dataform 离您最近的区域。
如需查看可用 Dataform 区域的列表,请参阅 地理位置。代码库区域没有 来匹配 BigQuery 数据集的位置。
在
workflow_settings.yaml
文件中,您可以设置处理区域,其中 Dataform 会处理您的代码并存储执行结果。 处理区域必须与 BigQuery 的位置一致 数据集,但不需要与代码库区域匹配。 如需了解详情,请参阅 配置 Dataform 设置。在服务账号下拉菜单中,选择一个服务账号 代码库
在下拉菜单中,您可以选择默认的 Dataform 服务账号 或任何与您拥有的 Google Cloud 项目关联的服务账号 访问权限。请注意,自定义服务账号仅使用 执行工作流。所有其他代码库操作仍然会执行 默认启用 Dataform 服务账号
- 可选:如需选择下拉菜单中未显示的服务账号,请执行以下操作: 点击手动输入并输入服务账号 ID。
在加密部分中,为代码库选择加密方法。
- 如需使用默认加密,请执行以下操作: 选择 Google 管理的加密密钥选项。
如需使用 CMEK,请选择客户管理的加密密钥 (CMEK) 选项。
- 在选择客户管理的密钥下拉列表中, 为代码库选择 CMEK 密钥。
如需了解详情,请参阅 Dataform CMEK 限制。
点击创建,然后点击完成。
修改服务账号
您可以将自定义服务账号与 Dataform 相关联 用于执行工作流的代码库所有其他代码库操作 仍然由默认的 Dataform 服务账号执行。
如需修改 Dataform 代码库的服务账号,请按以下步骤操作:
在 Google Cloud 控制台中,前往 Dataform 页面。
选择一个代码库,然后点击设置。
在服务账号字段,点击
修改服务账号。在服务账号下拉菜单中,选择一个服务账号 代码库
在下拉菜单中,您可以选择默认的 Dataform 服务账号 或任何与您拥有的 Google Cloud 项目关联的服务账号 访问权限。
- 可选:如需选择下拉菜单中未显示的服务账号,请执行以下操作: 点击手动输入并输入服务账号 ID。
点击保存。
删除代码库
如需删除代码库及其所有内容,请按以下步骤操作:
在 Google Cloud 控制台中,前往 Dataform 页面。
在要删除的代码库旁边,点击
更多菜单,然后选择删除。在删除代码库窗口中,输入代码库的名称以确认删除。
点击删除。
后续步骤
如需了解如何配置 Dataform 处理设置, 请参阅配置 Dataform 设置。
如需了解如何将 Dataform 代码库关联到第三方 Git 提供商, 请参阅连接到第三方 Git 代码库。
如需了解如何在 Dataform 中使用 CMEK,请参阅 使用客户管理的加密密钥。
如需了解如何创建开发工作区,请参阅 创建工作区。