管理数据准备
本文档介绍了如何管理 BigQuery 中的数据准备,包括如何部署和安排数据准备。数据准备是指由 Dataform 提供支持的 BigQuery 资源。
准备工作
- 确保您已启用 Gemini for Google Cloud API。
所需的角色
为确保 Dataform 服务账号拥有在 BigQuery 中准备数据所需的权限,请参阅 Dataform 服务账号所需的角色。
如需获得在 BigQuery 中准备数据所需的权限,请让管理员向您授予项目的以下 IAM 角色:
-
BigQuery Data Editor (
roles/bigquery.dataEditor
) -
Service Usage Consumer (
roles/serviceusage.serviceUsageConsumer
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
查看现有的数据准备
如需查看现有数据准备工作列表,请按以下步骤操作:
- 在 BigQuery Studio 页面上,前往浏览器窗格。
- 展开您的项目。
- 展开数据准备列表。
安排数据准备
您可以在数据准备编辑器中创建时间表,并在 BigQuery Orchestration(编排)页面中管理时间表。
创建时间表
如需创建用于执行数据准备步骤并将准备好的数据加载到目标表中的时间安排,请安排一次性或定期运行数据准备作业:
- 在数据准备工具栏中,点击安排。
- 输入时间表名称。
- 输入与执行作业关联的服务账号名称。
- 设置频率。
- 点击创建时间表。
查看日程
如需查看项目中的所有数据准备时间表,请按以下步骤操作:
在 Google Cloud 控制台中,前往编排页面。
可选:如需查看所选时间表及其过往的运行情况的详细信息,请点击相应时间表的名称。
删除时间表
如需永久删除所选数据准备作业的时间表,请按以下步骤操作:
在 Google Cloud 控制台中,前往编排页面。
在包含时间表的行中,依次点击 > 删除。
操作
通过增量处理数据来优化数据准备
如需配置将准备好的数据写入目标表的方式,请按以下步骤操作。
在 Google Cloud 控制台中,转到 BigQuery Studio 页面。
在活动窗格中,选择您的数据准备。
在数据准备工具栏中,依次选择更多 > 写入模式。
选择其中一个选项。如需了解详情,请参阅写入模式。
点击保存。
帮助改进建议
您可以与 Google 共享提交给预览版功能的提示数据,帮助改进 Gemini 建议。如需共享提示数据,请按照以下步骤操作:
- 在 BigQuery 中打开数据准备编辑器。
- 在数据准备工具栏中,依次点击设置 更多。
- 选择共享数据以改进 BigQuery 中的 Gemini。
数据共享设置适用于整个项目,且只能由拥有 serviceusage.services.enable
和 serviceusage.services.list
IAM 权限的项目管理员设定。如需详细了解可信测试员计划中的数据使用方式,请参阅 适用于 Google Cloud 的 Gemini 可信测试员计划。
数据准备版本
BigQuery 数据准备不支持查看、比较或恢复数据准备版本。
如需按时间顺序查看数据准备版本列表,请按以下步骤操作:
- 在 BigQuery Studio 页面上,前往浏览器窗格。
- 选择数据准备。版本会在分层图表窗格的活动标签页中列出。
下载数据准备
如需下载 YAML 文件中的数据准备,请按以下步骤操作:
在 Google Cloud 控制台中,转到 BigQuery Studio 页面。
在浏览器窗格中,展开您的项目和数据准备文件夹。点击要下载的数据准备的名称。
点击下载。数据准备工作会以 YAML 文件格式(例如
NAME data preparation.dp.yaml
)保存。
上传数据准备文件
如需通过 YAML 文件上传数据准备流程,请按以下步骤操作:
在 Google Cloud 控制台中,转到 BigQuery Studio 页面。
在探索器面板中,展开您的项目。
前往数据准备文件夹,然后依次点击more_vert 菜单 > 上传到数据准备。
在上传数据准备文件对话框中,选择要上传的文件,或输入数据准备文件的网址。
为数据准备输入名称。
选择用于管理和存储资源的数据准备位置。
点击上传。
后续步骤
- 详细了解如何在 BigQuery 中准备数据。
- 了解如何创建数据准备流程。