这一页介绍了区域,并说明了如何将区域添加到 Dataplex 数据湖。
Dataplex 区域概念
数据区域是 Dataplex 数据湖中的已命名实体。它们是对非结构化、半结构化和结构化数据的逻辑分组,由多个资产(例如 Cloud Storage 存储桶、BigQuery 数据集和 BigQuery 表)组成。
一个数据湖可以包含一个或多个区域。虽然一个区域只能属于一个数据湖,但它可能包含指向其父级项目之外的项目的资源的素材资源。
您可以在 Dataplex 中为区域选择配置。还有 有两种区域供您选择:原始区域和精选区域。
原始区域
原始区域用于存储结构化数据、CSV 文件和 JSON 文件等半结构化数据,以及来自外部来源的任何格式的非结构化数据。这对于在执行任何转换之前暂存原始数据非常有用。数据可以存储在 Cloud Storage 存储桶或 BigQuery 数据集中。
原始存储桶支持对读取和写入权限进行存储桶级或数据集级粒度控制。如需了解详情,请参阅 IAM 和访问权限控制。
对可在原始区域中存储的数据类型没有任何限制。
精选区域
精选区域用于存储结构化数据。数据可以存储在 Cloud Storage 存储分区中 或 BigQuery 数据集。
Cloud Storage 存储分区支持的格式包括 Parquet、Avro 和 ORC。 这对于需要先处理才能用于分析的数据进行暂存,或者提供已准备好进行分析的数据非常有用。
对于 BigQuery 表,您必须拥有定义良好的架构和 Hive 风格分区。在精选区域中为给定表提供架构时,数据应符合为该表定义的架构,且不会出现架构漂移。
这意味着,数据应与为表定义的架构兼容,并且新分区不得采用与表架构冲突的架构。
精选可用区支持 Cloud Storage 存储桶级 BigQuery 数据集级读写粒度 权限。如需了解详情,请参阅使用 IAM 进行访问权限控制。
准备工作
您必须先创建数据湖,然后才能向其添加区域。如果您还没有 请先创建数据湖。
大多数 gcloud lake
命令需要位置信息。您可以通过以下方式指定位置
设置 --location
参数。
访问权限控制
- 如需添加可用区,您必须具有包含
dataplex.lakes.create
IAM 权限的 IAM 角色。Dataplex 特定角色roles/dataplex.admin
可用于授予 add 权限。
如需了解详情,请参阅 Dataplex 使用 IAM 进行访问权限控制。
添加区域
您可以通过发出
Dataplex API 方法 lakes.zones.create
或在 Google Cloud 控制台中添加一个可用区即可。
您可以向数据湖添加多个可用区。您一次只能添加一个可用区 在创建可用区时仍会使用您的数据湖。
控制台
在 Google Cloud 控制台中,前往 Dataplex:
进入管理数据视图。
在管理视图中,点击您要添加的数据湖的名称 可用区
在区域标签页中,点击
添加区域。为您的区域输入显示名称。
点击类型下拉菜单。选择原始区域或精选区域。详细了解支持的可用区类型。
可选:输入说明。
在数据位置下,选择区域级或多区域。 您选择的选项日后无法更改。单区域和多区域 不能在同一可用区混用数据。
可选:启用元数据发现功能,以便 Dataplex 自动扫描区域中的数据并从中提取元数据:
点击发现设置。
确保已选择启用元数据发现。
可选:在包含格式下,列出要添加到 发现扫描。
可选:在排除格式下,在 发现扫描。如果您同时输入包含模式和排除模式,系统会先应用排除模式。
点击重复下拉菜单,然后选择频率。
点击时区下拉菜单,然后选择一个时区。
如果您在重复周期下选择了自定义,请在时间安排下输入 作业时间表。 否则,系统会自动为您填充 Schedule 值。
点击创建。
区域可能需要几分钟才能创建完毕。
REST
按照 API 说明使用 API Explorer 添加区域。
成功创建区域后,该区域会自动进入活跃状态。如果失败,则数据湖会回滚到之前的状态。
创建区域后,您可以映射存储在 Cloud Storage 存储分区中的数据,并 将 BigQuery 数据集作为资产 可用区。
后续步骤
- 详细了解如何管理存储桶。
- 详细了解如何创建数据湖。
- 详细了解 Cloud Audit Logs。