您可以使用 Dataplex 构建数据网格架构。本指南介绍如何使用 Dataplex 功能(例如数据湖、可用区和资源)构建数据网格。
数据网格是一种组织和技术方法,可在网域数据所有者之间分散数据所有权。这些所有者以标准方式将数据作为产品提供,并促进组织的不同部分之间的通信,以跨不同位置分发数据集。详细了解数据网格架构。
目标
在本指南中,您将使用 Dataplex 实体构建数据网格架构:
- 创建一个 Dataplex 数据湖,用作数据网格的网域。
- 向您的数据湖添加区域,以代表每个网域中的各个团队并提供代管式数据合同。
- 将映射到 Cloud Storage 中的数据的资源附加。
费用
在本文档中,您将使用 Google Cloud 的以下收费组件:
您可使用价格计算器根据您的预计使用情况来估算费用。
完成本文档中描述的任务后,您可以通过删除所创建的资源来避免继续计费。如需了解详情,请参阅清理。
准备工作
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
启用 Dataplex API。
创建 Cloud Storage 存储桶
您需要使用 Cloud Storage 存储桶来存储数据网格的数据资源。
按照步骤创建 Cloud Storage 存储桶,然后执行以下操作:
- 为您的存储桶命名。
- 对于位置类型,选择区域,然后从下拉菜单中选择 us-central1(爱荷华)。
创建网域
在 Google Cloud 控制台中,转到 Dataplex 页面:
进入管理视图。
点击创建以创建一个新的数据湖,该数据湖将用作您的数据网格。
在显示名称字段中,输入
My data mesh
。对于区域,请选择
us-central1
。选择您之前创建并配置为关联的 Metastore 的 Dataproc Metastore 服务。
点击创建。
在数据湖中创建区域
通过创建 Dataplex 数据湖创建网域后,您可以使用区域在网域内托管代管式数据合同和各个团队。可用区有两种类型:
原始区域通常用于在 Cloud Storage 中存储来自外部来源的任何格式的数据。对于在可供使用之前需要进一步处理的数据,原始区域非常有用。
特选区域用于 Cloud Storage 中必须符合特定文件格式的结构化数据,并以与 Hive 兼容的目录布局进行组织。对于已准备好使用和分析的数据最有用。
每个网域(例如 sales
、customers
、products
)至少应该有一个原始区域和一个精选区域。
额外区域可用于管理团队之间的数据合约,或用于为给定网域中的团队提供更精细的细分。例如,产品网域内的产品目录管理。数据所有者能够管理其网域中的数据并访问这些数据。
在 Google Cloud 控制台的 Dataplex 中,转到管理视图。
点击要添加区域的数据湖的名称 (
My data mesh
)。在 Zones(区域)标签页中,点击
Add Zone(添加区域)。在显示名称字段中,输入
My sub domain
。Dataplex 会自动为您的区域生成 ID。注意:地区名称将成为 BigQuery 数据集的名称。因此,在同一 Google Cloud 项目中托管的所有区域都必须具有唯一 ID,即使它们位于不同的数据湖中也是如此。
对于类型,选择 Raw area。
点击创建。
将资源附加到区域
将数据资产挂接到您的区域。数据资源(即包含数据的存储资源)可以是 Cloud Storage 存储桶或 BigQuery 数据集。这是创建数据网格架构的最后一步。
在 Dataplex 管理视图中,点击您创建的数据湖 (
My data mesh
)。在区域标签页中,点击要添加作品的区域 (
My sub domain
)。在资产标签页中,点击
添加资产。点击 Add an Asset(添加资源)。
在类型部分,选择 Cloud Storage 存储桶。
在显示名称字段中,输入
Data mesh asset
。Dataplex 会自动为您生成资产 ID。在存储桶字段中,点击浏览。
- 从列表中选择您的存储桶。
- 点击选择。
点击完成,然后点击继续。
点击继续以接受默认的高级设置。
点击提交,将您的 Cloud Storage 存储桶作为数据资源添加到您的区域。
清理
为避免因本教程中使用的资源导致您的 Google Cloud 账号产生费用,请删除包含这些资源的项目,或者保留项目但删除各个资源。
删除项目
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
删除数据网格架构
在 Google Cloud 控制台的 Dataplex 中,转到管理视图。
对于要删除的数据湖,点击
查看更多,然后点击删除。输入
delete
以确认操作,然后点击删除数据湖。