什么是数据网格？

数据网格不仅仅是一套新的工具或技术，它还转变了公司思考数据的方式。数据网格方法遵循四个核心原则。正是这些原则使得此方法能够有效解决传统集中式数据架构的问题。

在传统的数据架构中，一个中央团队（例如 IT 团队或数据工程团队）负责所有数据。在数据网格中，数据所有权分散到创建数据的业务领域。例如，销售团队拥有自己创建的客户数据，营销团队拥有自己创建的营销活动数据。这样，各个团队便会对自己产生的数据更加用心和负责。

在以领域为导向的所有权模式下，创建数据的团队也必须像对待产品一样对待数据。就像公司要为客户提供高质量的产品一样，数据域团队也要为需要数据的其他团队提供高质量的数据。这意味着数据易于发现、理解和使用。数据还必须可信、安全、信息完备，并且内置访问权限控制，仅允许相应人员访问其用途所必需的数据。

为了实现数据即产品，数据网格使用自助式平台。该平台是一组工具和服务，可让数据域团队轻松创建和管理其数据产品，而无需中央数据团队的帮助。它可以是一个简单易用的平台，能够自动执行数据管理中涉及的许多技术任务，例如数据存储、安全和治理。

由于数据是分散的，分布在许多不同的团队中，因此需要一种方法来确保每个人都遵循相同的规则。这正是联邦计算治理的用武之地。在这种模式下，一个小型中央团队会为所有数据设置全局规则和标准。不过，这些规则的执行由数据域团队自行处理。这结合了两方面的优势：集中式政策和分散式执行。

数据网格方法旨在解决传统数据架构的一些常见问题。这些模型（例如由各个部门或团队拥有的数据仓库或数据湖）可能会造成数据孤岛和治理风险，尤其是在公司快速发展的阶段。数据网格通过分配所有权并为各个团队赋能来解决这些问题，同时仍然维持集中式控制，以跨域治理和监控数据。

Dataplex Universal Catalog 充当统一的数据结构脉络，并提供位于数据网格之上的中央治理层。它可以帮助您发现、管理和控制跨各种环境的分布式数据，确保您拥有元数据和策略的单一可信来源。首先，您需要创建一个 Dataplex 数据湖。Dataplex 数据湖是用于保存数据的顶级容器，并且通常与业务领域相对应。

以下是创建数据湖的步骤：

1. 在 Google Cloud 控制台 中，进入 Dataplex Universal Catalog 数据湖页面。
2. 点击“创建”后，为新数据湖指定一个描述性名称，例如“销售数据域”或“营销数据网格”。
3. 为数据湖选择一个地区。
4. 湖泊创建完成后，您可以添加区域。区域是数据湖中的一个子域，代表特定的团队或数据合同。例如，在“销售数据域”数据湖中，您可以创建一个“原始”区域用于未处理的数据，创建一个“精选”区域用于已清理的生产级数据。
5. 创建区域后，您可以将资产附加到这些区域。资产是指存储在 Cloud Storage 或BigQuery 等服务中的实际数据。您只需将 Dataplex 区域指向数据位置即可。

然后，Dataplex 会自动扫描这些资产，以发现元数据并对其进行编目。

“数据即产品”原则的重点之一在于使数据易于发现。借助 BigQuery 数据共享，您可以构建数据产品市场。这样，域团队就可以安全地与其他团队共享数据产品，而无需复制或移动数据。它可以帮助数据使用者找到需要的数据，并为他们提供清晰、明确的访问界面。

Google Cloud 的无服务器服务使领域团队能够以最小的开销创建和管理自己的数据产品。BigQuery 是一个功能强大的无服务器数据仓库，使团队能够快速高效地分析大型数据集。Dataflow 是一个无服务器数据处理服务，可用于构建和自动运行数据产品的数据流水线。这些服务可减少中央数据工程团队管理基础设施的需求，使域团队获得更高的自主性和敏捷性。

联合式计算治理原则是指由一个中央团队定义全局规则，但允许各个域团队来执行这些规则。Google Cloud 的 Identity and Access Management (IAM) 条件提供了实现此目标的工具。IAM 条件支持基于属性的访问权限控制 (ABAC)，您可以基于数据属性设置精细的权限。例如，您可以创建一项政策，仅允许用户访问特定地区的客户数据，从而帮助确保遵守 GDPR 等数据主权法规。