使用 Dataplex 属性存储

预览

此功能须遵守服务专用条款的“通用服务条款”部分中的“非正式版产品条款”。 非正式版功能“按原样”提供，可能只能获得有限的支持。 如需了解详情，请参阅发布阶段说明。

本文档介绍了如何使用 Dataplex 属性存储。

Dataplex 属性存储是一个可扩展的基础架构，可让您指定关联资源上的政策相关行为。Dataplex 管理员可以使用属性存储，将数据与属性相关联，来定义应如何处理某些数据。

利用 Attribute Store 的主要优势是，您可以向对象（例如列）添加多个属性。属性存储会合并与某个对象相关联的所有属性的行为，并将其呈现为底层资源的单个政策。

您可以将特性设置为已发布的数据集。已发布的数据集是指 Dataplex 根据在存储桶资源中发现的表创建的数据集。

支持以下政策行为：

• 资源规范：指定对资源（例如表）的访问权限。
• 列规范：指定对 BigQuery 表中某个列的访问权限。

您可以使用属性存储来定义称为分类的特性层次结构。在分类中，子级属性会从父级属性层次结构继承规范。子级的规范会合并到一个统一列表中，该列表会传播到相应资源。

您可以使用 Dataplex 属性存储执行以下操作：

• 创建分类。
• 创建属性并按层次结构整理属性。
• 将一个或多个特性关联到表。
• 将一个或多个属性与列关联。

术语

本文档中使用了以下术语：

属性分类

数据分类是特性的层次结构。在分类中，父节点中的属性允许其下的属性（子属性）继承父属性的行为规范，并将其添加到自己的属性中。

例如：如果名为 PII 的属性具有资源规范 [e-mail]，并且名为 Social Security numbers 的 PII 的子属性具有资源规范 [e-mail]，则对属性 Social Security numbers 关联的政策应用的资源规范将是 [e-mail] 和 [e-mail]。

定义特性时，您可以选择是父特性还是子特性。定义子属性时，必须指定其父属性。

列规范

列的行为规范。它用于指定对列具有读取权限的人员或群组。如果您将包含列规范的属性与表的列相关联，则系统会向该列添加 BigQuery 列政策标记。

资源规范

个人或群组对资源（表）的访问权限。 如果您将特性与资源规范相关联，Dataplex 会将 IAM 角色传播给指定用户，以访问与特性关联的表。

须知事项

限制

Dataplex 以 BigQuery 政策标记的形式传播列规范政策。BigQuery 对每列有一个政策标记有限制。如果列上已存在政策标记，Dataplex 会在管理标签页的治理日志中抛出错误。

配额

以下是适用于 Dataplex 属性存储的配额和限制：

限制	默认
区域中的分类数量上限	100
一个区域中所有分类中的属性数量上限	10,000
可与一个资源关联的特性数量上限（表）	50
可与一列关联的属性数量上限	100
属性分类中每个数据特性树的最大深度	4

所需的角色和权限

如需获取使用 Dataplex 特性存储所需的权限，请让管理员授予您项目的以下 IAM 角色：

• 管理分类和特性：Dataplex 分类管理员 (roles/dataplex.taxonomyAdmin)
• 查看与资源和特性关联的绑定： Dataplex Taxonomy Viewer (roles/dataplex.taxonomyViewer)
• 在项目中创建和管理绑定资源：
  • Dataplex Binding Admin (roles/dataplex.bindingAdmin)
  • Dataplex Admin（可用区资源的 roles/dataplex.admin 权限）
• 管理资源和数据访问权限规范： Dataplex Security Admin (roles/dataplex.securityAdmin)

如需详细了解如何授予角色，请参阅管理访问权限。

这些预定义角色包含使用 Dataplex 特性存储所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需使用 Dataplex 特性存储，您需要具备以下权限：

• 管理分类和特性：
  • dataplex.datataxonomies.*
  • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
• 查看与资源和特性关联的绑定：
  • dataplex.datataxonomies.get
  • dataplex.datataxonomies.list
  • dataplex.dataattributes.get
  • dataplex.dataattributes.list
  • dataplex.dataattributebindings.get
  • dataplex.dataattributebindings.list
• 在项目中创建和管理绑定资源： dataplex.dataattributebindings.*
• 管理资源和数据访问权限规范：
  • dataplex.datataxonomies.configureResourceAccess
  • dataplex.datataxonomies.configureDataAccess

您也可以使用自定义角色或其他预定义角色来获取这些权限。

实际使用示例

假设有一家名为 ACME 的公司，有三种数据：

• Red 敏感数据。
• Green 受限但敏感度较低的数据。
• 未分类数据。

ACME 的 Dataplex 管理员会创建以下属性集：

• 属性：Red

  • 列规范：具有读取权限的 secrets_team@acme
  • 资源规范：具有读取权限的 secrets_team@acme 和 tenured_employees@acme

• 属性：Green

  • 列规范：具有读取权限的 full_time_employees@acme
  • 资源规范：具有修改权限的 full_time_employees@acme

Red 和 Green 属性用于控制与表及其列关联的属性，用于控制资源（表）的访问行为。

假设某个表包含以下各列：

• ID
• 邮政编码
• 名称
• 地址
• $Value

用例 1：将同一属性与表和列相关联

如果您将特性 Red 与表及其列名称相关联，则 Dataplex 会传播以下政策：

• secrets_team@acme 和 tenured_employees@acme 中的员工可以读取该表、查看其元数据并查询该表。
• 只有 secrets_team@acme 中的员工可以查询列 Name，因为它受列规范的进一步保护。

用例 2：合并属性

请考虑以下关联：

• 将属性 Red 和 Green 与表相关联。
• 将属性 Red 和 Green 与 Name 列相关联。
• 将属性 Red 与 $Value 列相关联。

在这种情况下，Dataplex 会传播以下政策：

• secrets_team@acme、tenured_employees@acme 和 full_time_employees@acme 中的员工可以访问该表。这是因为 Dataplex 合并了属性 Red 和 Green 的资源规范。
• secrets_team@acme 和 full_time_employees@acme 中的员工都可以访问 Name 列。这是因为 Dataplex 合并了属性 Red 和 Green 的列规范。
• 只有 secrets_team@acme 中的员工可以查询 $Value 列。

用例 3：按层次结构整理属性

您可以通过指定属性的子类型来按层次结构整理属性。请参考下面这组属性：

父级属性 1：
属性：PII

• 列规范：secrets_team@acme
• 资源规范：secrets_team@acme 和 tenured_employees@acme

PII 的子属性：
属性：Email

• 列规范：email_comm@acme
• 资源规范：email_comm@acme

父级属性 2：
属性：Financial

• 列规范：full_time_employees@acme
• 资源规范：full_time_employees@acme

请考虑以下关联：

• 将属性 Email 和 Financial 与表相关联。
• 将属性 Email 和 Financial 与 Name 列相关联。
• 将属性 PII 与 $Value 列相关联。

在这种情况下，Dataplex 会传播以下政策：

• secrets_team@acme、tenured_employees@acme、full_time_employees@acme 和 email_comm@acme 中的员工可以访问该表。这是因为 Dataplex 合并了属性 Financial 和 Email 的资源规范，而属性 Email 从属性 PII 继承规范。
• secrets_team@acme、email_comm@acme 和 full_time_employees@acme 中的员工可以访问 Name 列。这是因为 Dataplex 合并了属性 Financial 和 Email 的列规范。
• 只有 secrets_team@acme 中的员工可以查询 $Value 列。

设置属性

如需创建特性，您必须先创建分类，然后再创建父数据和子数据特性。

创建数据特性分类

1. 在 Google Cloud 控制台中，转到 Dataplex 属性存储页面。

   前往 Attributes Store

2. 点击创建分类。

3. 输入分类名称、ID 和说明。

4. 请选择区域。

5. 点击提交。

   数据分类页面上会显示新分类。

创建父级属性

1. 在 Google Cloud 控制台中，转到 Dataplex 属性存储页面。

   前往 Attributes Store

2. 在数据分类页面上，点击要在其中创建父属性的分类。

3. 在分类详情页面上，点击添加数据特性。

4. 选择创建父级数据特性。

5. 输入父级属性的名称、ID 和说明。

6. 可选：设置属性规范。

   1. 设置资源规范：

      1. 点击资源对应的管理权限。
      2. 点击添加。
      3. 在新的主帐号字段中，输入需要访问资源的个人或群组的电子邮件地址。
      4. 选择所需的角色，然后点击保存。
      5. 点击保存。

   2. 设置列规范：

      1. 点击列对应的管理权限。
      2. 点击添加。
      3. 在新的主帐号字段中，输入需要访问此列的个人或群组的电子邮件地址。
      4. 选择所需的角色，然后点击保存。
      5. 点击保存。

7. 点击创建。

创建子属性

1. 在 Google Cloud 控制台中，转到 Dataplex 属性存储页面。

   前往 Attributes Store

2. 在数据分类页面上，点击要在其中创建子属性的分类。

3. 在分类详情页面上，点击添加数据特性。

4. 选择创建子级数据特性。

5. 为您要创建的子属性选择父级数据特性。

6. 为子属性输入名称、ID 和说明。

7. 可选：设置属性规范。

   1. 设置资源规范：

      1. 点击资源对应的管理权限。
      2. 点击添加。
      3. 在新的主帐号字段中，输入需要访问资源的个人或群组的电子邮件地址。
      4. 选择所需的角色，然后点击保存。
      5. 点击保存。

   2. 设置列规范：

      1. 点击列对应的管理权限。
      2. 点击添加。
      3. 在新的主帐号字段中，输入需要访问此列的个人或群组的电子邮件地址。
      4. 选择所需的角色，然后点击保存。
      5. 点击保存。

8. 点击创建。

更新属性存储资源

更新分类详情

1. 在 Google Cloud 控制台中，转到 Dataplex 属性存储页面。

   前往 Attributes Store

2. 点击要更新的类目。

3. 点击修改。

4. 根据需要修改分类名称及其说明。

5. 点击提交。

更新属性详细信息

1. 在 Google Cloud 控制台中，转到 Dataplex 属性存储页面。

   前往 Attributes Store

2. 点击包含要更新的特性的类目。

3. 点击要更新的属性。

4. 要更新属性名称和说明，请点击修改。

   1. 如果要更新父属性，您可以选择将其更新为子属性，反之亦然。选择相应的选项。
   2. 根据需要修改属性名称及其说明。
   3. 点击更新。

5. 如需更新特性的资源规范，请点击 查看资源规范。

   1. 如需添加新的主帐号，请按以下步骤操作：

      1. 点击添加。
      2. 在新的主帐号字段中，输入需要访问资源的个人或群组的电子邮件地址。
      3. 选择所需的角色。
      4. 点击保存。

   2. 如需更新现有主帐号，请按以下步骤操作：

      1. 点击要更新的主帐号对应的 。
      2. 选择所需的角色。
      3. 点击保存。

   3. 如需移除现有主帐号，请按以下步骤操作：

      1. 选择要移除的主帐号。
      2. 点击移除。

6. 如需更新属性的列规范，请点击列规范对应的 。

   1. 如需添加新的主帐号，请按以下步骤操作：

      1. 点击添加。
      2. 在新的主帐号字段中，输入需要访问此列的个人或群组的电子邮件地址。
      3. 选择所需的角色。
      4. 点击保存。

   2. 如需更新现有主帐号，请按以下步骤操作：

      1. 点击要更新的主帐号对应的 。
      2. 选择所需的角色。
      3. 点击保存。

   3. 如需移除现有主帐号，请按以下步骤操作：

      1. 选择要移除的主帐号。
      2. 点击移除。

将特性与资源关联

将属性与表相关联

1. 在 Google Cloud 控制台中，转到 Dataplex 属性存储页面。

   前往 Attributes Store

2. 点击包含该属性的类目。

3. 点击要与表关联的属性。

4. 点击资源标签页。

5. 点击添加资源。

6. 从列表中选择一个表。

7. 点击选择。

将特性与列相关联

1. 在 Google Cloud 控制台中，转到 Dataplex 属性存储页面。

   前往 Attributes Store

2. 搜索并选择要将属性与列相关联的表。

3. 点击架构和列标记标签页。

4. 在要与属性相关联的列对应的政策标记中点击 。

5. 选择包含该属性的类目。

6. 选择属性。

7. 点击附加。

后续步骤

• 详细了解 Dataplex 安全性。
• 详细了解 Dataplex 中的政策管理。
• 详细了解 Dataplex IAM 角色。