使用 Data Catalog 将政策标记添加到 BigQuery 表

将政策标记添加到 BigQuery 表

使用 Data Catalog 将政策标记添加到 BigQuery 表

了解如何开始使用 Data Catalog 中的政策标记来保护 BigQuery 表中包含敏感数据的列：

1. 根据名为“芝加哥出租车行程”的公开数据集创建 BigQuery 表。
2. 使用新的政策标记保护包含公司名称的列。
3. 查询表格，验证没有所需角色的用户无法访问数据。

准备工作

设置项目：

1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

2. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

3. 启用 Data Catalog and BigQuery API。

   启用 API

4. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

5. 启用 Data Catalog and BigQuery API。

   启用 API

将公共数据集添加到项目中

1. 在 Google Cloud Console 中，转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器部分，点击添加数据，然后从下拉列表中选择探索公共数据集。

3. 在 Marketplace 窗格中，搜索 Chicago taxi trips，然后点击 Chicago Taxi Trips 结果

4. 点击查看数据集。

该数据集会添加到您的项目中。“活跃”标签页会显示 chicago_taxi_trips 数据集的公开信息页面。该窗口会显示数据集 ID、数据位置或上次修改日期等详细信息。

创建数据集和表

1. 创建数据集。

   1. 在 Google Cloud 控制台中，打开 BigQuery 页面。

      转到 BigQuery

   2. 在探索器窗格中，选择要在其中创建数据集的项目。

   3. 点击 操作图标，然后点击创建数据集。

   4. 在创建数据集页面中，填写以下详细信息：

      • 对于数据集 ID，输入 policy_tags_demo
      • 在数据位置部分，选择 us (multiple region in United States)（美国的多个区域）。
      • 不要选中启用表过期时间复选框。
      • 点击创建数据集。

2. 将可公开访问的表复制到 policy_tags_demo 数据集。

   1. 在 Google Cloud 控制台中，打开 BigQuery 页面。

      转到 BigQuery

   2. 在探索器窗格中，搜索 taxi_trips 数据集。

   3. 从搜索结果中的 chicago_taxi_trips 数据集下，点击 taxi_trips 表。

   4. 在“表详细信息”标签页中，点击复制。

   5. 在复制表格窗格中，填写以下信息：

      1. 在项目名称字段中，点击浏览，然后选择您的项目。
      2. 在数据集名称下拉列表中，选择 policy_tags_demo。
      3. 对于表名称，输入 my_taxi_trips_copy 并点击复制。

   6. 在 Explorer 窗格中，确认 my_taxi_trips_copy 表已列在 policy_tags_demo 数据集下。

查询表格以验证结果的公开范围

您的新表格未添加任何政策标记，因此您可以查看其包含的所有数据。看看哪家出租车公司最受欢迎：

1. 在 Google Cloud 控制台中，打开 BigQuery 页面。

   转到 BigQuery

2. 点击编写新查询。

   

3. 在查询编辑器区域，输入以下内容：

     SELECT company, COUNT(*) AS number_of_trips
     FROM `PROJECT_ID.policy_tags_demo.my_taxi_trips_copy` GROUP BY company
   

   将 PROJECT_ID 替换为您的项目标识符。如需详细了解如何查找项目 ID，请参阅识别项目。

4. 点击运行。

   系统会打开包含窗格的新窗格。看来黄色出租车是赢家！

   在以下部分中，您将创建政策标记并将其附加到“company”列中，以限制对列的访问权限。

创建分类和政策标记

分类是用于对政策标记进行分组和管理的单位部门。政策标记只能存在于分类中。创建新的分类：

1. 在 Google Cloud 控制台中打开“Dataplex 分类”页面。

   打开“分类”页面

2. 点击创建分类。

3. 在新建分类页面上，执行以下操作：

   1. 对于分类名称，输入：Taxi trips policy tags
   2. 对于说明，请输入：Demo taxonomy for the policy tags Quickstart

   3. 在政策标记下，输入：

      1. 对于名称字段：Sensitive taxi data
      2. 对于说明字段：Taxi company name

   4. 点击创建。

   5. 在政策标记分类页面上，开启强制执行访问权限控制滑块。

      注意：强制执行访问权限控制最长可能需要 30 分钟。

将新政策标记添加到“公司”列

1. 打开 Dataplex 搜索页面。

   打开 Dataplex 搜索页面

2. 在搜索框中输入 my_taxi_trips_copy，然后从结果列表中选择表格。

3. 在素材资源页面上，选择架构和列标记标签页。

4. 在架构表格中，找到公司行，然后在政策标记下方点击 +。

5. 在添加政策标记窗格中，展开出租车行程政策标记分类，然后选择敏感的出租车数据标记。

6. 点击窗格底部的选择。

表格中的 company 列现已受到保护。没有 Data Catalog Fine-Grained Reader 角色的用户无法在查询结果中看到它。

即使您创建了政策标记，您的用户帐号也不会自动添加到 Fine-Grained Readers 列表中，因此您在查询表时看不到此列。请按照下一部分进行验证。

查询表以验证结果是否已隐藏

1. 在 Google Cloud 控制台中，打开 BigQuery 页面。

   转到 BigQuery

2. 点击编写新查询。

   

3. 在查询编辑器区域，输入以下内容：

     SELECT company, COUNT(*) AS number_of_trips
     FROM `PROJECT_ID.policy_tags_demo.my_taxi_trips_copy` GROUP BY company
   

   将 PROJECT_ID 替换为您的项目标识符。如需详细了解如何查找项目 ID，请参阅识别项目。

4. 点击运行。

   该列使用政策标记进行保护，因此“结果”标签页会显示有关权限不足的访问遭拒错误。

添加 Fine-Grained Reader 角色以查看受保护的列

向您的帐号授予敏感的出租车数据政策标记的 Fine-Grained Reader 角色。

1. 转到 Dataplex > 政策标记页面。

   转到 Dataplex 政策标记

2. 点击出租车行程政策标记。

3. 在政策标记部分，选择敏感的出租车数据政策标记。

4. 在敏感的出租车数据信息窗格中，点击添加主帐号。

   如果您看不到信息窗格，请点击显示信息面板。

5. 在添加主帐号窗格中，执行以下操作：

   1. 在新的主帐号框中，输入您的电子邮件地址。
   2. 从选择角色菜单中，选择 Data Catalog > Fine-Grained Reader。
   3. 点击保存。

您现在可以访问标有敏感出租车数据政策标记的公司列。再次查询表，看看是否有效。

注意：更改可能需要几分钟才能生效。新添加或移除的用户有时仍会看到缓存的查询结果。如需了解详情，请参阅问题排查。

清理

为避免因本页中使用的资源导致您的 Google Cloud 帐号产生费用，请按照以下步骤操作。

删除项目

若要避免产生费用，最简单的方法是删除您为本教程创建的项目。

要删除项目，请执行以下操作：

警告：删除项目会产生以下影响

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目可以帮助您避免超出项目配额限制。

1. 在 Google Cloud 控制台中，进入管理资源页面。

   转到“管理资源”

2. 在项目列表中，选择要删除的项目，然后点击删除。
3. 在对话框中输入项目 ID，然后点击关闭以删除项目。

删除数据集

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，搜索您创建的 policy_tags_demo 数据集。

3. 点击 操作选项，然后点击删除数据集。

4. 确认删除操作。

删除政策标记分类

1. 转到 Data Catalog > 政策标记页面。

   转到 Data Catalog 政策标记

2. 点击出租车行程政策标记。

3. 在政策标记分类页面上，点击删除政策标记分类。

4. 确认删除操作。

后续步骤

如需详细了解政策标记，请参阅 BigQuery 列级别安全指南。