跟踪 BigQuery 表的数据沿袭

跟踪 BigQuery 表的数据沿袭

通过数据沿袭，您可以跟踪数据在系统中的移动方式：数据的来源、传入的位置以及应用了哪些转换。

了解如何开始跟踪 BigQuery 复制和查询作业的数据沿袭：

1. 从公开提供的 new_york_taxi_trips 数据集中复制两个表。

2. 将两个表中的出租车行程总数合并到一个新表中。

3. 查看全部三个操作的沿袭可视化图。

准备工作

设置您的项目：

1. 登录您的 Google Cloud 账号。如果您是 Google Cloud 新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

2. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

3. 确保您的 Google Cloud 项目已启用结算功能。

4. 启用 Data Catalog, BigQuery, and data lineage API。

   启用 API

5. 在 Google Cloud Console 中的项目选择器页面上，选择或创建一个 Google Cloud 项目。

   注意：如果您不打算保留在此过程中创建的资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以删除所创建的项目，并移除与该项目关联的所有资源。

   转到“项目选择器”

6. 确保您的 Google Cloud 项目已启用结算功能。

7. 启用 Data Catalog, BigQuery, and data lineage API。

   启用 API

注意：数据沿袭是按项目启用的。 启用 Data Lineage API 后，系统会自动为多项 Google Cloud 服务报告沿袭信息，具体取决于其产品级沿袭控制。如需了解详情，请参阅数据沿袭注意事项。

所需的角色

如需获得查看沿袭可视化图表所需的权限，请让管理员向您授予以下 IAM 角色：

• Data Catalog 资源项目的 Data Catalog Viewer (roles/datacatalog.viewer)
• 对您使用 BigQuery 的项目拥有数据沿袭查看器 (roles/datalineage.viewer)
• 针对您使用 BigQuery 的项目拥有 BigQuery Data Viewer (roles/bigquery.dataViewer) 的权限

如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

将公共数据集添加到您的项目

1. 在 Google Cloud 控制台中，转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，点击添加。

3. 在添加窗格中，搜索 Public datasets，然后选择公共数据集结果。

4. 在 Marketplace 窗格中，搜索 NYC TLC Trips，然后点击 NYC TLC Trips 结果。

5. 点击查看数据集。

此步骤会将数据集 new_york_taxi_trips 添加到您的项目中。详细信息窗格中会显示数据集信息，包括数据集 ID、数据位置和上次修改日期等信息。

在项目中创建数据集

1. 在探索器窗格中，选择要在哪个项目中创建数据集。

2. 点击 操作图标，然后点击创建数据集。

3. 在创建数据集页面的数据集 ID 字段中输入：data_lineage_demo。其他字段保留默认值。

4. 点击创建数据集。

5. 在探索器窗格中，点击新添加的 data_lineage_demo。

“详细信息”窗格会显示其数据集信息。

将两个可公开访问的表复制到数据集

1. 打开查询编辑器：在“详细信息”窗格中，点击名为 data_lineage_demo 的标签页旁边的 （编写新查询）。此步骤会创建一个名为 Untitled 的标签页。

2. 在查询编辑器中，输入以下查询来复制第一个表。将 PROJECT_ID 替换为您的项目标识符。

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. 点击 Run。此步骤会创建第一个表，名为 nyc_green_trips_2021。

4. 在查询结果窗格中，点击转至表。此步骤会显示第一个表的内容。

5. 在查询编辑器中，通过将前一个查询替换为以下查询来复制第二个表。将 PROJECT_ID 替换为您的项目标识符。

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. 点击 Run。此步骤将创建名为 nyc_green_trips_2022 的第二个表。

7. 在查询结果窗格中，点击转至表。此步骤会显示第二个表的内容。

将数据汇总到新表中

1. 在查询编辑器中，输入以下查询。请将 PROJECT_ID 替换为您的项目标识符。

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. 点击 Run。此步骤会创建一个名为 total_green_trips_22_21 的组合表。

3. 在查询结果窗格中，点击转至表。此步骤会显示合并后的表格。

在 Dataplex 中查看沿袭图

1. 打开 Dataplex 搜索页面。

   打开 Dataplex 搜索

2. 在搜索框中输入 total_green_trips_22_21，然后点击搜索。

3. 在结果列表中，点击 total_green_trips_22_21。此步骤会显示 BigQuery 表详细信息标签页。

4. 点击沿袭标签页。

注意 ：自动沿袭可能需要一些时间才能提取这些更改。如果您还没有看到沿袭图，请过几分钟再查看。

图 1.包含节点详细信息的数据沿袭

在沿袭图中，每个矩形节点代表一个表，可以是原始表、复制表或组合表。您可以执行以下操作：

• 点击 +（展开）或 -（收起），显示或隐藏表格的原点。

• 通过点击节点显示表信息。此步骤会显示一个节点详细信息窗格。

• 点击 进程图标即可显示进程信息。此步骤会显示一个进程详细信息窗格，其中显示了将源表转换为目标表的作业。

图 2.包含进程详情的数据沿袭

清理

为避免因本页中使用的资源导致您的 Google Cloud 账号产生费用，请按照以下步骤操作。

删除项目

若要避免产生费用，最简单的方法是删除您为本教程创建的项目。

要删除项目，请执行以下操作：

警告：删除项目会产生以下影响

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目可以帮助您避免超出项目配额限制。

1. 在 Google Cloud 控制台中，进入管理资源页面。

   转到“管理资源”

2. 在项目列表中，选择要删除的项目，然后点击删除。
3. 在对话框中输入项目 ID，然后点击关闭以删除项目。

删除数据集

1. 转到 BigQuery 页面。

   转到 BigQuery

2. 在探索器窗格中，搜索您创建的 data_lineage_demo 数据集。

3. 右键点击数据集，然后选择删除。

4. 确认删除操作。

后续步骤

• 详细了解 Dataplex 和 数据沿袭。
• 了解如何运行 BigQuery 查询。
• 了解如何使用数据沿袭和查看数据沿袭图。
• 了解 Dataplex 价格和billing。