本页面介绍如何使用 Google Cloud 控制台、Google Cloud CLI 或 REST API 创建数据分析扫描。
如需详细了解 Dataplex 数据分析扫描,请参阅数据分析简介。
准备工作
在 Google Cloud 控制台中,启用 Dataplex API。
权限
如需分析 BigQuery 表,您需要以下权限:
如需对 BigQuery 表运行数据分析扫描,您需要拥有读取 BigQuery 表的权限,以及在用于扫描该表的项目中创建 BigQuery 作业的权限。
如果 BigQuery 表和数据配置文件扫描位于不同的项目中,则需要向 Dataplex 服务帐号授予对相应 BigQuery 表的读取权限。
如果 BigQuery 数据是在 Dataplex 湖中整理的,那么如需创建数据分析扫描,您需要拥有 Dataplex 角色
roles/dataplex.metadataReader
和roles/dataplex.viewer
。这将授予以下权限:dataplex.lakes.list
dataplex.lakes.get
dataplex.zones.list
dataplex.zones.get
dataplex.entities.list
dataplex.entities.get
dataplex.operations.get
如果要从 Cloud Storage 扫描 BigQuery 外部表,请为 Dataplex 服务帐号分配 Cloud Storage Object Viewer (
roles/storage.objectViewer
) 角色或存储桶的以下权限:storage.buckets.get
storage.objects.get
如果要在 Google Cloud 控制台的 BigQuery 和 Data Catalog 页面中针对源表发布数据分析扫描结果,您必须具有 BigQuery Data Editor (
roles/bigquery.dataEditor
) IAM 角色或表的bigquery.tables.update
权限。如需将扫描结果导出到 BigQuery 表,您的 Dataplex 服务帐号需要 BigQuery Data Editor (
roles/bigquery.dataEditor
) 角色。这将授予以下权限:bigquery.datasets.get
bigquery.tables.create
bigquery.tables.get
bigquery.tables.getData
bigquery.tables.update
bigquery.tables.updateData
如果您需要访问受 BigQuery 列级访问权限政策保护的列,请为这些列分配 Dataplex 服务帐号权限。创建或更新数据扫描的用户还需要拥有这些列的权限。
如果表启用了 BigQuery 行级访问权限政策,则您只能扫描对 Dataplex 服务帐号可见的行。请注意,系统不会针对行级政策评估单个用户的访问权限。
数据扫描角色和权限
如需使用数据分析功能,项目管理员可分配具有已授予权限的预定义角色,也可以授予个别权限。这些角色如下所示:
roles/dataplex.dataScanAdmin
:对DataScan
资源的完整访问权限。roles/dataplex.dataScanEditor
:拥有对DataScan
资源的写入权限。roles/dataplex.dataScanViewer
:对DataScan
资源(不包括结果)的读取权限。roles/dataplex.dataScanDataViewer
:对DataScan
资源(包括结果)的读取权限。
下表列出了数据扫描权限:
权限名称 | 授予执行以下操作的权限: |
---|---|
dataplex.datascans.create |
创建 DataScan |
dataplex.datascans.delete |
删除 DataScan |
dataplex.datascans.get |
查看DataScan 详情(不包括结果) |
dataplex.datascans.getData |
查看 DataScan 的详细信息,包括结果 |
dataplex.datascans.list |
列出 DataScan |
dataplex.datascans.run |
执行 DataScan |
dataplex.datascans.update |
更新 DataScan 的说明 |
dataplex.datascans.getIamPolicy |
查看扫描的当前 IAM 权限 |
dataplex.datascans.setIamPolicy |
设置扫描的 IAM 权限 |
创建数据分析文件扫描
控制台
在 Google Cloud 控制台中,前往个人资料页面。
点击创建数据分析扫描。
输入显示名称。
如需更改自动生成的扫描 ID,请提供您自己的扫描 ID。请参阅资源命名惯例。
(可选)输入说明。
在表格字段中,点击浏览。
选择表格,然后点击选择。
在范围字段中,选择增量或全部数据。
- 如果您选择增量数据,请在时间戳列字段中,从 BigQuery 表中选择类型为
DATE
或TIMESTAMP
的列,该列可以单调递增,并可用于识别新记录。对于按DATE
或TIMESTAMP
类型的列分区的表,我们建议将分区列用作时间戳字段。
- 如果您选择增量数据,请在时间戳列字段中,从 BigQuery 表中选择类型为
如需对数据分析文件扫描应用采样,请在采样大小列表中选择采样百分比。
- 选择介于 0.0% 到 100.0% 之间的百分比值,最多包含 3 位十进制数字。
- 对于较大的数据集,请选择较低的抽样百分比。例如,对于大小约为 1 PB 的表,如果您输入的值介于 0.1% 到 1.0% 之间,Dataplex 会采样 1-10 TB 的数据。
- 抽样数据中至少需要有 100 条记录才能返回结果。
- 对于增量数据扫描,Dataplex 会将采样应用于最新增量。
要按行过滤,请点击过滤条件,然后选择过滤行。
输入可在 BigQuery 标准 SQL 语法中的
WHERE
子句中使用的有效 SQL 表达式。例如:col1 >= 0
。过滤条件可以是针对多个列的 SQL 条件的组合。例如:
col1 >= 0 AND col2 < 10
。
可选:点击过滤器。选中过滤列复选框。
a. 在包含列字段中,点击浏览。
- 指定要包含在分析扫描中的任何列。通过选中相应复选框并点击选择,选择所需的列。
b. 在排除列字段中,点击浏览。
- 指定要从分析扫描中排除的任何列。通过选中相应复选框并点击选择,选择所需的列。
可选:在 Google Cloud 控制台的 BigQuery 和 Data Catalog 页面中发布源表的数据配置文件扫描结果。点击将结果发布到 BigQuery 和 Dataplex Catalog 界面复选框。
您可以在源表的 BigQuery 和 Data Catalog 页面的 Data Profile 标签页中查看最新的扫描结果。如需让用户能够访问已发布的扫描结果,请参阅共享已发布的结果。
在以下情况下,发布选项可能不可用:
- 您没有表的所需权限。
- 已设置另一项数据质量扫描,以发布结果。
如需详细了解查看已发布的结果所需的权限,请参阅权限。
可选:将扫描结果导出到 BigQuery 标准表。点击浏览以选择现有 BigQuery 数据集,以存储数据配置文件扫描结果。
如果指定的表不存在,Dataplex 会为您创建该表。如果您使用的是现有表,请确保该表与本部分稍后所述的表架构兼容。
可选:添加标签。标签是
key:value
对,可让您将相关对象组合在一起或与其他 Google Cloud 资源进行分组。在时间安排选项下,选择以下选项之一:
重复:按时间表(每天、每周、每月或自定义)运行数据分析扫描作业。指定运行扫描的频率和时间。如果选择自定义,请使用 cron 格式指定时间表。
按需:创建数据分析扫描,并随时使用“立即运行”操作运行扫描。
点击创建。
gcloud
如需创建数据分析扫描,请运行以下命令:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-entity=DATA_SOURCE_ENTITY | --data-source-resource=DATA_SOURCE_RESOURCE
执行以下变量替换操作:
DATASCAN
:数据分析扫描的名称。LOCATION
:要在其中创建数据配置文件扫描的 Google Cloud 区域。DATA_SOURCE_ENTITY
:包含数据分析扫描数据的 Dataplex 实体。例如projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity
。DATA_SOURCE_RESOURCE
:包含数据分析扫描数据的资源的名称。例如//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
。
如需了解可选参数,请参阅 gcloud CLI 参考文档。
REST
使用 API Explorer 创建数据配置文件扫描。
创建多个数据分析扫描
控制台
在 Google Cloud 控制台中,前往个人资料页面。
点击创建多个分析扫描。
输入 ID 前缀。Dataplex 会使用提供的前缀和唯一后缀自动生成扫描 ID。
为所有数据分析文件扫描输入说明。
在数据集字段中,点击浏览。选择要从中选择表的数据集。点击选择。
如果数据集是多区域数据集,请选择要在其中创建数据配置文件扫描的区域。
选择常用配置选项:
在范围字段中,选择增量或全部数据。
如需对数据分析文件扫描应用采样,请在采样大小列表中选择采样百分比。
选择 0.0% 到 100.0% 之间的百分比值,最多包含 3 位小数。
如需显示所有扫描的结果,请选择发布。您可以在 BigQuery 或 Data Catalog 表详细信息的性能剖析标签页中查看结果。确保您对源表具有
bigquery.tables.update
权限。在时间安排选项下,选择以下选项之一:
重复:按计划运行数据分析扫描作业。指定运行扫描的频率(每日、每周、每月或自定义)和时间。如果选择自定义,请使用 cron 格式指定时间表。
按需:创建数据分析扫描作业,并点击运行可随时运行这些作业。
在选择表格选项中,点击浏览。选择要扫描的一个或多个表。点击选择。
选择其他设置:
如需将数据分析扫描结果保存到您选择的 BigQuery 表,请在将扫描结果导出到 BigQuery 表中选择一个表。Dataplex 会自动为每个扫描作业复制结果并将其保存到此表中。
点击浏览以选择数据集。
输入要将结果保存到的 BigQuery 表。这可以是一个现有表,其他 Dataplex 数据分析扫描会使用它来保存结果。如果没有具有指定名称的表,Dataplex 会创建该表。
添加标签,为数据分析扫描添加注解。
点击运行扫描以创建并运行所有扫描。此选项仅适用于按需扫描。
点击创建以创建所有扫描。
gcloud
不受支持。
REST
不受支持。
导出表架构
如果要将数据配置文件扫描结果导出到现有 BigQuery 表,请确保该表与下表架构兼容:
列名 | 列数据类型 | 子字段名称 (如果适用) |
子字段数据类型 | 模式 | 示例 |
---|---|---|---|---|---|
data_profile_scan | struct/record |
resource_name |
string |
可为 null | //dataplex.googleapis.com/projects/test-project/locations/europe-west2/datascans/test-datascan |
project_id |
string |
可为 null | test-project |
||
location |
string |
可为 null | us-central1 |
||
data_scan_id |
string |
可为 null | test-datascan |
||
data_source | struct/record |
resource_name |
string |
可为 null | 实体用例://dataplex.googleapis.com/projects/test-project/locations/europe-west2/lakes/test-lake/zones/test-zone/entities/test-entity
表格用例: //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
|
dataplex_entity_project_id |
string |
可为 null | test-project |
||
dataplex_entity_project_number |
integer |
可为 null | 123456789012 |
||
dataplex_lake_id |
string |
可为 null | (仅当来源为实体时才有效)test-lake
|
||
dataplex_zone_id |
string |
可为 null | (仅当来源为实体时才有效)test-zone |
||
dataplex_entity_id |
string |
可为 null | (仅当来源为实体时才有效)test-entity |
||
table_project_id |
string |
可为 null | dataplex-table |
||
table_project_number |
int64 |
可为 null | 345678901234 |
||
dataset_id |
string |
可为 null | (仅当来源为表时有效)test-dataset |
||
table_id |
string |
可为 null | (仅当来源为表时有效)test-table |
||
data_profile_job_id | string |
可为 null | caeba234-cfde-4fca-9e5b-fe02a9812e38 |
||
data_profile_job_configuration | json |
trigger |
string |
可为 null | ondemand /schedule |
incremental |
boolean |
可为 null | true /false |
||
sampling_percent |
float |
可为 null | (0-100)20.0 (表示 20%) |
||
row_filter |
string |
可为 null | col1 >= 0 AND col2 < 10 |
||
column_filter |
json |
可为 null | {"include_fields":["col1","col2"], "exclude_fields":["col3"]} |
||
job_labels | json |
可为 null | {"key1":value1} |
||
job_start_time | timestamp |
可为 null | 2023-01-01 00:00:00 UTC |
||
job_end_time | timestamp |
可为 null | 2023-01-01 00:00:00 UTC |
||
job_rows_scanned | integer |
可为 null | 7500 |
||
column_name | string |
可为 null | column-1 |
||
column_type | string |
可为 null | string |
||
column_mode | string |
可为 null | repeated |
||
percent_null | float |
可为 null | (0.0-100.0)20.0 (表示 20%) |
||
percent_unique | float |
可为 null | (0.0-100.0)92.5 |
||
min_string_length | integer |
可为 null | (仅当列类型为字符串时才有效)10 |
||
max_string_length | integer |
可为 null | (仅当列类型为字符串时才有效)4 |
||
average_string_length | float |
可为 null | (仅当列类型为字符串时才有效)7.2 |
||
min_value | float |
可为 null | (仅当列类型为数字 - 整数/浮点数时才有效) | ||
max_value | float |
可为 null | (仅当列类型为数字 - 整数/浮点数时才有效) | ||
average_value | float |
可为 null | (仅当列类型为数字 - 整数/浮点数时才有效) | ||
standard_deviation | float |
可为 null | (仅当列类型为数字 - 整数/浮点数时才有效) | ||
quartile_lower | integer |
可为 null | (仅当列类型为数字 - 整数/浮点数时才有效) | ||
quartile_median | integer |
可为 null | (仅当列类型为数字 - 整数/浮点数时才有效) | ||
quartile_upper | integer |
可为 null | (仅当列类型为数字 - 整数/浮点数时才有效) | ||
top_n | struct/record - repeated |
value |
string |
可为 null | "4009" |
count |
integer |
可为 null | 20 |
||
percent |
float |
可为 null | 10 (表示 10%) |
导出表设置
导出到 BigQueryExport 表时,请遵循以下准则:
- 对于字段
resultsTable
,请使用以下格式://bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}
。 - 使用 BigQuery 标准表。
- 如果在创建或更新扫描时该表不存在,则 Dataplex 会为您创建该表。
- 默认情况下,该表每天按
job_start_time
列进行分区。 - 如果您希望在其他配置中对表进行分区,或者如果您不需要分区,请使用所需的架构和配置重新创建表,然后提供预先创建的表作为结果表。
- 确保结果表与源表位于同一位置。
- 如果在项目上配置了 VPC-SC,则结果表必须与源表位于同一 VPC-SC 边界内。
- 如果在扫描执行阶段修改了表,则当前正在运行的作业会导出到上一个结果表,并且表更改将从下一个扫描作业生效。
- 请勿修改表架构。如果您需要自定义列,请在该表上创建一个视图。
- 为了降低费用,请根据您的使用场景对分区设置到期时间。如需了解详情,请参阅如何设置分区到期时间。
运行数据分析扫描
控制台
- 在 Google Cloud 控制台中,转到 Dataplex 配置文件页面。前往个人资料
- 点击要运行的数据配置文件扫描。
- 点击立即运行。
gcloud
如需运行数据分析扫描,请运行以下命令:
gcloud dataplex datascans run DATASCAN \ --location=LOCATION
执行以下变量替换操作:
DATASCAN
:数据分析扫描的名称。LOCATION
:创建了数据配置文件扫描的 Google Cloud 区域。
如需了解可选参数,请参阅 gcloud CLI 参考文档。
REST
使用 API Explorer 运行数据分析扫描。
查看数据分析扫描作业结果
控制台
您创建的所有数据配置文件扫描都会显示在配置文件页面中。
如需查看扫描的详细结果,请点击扫描的名称。
概览部分显示扫描运行、每次运行的时间、扫描的表记录数量以及作业状态。
配置文件扫描配置部分包含有关扫描的详细信息。
gcloud
如需查看数据分析扫描作业的结果,请运行以下命令:
gcloud dataplex datascans jobs describe JOB \ --location=LOCATION \ --datascan=DATASCAN \ --view=FULL
执行以下变量替换操作:
JOB
:数据分析扫描作业的作业 ID。LOCATION
:创建了数据配置文件扫描的 Google Cloud 区域。DATASCAN
:作业所属数据配置文件扫描的名称。--view=FULL
:如需查看扫描作业结果,请指定FULL
。
如需了解可选参数,请参阅 gcloud CLI 参考文档。
REST
使用 API Explorer 查看数据分析扫描的结果。
查看最近的数据分析扫描作业
控制台
如果至少有一个成功完成的运行,最新作业结果标签页会提供最新作业的相关信息。其中会列出扫描后的表列以及有关在扫描中找到的列的统计信息。
gcloud
如需查看最近成功的数据配置文件扫描,请运行以下命令:
gcloud dataplex datascans describe DATASCAN \ --location=LOCATION \ --view=FULL
执行以下变量替换操作:
DATASCAN
:要查看其最新作业的数据配置文件扫描的名称。LOCATION
:创建了数据分析文件扫描的 Google Cloud 区域。--view=FULL
:如需查看扫描作业结果,请指定FULL
。
如需了解可选参数,请参阅 gcloud CLI 参考文档。
REST
使用 API Explorer 查看最近的扫描作业。
查看所有数据分析扫描作业
Dataplex 会保存最近 300 个作业或过去一年的数据配置文件扫描历史记录(以先发生者为准)。
控制台
作业记录标签页提供有关过往作业的信息。 其中列出了所有作业、每个作业中扫描的记录数、作业状态、作业执行时间等。
如需查看作业的详细信息,请点击作业 ID 下的任一作业。
gcloud
如需查看数据分析扫描的所有作业,请运行以下命令:
gcloud dataplex datascans jobs list \ --location=LOCATION \ --datascan=DATASCAN
执行以下变量替换操作:
LOCATION
:创建了数据分析文件扫描的 Google Cloud 区域。DATASCAN
:要查看其所有作业的数据配置文件扫描的名称。
如需了解可选参数,请参阅 gcloud CLI 参考文档。
REST
使用 API Explorer 查看所有扫描作业。
分享已发布的结果
创建数据分析扫描时,如果您选择在 Google Cloud 控制台的 BigQuery 和 Data Catalog 页面中发布扫描结果,则这些页面的数据配置文件标签页中会显示最新的扫描结果。
您可以允许组织中的用户访问已发布的扫描结果。如需授予对扫描结果的访问权限,请按以下步骤操作:
在 Google Cloud 控制台中,前往个人资料页面。
点击您要分享结果的数据配置文件扫描。
前往权限标签页。
点击授予使用权限。
在新的主帐号字段中,添加您要向其授予访问权限的主帐号。
在选择角色字段中,选择 Dataplex DataScan DataViewer。
点击保存。
如需移除对主帐号已发布扫描结果的访问权限,请按以下步骤操作:
在 Google Cloud 控制台中,前往个人资料页面。
点击您要分享结果的数据配置文件扫描。
前往权限标签页。
选择要移除其 Dataplex DataScan DataViewer 角色的主帐号。
点击解除使用权限。
点击确认。
更新数据分析扫描
控制台
在 Google Cloud 控制台中,前往个人资料页面。
在要修改的扫描所在的行中,依次点击 > Edit。
修改值。
点击保存。
gcloud
如需更新数据分析扫描,请运行以下命令:
gcloud dataplex datascans update data-profile DATASCAN \ --location=LOCATION \ --description=DESCRIPTION
执行以下变量替换操作:
DATASCAN
:要更新的数据配置文件扫描的名称。LOCATION
:创建了数据分析文件扫描的 Google Cloud 区域。DESCRIPTION
:数据分析扫描的新说明。
如需了解要更新的规范字段,请参阅 gcloud CLI 参考文档。
REST
使用 API Explorer 修改数据分析扫描。
删除数据分析扫描
控制台
在 Google Cloud 控制台中,转到个人资料页面。 前往 Dataplex Profile
点击要删除的扫描。
点击删除。
gcloud
如需删除数据分析扫描,请运行以下命令:
gcloud dataplex datascans delete \ DATASCAN --location=LOCATION \ --async
执行以下变量替换操作:
DATASCAN
:要删除的数据配置文件扫描的名称。LOCATION
:创建了数据分析文件扫描的 Google Cloud 区域。
如需了解可选参数,请参阅 gcloud CLI 参考文档。
REST
使用 API Explorer 删除数据分析扫描。