自动化数据质量评估概览

本文档介绍了 Dataplex 自动数据质量， 可让您定义和衡量数据质量。您可以将 扫描数据、根据定义的规则验证数据，以及在出现以下情况时记录提醒： 数据不符合质量要求。您可以管理数据质量规则 即代码部署，从而提高数据生产流水线的完整性。

要开始使用，您可以使用 Dataplex 数据分析 规则建议，也可以在 Google Cloud 控制台中构建自定义规则。 Dataplex 提供监控、问题排查和 与 Dataplex Auto 集成的 Cloud Logging 提醒 数据质量。

概念模型

数据质量扫描会将质量规则应用于表数据，以报告结果。

数据扫描是一种 Dataplex 作业，用于从 BigQuery 和 Cloud Storage 中抽样数据并推断出各种类型的元数据。要使用自动数据质量衡量表的质量，您需要创建 一个类型为 data quality 的 DataScan 对象。扫描仅在一个 BigQuery 表上运行。扫描会使用 Google Cloud 中的 租户项目，因此 您需要设置自己的基础架构

创建和使用数据质量扫描包括以下步骤：

  1. 定义数据质量规则
  2. 配置规则执行
  3. 分析数据质量扫描结果
  4. 设置监控和提醒
  5. 排查数据质量问题

规则定义

与数据质量扫描相关的数据质量规则定义了数据 预期。您可以通过以下方式创建数据质量规则：

预定义规则

Dataplex 支持两类预定义规则：行级规则或 汇总。

行级

对于行级类别规则，系统会对每行数据应用预期值。每行独立通过或 条件失败。例如 column_A_value < 1。

行级检查需要您指定通过阈值。如果通过规则的行所占百分比低于阈值，则该规则会失败。

汇总

对于汇总规则，预期值会应用于对整个数据汇总的单个值。例如：Avg(someCol) >= 10如需通过验证，检查必须求值为布尔值 true。汇总规则不提供独立的通过或失败结果 数据。

对于这两类规则，您可以设置以下参数：

  • 规则应用的列。
  • 一组预定义维度中的某个维度。

下表列出了受支持的行级规则和汇总规则类型：

规则类型
（Google Cloud 控制台中的名称）		 行级或汇总规则 说明 支持的列类型 规则专用参数
RangeExpectation
（范围检查）		 行级 检查值是否介于最小值和最大值之间。 所有数字、日期和时间戳类型的列。 必填：
  • 及格阈值百分比
  • mean、min 或 max 值：请至少指定一个值。
可选：
  • 启用 strict min：如果启用，规则检查会使用“>” 而不是 ">=。
  • 启用 strict max：如果启用，规则检查会使用“<” 而不是“<=”。
  • 启用 ignore null：如果启用，系统会忽略 null 值 进行检查
NonNullExpectation
（Null 检查）		 行级 验证列值是否为 NULL。 所有受支持的列类型。 必需：
  • 及格阈值百分比。
SetExpectation
（设置核对）		 行级 检查某列中的值是否为某个集中的指定值。 除 Record 和 Struct 之外的所有受支持的列类型。 必填：
  • 要进行对比的一组字符串值。
  • 及格阈值百分比。
可选：
  • 启用 ignore null：如果启用，规则检查会忽略 null 值。
RegexExpectation
（正则表达式检查）		 行级 将值与指定的正则表达式进行检查。 字符串 必需：
  • 用于进行检查的正则表达式模式。
  • 及格阈值百分比。
  • 注意：Google 标准 SQL 通过 re2 库提供正则表达式支持；如需了解正则表达式的语法，请参阅该文档。
可选：
  • 启用 ignore null：如果启用，规则检查会忽略 null 值。
Uniqueness
（唯一性检查）		 汇总 检查列中的所有值是否都是唯一的。 除 Record 和 Struct 之外的所有受支持的列类型。 必填：
  • 支持的列和维度 参数。
可选：
  • 启用 ignore null：如果启用，规则检查会忽略 null 值。
StatisticRangeExpectation
（统计检查）		 汇总 检查给定的统计量是否符合预期的范围。 所有支持的数字列类型。 必填：
  • mean、min 或 max 值：请至少指定一个值。
可选：
  • 启用 strict min：如果启用，规则检查会使用“>” 而不是 ">=。
  • 启用 strict max：如果启用，规则检查会使用“<” 而不是“<=”。

支持的自定义 SQL 规则类型

SQL 规则可让您灵活地使用自定义逻辑扩展验证。这些规则分为以下几类。

规则类型 行级规则或汇总规则 说明 支持的列类型 规则专用参数 示例
行条件 行级

通过定义 SQL 为每一行指定预期值 WHERE 子句中的表达式。每个行的 SQL 表达式应计算结果为 true（通过）或 false（失败）。 Dataplex 计算通过 此预期，并将此值与通过阈值百分比进行比较 以确定规则的成败情况

表达式可以包含对另一个表的引用，例如 参照完整性检查。

 所有列 必填：
  • 要使用的 SQL 条件
  • 及格阈值百分比
  • 维度
可选：
  • 要与此规则关联的列。
 grossWeight <= netWeight
表条件
（聚合 SQL 表达式）		 汇总

系统将为每个表执行一次这些规则。提供一个 SQL 表达式， 计算结果为布尔值 true（通过）或 false（失败）。

SQL 表达式可以使用表达式子查询添加对另一个表的引用。

 所有列 必填：
  • 要使用的 SQL 条件
  • 维度
可选：
  • 要与此规则关联的列

简单汇总示例：
avg(price) > 100

使用表达式子查询比较不同表中的值：
(SELECT COUNT(*) FROM `example_project.example_dataset.different-table`) < COUNT(*)
SQL 断言 汇总

断言规则使用数据质量查询来查找不满足查询中指定的一个或多个条件的行。提供 SQL 语句 其计算结果为与无效状态匹配的行。如果 如果查询返回任何行，则规则会失败。

从 SQL 语句中省略尾部英文分号。

SQL 语句可以 使用 表达式子查询。

 所有列 必填：
  • 用于检查无效状态的 SQL 语句
  • 维度
可选：
  • 要与此规则关联的列。

使用简单的汇总示例来确保discount_pct 不大于 100:
SELECT * FROM example_project.example_dataset.table WHERE discount_pct > 100

使用表达式子查询比较不同表中的值：
SELECT * FROM `example_project.example_dataset.different-table` WHERE gross_weight > (SELECT avg(gross_weight) FROM `example_project.example_dataset.different-table`)

如需查看示例规则，请参阅自动数据质量规则示例。

如需了解支持的 SQL 函数，请参阅 GoogleSQL 参考文档。

维度

利用维度，您可以汇总多条数据质量规则的结果， 和提醒。您必须将每条数据质量规则与 维度。Dataplex 支持以下维度：

  • 时效性
  • 音量
  • 完整性
  • 有效期
  • 一致性
  • 准确率
  • 唯一性

在规则中输入的输入内容

所有值参数都将以字符串值的形式传递给 API。 Dataplex 需要输入内容才能遵循 BigQuery 指定的格式。

二进制类型的参数可以作为 base64 编码字符串传递。

类型 支持的格式 示例
二元 Base64 编码的值 YXBwbGU=
时间戳 YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]] [time_zone]
或 YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]][time_zone_offset]		 2014-09-27 12:30:00.45-08
日期 YYYY-M[M]-D[D] 2014-09-27
时间 [H]H:[M]M:[S]S[.DDDDDD] 12:30:00.45
DateTime YYYY-[M]M-[D]D [[H]H:[M]M:[S]S[.DDDDDD]] 2014-09-27 12:30:00.45

数据引用参数

创建自定义 SQL 规则时，您可以在规则中使用数据引用参数 ${data()} 引用数据源表及其所有前提条件过滤条件，而无需明确提及源表及其过滤条件。Dataplex 将参数解释为对来源的引用 表格及其过滤条件。前提条件过滤条件的示例包括行过滤条件 抽样百分比和增量过滤器

例如，假设您有一个名为 my_project_id.dim_dataset.dim_currency。您想要运行增量数据 仅对每日新数据进行扫描的质量扫描。一个行过滤条件，用于过滤 今天的条目 transaction_timestamp >= current_date() 将应用于 表格。

用于查找今天包含 discount_pct 的行的自定义 SQL 规则如下所示：

discount_pct IN (SELECT discount_pct FROM my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date())

如果您使用数据引用参数，则可以简化规则。将表及其前提条件过滤条件的提及替换为 ${data()} 参数：

discount_pct IN (SELECT discount_pct FROM ${data()})

Dataplex 会将 ${data()} 参数解读为对包含今天条目的数据源表 my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date() 的引用。在此示例中，数据引用参数仅引用增量数据。

${data()} 参数区分大小写。

在子查询中使用别名来引用源表中的列时， 可以使用数据引用参数来引用源表，也可以省略 表引用。请勿使用 WHERE 子句中的直接表引用。

推荐：

  • 使用数据引用参数来引用源表：

    discount_pct IN (
SELECT discount_pct FROM
`my_project_id.dim_dataset.dim_currency` AS temp-table
WHERE
temp-table.transaction_timestamp = ${data()}.timestamp
)

  • 省略表引用：

    discount_pct IN (
SELECT discount_pct FROM
`my_project_id.dim_dataset.dim_currency` AS temp-table
WHERE
temp-table.transaction_timestamp = timestamp
)

不推荐：

  • 请勿使用直接表引用来引用源表中的列：

    discount_pct IN (
SELECT discount_pct FROM
`my_project_id.dim_dataset.dim_currency` AS temp-table
WHERE
temp-table.transaction_timestamp = `my_project_id.dim_dataset.dim_currency`.timestamp
)

规则执行

您可以安排数据质量扫描以特定的时间间隔运行，也可以 您可以按需运行扫描如需管理数据质量扫描，您可以使用 API 或 Google Cloud 控制台。

当您运行数据质量扫描时，Dataplex 会创建一个作业。作为 数据质量扫描规范，您可以指定作业的范围 为以下状态之一：

完整表格
每个作业都会验证整个表。
增量
每个作业都会验证增量数据。如需确定增量，请在表中提供一个可用作标记的 Date/Timestamp 列。通常，这是用于对表进行分区的列。

过滤数据

Dataplex 使用 行过滤条件。通过创建行过滤条件，您可以重点关注特定列 时间段或特定细分（例如某个区域）使用过滤器可以缩短执行时间和降低费用，例如过滤掉时间戳早于特定日期的数据。

样本数据

通过 Dataplex，您可以指定数据中记录的百分比 运行数据质量扫描所需的示例。对较小的数据样本创建数据质量扫描可以缩短执行时间，并降低查询整个数据集的费用。

数据质量扫描结果

您可以在 Dataplex 中查看数据质量扫描的结果。您还可以使用以下方法查看和分析扫描结果：

  • 将结果导出到 BigQuery

    您可以将扫描结果导出到 BigQuery 表以进行进一步分析。如需自定义报告，您可以将 BigQuery 表数据连接到 Looker 信息中心。您可以生成汇总报告 （在多次扫描中使用同一结果表）。

  • 在 Google Cloud 控制台中发布结果

    您可以将数据质量扫描结果发布到源表的 BigQuery 和 Data Catalog 页面 Google Cloud 控制台。最新的扫描结果可在源表的数据质量标签页中找到。

  • 查看数据质量得分

    每个扫描结果都会提供数据质量得分，该得分表示通过规则的百分比。系统会在整个作业级别、列级别（如果规则是针对列进行评估）和维度级别报告得分。使用数据质量得分来对表格或列中的数据质量进行标准化处理、跟踪趋势，以及找出不符合质量要求的数据。

如需了解详情，请参阅查看数据质量扫描结果。

监控和提醒

您可以使用以下工具来监控和接收有关数据质量扫描的提醒 方法：

  • 在 Cloud Logging 中设置提醒

    您可以使用 Logs Explorer 中的 data_scan 和 data_quality_scan_rule_result 日志监控数据质量作业。

    对于每个数据质量作业，包含 data_scan_type 字段的 data_scan 日志 设置为 DATA_QUALITY 包含以下信息：

    • 用于数据扫描的数据源。
    • 作业执行详情，例如创建时间、开始时间、结束时间和作业状态。
    • 数据质量作业的结果：通过或失败。
    • 维度级通过或失败。

    每个成功的作业都包含一个 data_quality_scan_rule_result 日志，其中包含有关该作业中每条规则的以下详细信息：

    • 配置信息，例如规则名称、规则类型、评估类型 和维度。
    • 结果信息，例如通过或失败、总行数、传递的行数 行数、null 行数和已评估的行数。

    日志中的信息可通过 API 获取 Google Cloud 控制台。您可以使用这些信息来设置提醒。如需了解详情，请参阅在 Logging 中设置提醒。

  • 发送电子邮件通知

    您可以发送电子邮件通知，提醒他人相关状态，并 数据质量作业的结果。通知适用于以下场景：

    • 数据质量得分低于指定的目标得分
    • 作业失败
    • 作业已完成

    您可以在创建数据质量扫描时配置通知。

排查数据质量问题

当规则失效时，Dataplex 会生成查询来获取失败的 记录。运行此查询可查看与您的规则不匹配的记录。对于 请参阅 排查数据质量故障问题。

限制

  • 数据质量扫描结果不会作为标记发布到 Data Catalog。
  • gcloud CLI 不支持规则建议。
  • 维度选择固定为预定义的七个维度之一。
  • 每次数据质量扫描的规则数量限制为 1,000。
  • 仅 gcloud CLI 和 API 支持电子邮件通知。
  • 只有 API 支持在列级报告数据质量得分。

价格

  • Dataplex 使用高级处理 SKU 来对自动数据质量功能收费。如需了解详情，请参阅 Dataplex 价格。

  • 目前还无法将自动数据质量结果发布到 Catalog。该功能推出后，其费率将与目录元数据存储空间价格相同。如需了解详情，请参阅价格。

  • 自动数据质量的 Dataplex 高级处理按秒计费，最低计费时间为 1 分钟。

  • 数据质量扫描失败不收费。

  • 费用取决于行数、列数、已扫描的数据量、数据质量规则配置、表的分区和分片设置以及 gscan 的频率。

  • 您可以通过以下几种方式降低自动数据质量扫描的费用：

  • 将数据质量费用与 Dataplex 中的其他费用分开 高级处理 SKU，请访问 Cloud Billing 报告，使用标签 goog-dataplex-workload-type，值为 DATA_QUALITY。

  • 如需过滤汇总费用，请使用以下标签：

    • goog-dataplex-datascan-data-source-dataplex-entity
    • goog-dataplex-datascan-data-source-dataplex-lake
    • goog-dataplex-datascan-data-source-dataplex-zone
    • goog-dataplex-datascan-data-source-project
    • goog-dataplex-datascan-data-source-region
    • goog-dataplex-datascan-id
    • goog-dataplex-datascan-job-id

后续步骤