将 Cloud DLP 与 BigQuery 搭配使用

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

本页面包含一些页面,这些页面介绍了如何将 Cloud Data Loss Prevention 与 BigQuery 搭配使用。

快速入门指南

快速入门:安排 Cloud DLP 检查扫描
安排定期检查 Cloud Storage 存储桶、BigQuery 表或 Datastore 种类。如需了解详细说明,请参阅创建和安排 Cloud DLP 检查作业

方法指南

本部分提供了一系列基于任务的指南,用于演示如何将 Cloud DLP 与 BigQuery 搭配使用。

检查

检查存储空间和数据库是否存在敏感数据
创建一次性作业,以在 Cloud Storage 存储桶、BigQuery 表或 Datastore 种类中搜索敏感数据。
创建和安排 Cloud DLP 检查作业
创建并安排作业触发器,用于在 Cloud Storage 存储桶、BigQuery 表或 Datastore 种类中搜索敏感数据。作业触发器会定期自动创建 Cloud DLP 作业。

使用扫描结果

将 Cloud DLP 扫描结果发送到 Data Catalog
扫描 BigQuery 表,然后将发现结果发送到 Data Catalog,以根据 Cloud DLP 发现结果自动创建标记。
将 Cloud DLP 扫描结果发送到 Security Command Center
扫描 Cloud Storage 存储桶、BigQuery 表格或 Datastore 种类,然后将发现结果发送到 Security Command Center。
分析和报告 DLP 结果
使用 BigQuery 分析 Cloud DLP 发现结果。
在 BigQuery 中查询 Cloud DLP 结果
查看您可以在 BigQuery 中用来分析 Cloud DLP 识别的发现结果的示例查询。

重标识风险分析

衡量重标识和披露风险

分析存储在 BigQuery 表中的结构化数据并计算以下重标识风险指标:

计算数值统计信息和分类统计信息

确定单个 BigQuery 列的最小值、最大值和分位数值。

使用数据洞察直观呈现重标识化风险

衡量数据集的 k-匿名性,然后在 Google 数据洞察中将其直观呈现。

教程

使用 Cloud DLP 对大规模数据集中的个人身份信息进行去标识化和重标识处理
创建自动数据转换流水线,以便对个人身份信息等敏感数据进行去标识化。
使用 Dataflow、BigQuery ML 和 Cloud Data Loss Prevention 构建安全的异常值检测解决方案
为电信网络构建安全的网络异常检测解决方案。
部署迁移敏感数据的解决方案
实现旨在迁移 BigQuery 中的敏感数据的端到端数据令牌化解决方案。

最佳做法

确保存储机密数据的 BigQuery 数据仓库的安全性
在 Google Cloud 中创建、部署和运营数据仓库时的数据治理架构概览和最佳做法,包括数据去标识化、差分处理机密数据以及列级访问权限控制。

观众投稿

以下各项由社区成员(而不是 Cloud DLP 团队)拥有和管理。如有关于这些内容的问题,请与相应的所有者联系。

使用 Cloud Data Loss Prevention (DLP) 检查 BigQuery 数据,以创建 Data Catalog 标记
使用 Cloud Data Loss Prevention API 检查 BigQuery 数据,然后使用 Data Catalog API 根据 Cloud DLP 发现的敏感元素创建列级标记。
使用 Cloud DLP 实现事件驱动型无服务器调度架构
设置一个事件驱动型无服务器调度应用,使用 Cloud Data Loss Prevention API 检查 BigQuery 数据。
使用 Google Cloud 数据流分析和 AI 服务进行实时异常检测
介绍用于检测日志文件中的异常值的实时人工智能 (AI) 模式。此概念验证使用 Pub/Sub、Dataflow、BigQuery ML 和 Cloud DLP。
使用 Dataflow 和 Cloud DLP 将关系型数据库导入 BigQuery
使用 Dataflow 和 Cloud DLP 安全地令牌化关系型数据库中的数据并将其导入 BigQuery。本示例介绍如何在个人身份信息数据持久化之前对其进行令牌化处理。

价格

检查 BigQuery 表时,您需要根据存储空间检查作业价格支付 Cloud DLP 费用。

此外,当您将检查发现结果保存到 BigQuery 表后,需要支付 BigQuery 费用