搭配使用 Cloud DLP 与 Cloud Data Fusion

本指南介绍如何搭配使用 Cloud Data Loss Prevention (DLP) 与 Cloud Data Fusion。

Cloud Data Fusion 提供了一个 Cloud DLP 插件,该插件提供三种可过滤、遮盖或解密敏感数据的转换:

  • 使用“PII 过滤条件”转换,您可以过滤数据输入流中的敏感记录。

  • 使用“遮盖”转换,您可以转换敏感数据,例如遮盖数据或加密数据。

  • 使用“解密”转换,您可以对之前使用“遮盖”转换进行加密的敏感数据进行解密。

费用

本指南使用 Google Cloud 的以下收费组件:

请使用价格计算器根据您的预计使用情况来估算费用。 Google Cloud 新用户可能有资格申请免费试用

准备工作

  1. 在 Cloud Console 的项目选择器页面上,选择或创建 Cloud 项目。

    转到“项目选择器”页面

  2. 为项目启用 Cloud Data Fusion API。

    启用 Cloud Data Fusion API

  3. 为项目启用 Cloud DLP API。

    启用 Cloud DLP API

  4. 创建 Cloud Data Fusion 实例

获取 Cloud DLP 权限

  1. 在 Cloud Console 中打开 IAM 页面

  2. 在权限表的成员列中,找到与 service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com 格式匹配的服务帐号。

  3. 点击服务帐号右侧的铅笔图标。

  4. 点击添加其他角色

  5. 点击显示的下拉列表。

  6. 使用搜索栏进行搜索,然后选择DLP 管理员

  7. 点击保存。检查 DLP 管理员是否显示在角色列中。

部署 Cloud DLP 插件

  1. 在 Cloud Console 中,打开实例页面。

    打开“实例”页面

  2. 操作列中,点击查看实例链接。点击该链接之后,会在一个新的浏览器标签页中打开 Cloud Data Fusion 网页界面。

  3. 在 Cloud Data Fusion 网页界面的右上角,点击 Hub

  4. 点击 Data Loss Prevention 插件。

  5. 点击部署

  6. 点击完成

  7. 点击创建流水线

使用 PII 过滤条件转换

此转换会将敏感记录与非敏感记录分开。与您在 Cloud DLP 模板中定义的条件匹配的记录被视为敏感记录。例如,在创建模板时,您可以将敏感数据定义为信用卡信息或社会保障号。

  1. 创建 Cloud DLP 检查模板

  2. 在 Cloud Data Fusion 网页界面的 Studio 页面中,点击以展开转换菜单。

  3. 点击 PII 过滤条件转换。

  4. 将鼠标指针放在 PII 过滤条件节点上,然后点击属性

  5. 过滤条件下,选择要过滤记录还是字段。

    根据 Cloud DLP 限制,如果记录超过 0.5 MB,您的 Cloud Data Fusion 流水线将会失败。 为避免发生此类失败,请按字段而非记录进行过滤。

  6. 模板 ID 下,输入您创建的 Cloud DLP 模板的模板 ID。

  7. 错误处理下,定义当流水线遇到敏感数据时如何进行后续操作。选择以下一种错误处理选项:

    • 停止流水线:在遇到错误时立即停止流水线。
    • 跳过记录:跳过导致错误的记录。流水线继续运行,且不会报告错误。
    • 发送到错误:将错误发送到错误端口。流水线继续运行。
  8. 点击 X 按钮。

使用遮盖转换

此转换可识别输入流中的敏感记录,并将您定义的转换应用于这些记录。与您选择的预定义 Cloud DLP 过滤条件或您定义的自定义模板匹配的记录,被视为敏感记录。

  1. 在 Cloud Data Fusion 网页界面的 Studio 页面中,点击以展开转换菜单。

  2. 点击遮盖转换。

  3. 将鼠标指针放在遮盖节点上,然后点击属性

  4. 选择是要对预定义的过滤条件应用转换,还是要创建自己的过滤条件。

    不能将这两个选项结合使用。您可以使用预定义的过滤条件,也可以创建自定义模板。

    预定义过滤条件

    要将转换应用于预定义的过滤条件,请将自定义模板设置保留为,并在匹配下定义规则:

    1. 点击应用后,点击下拉列表并选择一种转换。 如需详细了解可用的转换,请参阅插件的文档标签页的说明部分。

    2. 开启之后,点击下拉列表,然后选择一个类别,类别是一组按类型分组在一起的预定义 Cloud DLP 过滤条件。如需查看所提供类别的完整列表以及类别包含的过滤条件,请参阅插件的文档标签页中的 DLP 过滤条件映射部分。

    要设置多条匹配规则,请点击 + 按钮。

    自定义模板

    要根据自定义模板应用转换,请将自定义模板设置为

    1. 创建自定义 Cloud DLP 模板

    2. 返回到 Cloud Data Fusion 网页界面,在遮盖属性菜单的模板 ID 下,输入您创建的自定义模板的模板 ID。

  5. 点击 X 按钮。

使用“解密”转换

此转换可识别在输入流中使用 Cloud DLP 加密的记录,并应用解密。系统只能对使用可逆算法(如保留格式加密或确定性加密)加密的记录进行解密。

  1. 在 Cloud Data Fusion 网页界面的 Studio 页面中,点击以展开转换菜单。

  2. 点击解密转换。

  3. 将鼠标指针放在解密节点上,然后点击属性

  4. 输入用于配置对此数据进行加密的遮盖插件的相同值。此插件的属性与遮盖插件相同

  5. 点击 X 按钮。

后续步骤