将 VPC Service Controls 与 Cloud Data Fusion 搭配使用

如果您打算创建具有专用 IP 地址的 Cloud Data Fusion 实例，您可以首先使用 VPC Service Controls (VPC-SC) 为实例建立安全边界，从而提供额外的安全保护。 私有 Cloud Data Fusion 实例和其他资源周围的 VPC-SC 安全边界有助于降低数据渗漏的风险。 Google Cloud 例如，使用 VPC Service Controls 时，如果 Cloud Data Fusion 流水线从边界内受支持的资源（如 BigQuery 数据集）读取数据，然后尝试将输出写入边界外的资源，则流水线将失败。

Cloud Data Fusion 资源在两个 API 界面上公开：

  1. datafusion.googleapis.com 控制平面 API 界面，可让您执行实例级操作，例如创建和删除实例。

  2. datafusion.googleusercontent.com 数据平面 API 界面（ Google Cloud 控制台中的 Cloud Data Fusion 网页界面），它在 Cloud Data Fusion 实例上执行以创建和执行数据流水线。

您可以通过同时限制与上述两个 API 界面的连接，来使用 Cloud Data Fusion 设置 VPC Service Controls。

策略：

  • Cloud Data Fusion 流水线在 Dataproc 集群上执行。 要使用服务边界保护 Dataproc 集群，请按照设置专用连接的说明操作，以允许该集群在边界内正常工作。

  • 如果插件使用的 API 不受 VPC Service Controls 支持，请勿使用这些插件。 Google Cloud 如果您使用了不受支持的插件，Cloud Data Fusion 将阻止 API 调用，从而导致流水线预览和执行失败。

  • 要在 VPC Service Controls 服务边界内使用 Cloud Data Fusion，请添加或配置多个 DNS 条目，以便将以下网域指向受限 VIP（虚拟 IP 地址）：

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

限制：

  • 在创建 Cloud Data Fusion 私有实例之前，请先建立 VPC Service Controls 安全边界。不支持对在设置 VPC Service Controls 之前创建的实例进行边界保护。

  • 目前，Cloud Data Fusion 数据层面界面不支持使用基于身份的访问权限来指定访问权限级别。

限制 Cloud Data Fusion API 界面

限制控制平面界面

请参阅设置与 Google API 和服务的专用连接以限制与 datafusion.googleapis.com API 控制平面界面的连接。

限制数据平面界面

要设置与 API 数据平面的专用连接，请通过为 *.datafusion.googleusercontent.com 和 *.datafusion.cloud.google.com 网域完成以下步骤来配置 DNS。

  1. 使用 Cloud DNS 创建新的专用区域：

    1. 地区类型：选中专用
    2. 地区名称：datafusiongoogleusercontentcom
    3. DNS 名称：datafusion.googleusercontent.com

    4. 网络：选择您在创建 Cloud Data Fusion 实例时选择的专用 IP 网络。

      如何填写区域字段。

  2. 在 Cloud DNS 页面中，点击您的 datafusiongoogleusercontent DNS 区域名称以打开区域详情页面。系统会列出两条记录：NS 记录和 SOA 记录。 使用添加标准将以下两个记录集添加到您的 datafusiongoogleusercontent DNS 区域。

    1. 添加 CNAME 记录：在创建记录集对话框中，填写以下字段以将 DNS 名称 *.datafusion.googleusercontent.com. 映射到规范名称 datafusion.googleusercontent.com：

      • DNS 名称："*.datafusion.googleusercontent.com"

      • 规范名称："datafusion.googleusercontent.com"

        如何填写区域字段。

    2. 添加 A 记录：在新的创建记录集对话框中，填写以下字段以将 DNS 名称 datafusion.googleusercontent.com. 映射到 IP 地址 199.36.153.4 - 199.36.153.7：

      • DNS 名称：".datafusion.googleusercontent.com"

      • IPv4 地址：

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        如何填写区域字段。

      datafusiongoogleusercontent 地区详情页面将显示以下记录集：

      如何填写区域字段。

  3. 按照上述步骤创建专用 DNS 地区，并为 *.datafusion.cloud.google.com 网域添加记录集。

后续步骤