搭配使用 VPC Service Controls 与 Cloud Data Fusion

如果您打算创建具有专用 IP 地址的 Cloud Data Fusion 实例,您可以首先使用 VPC Service Controls (VPC-SC) 为实例建立安全边界,从而提供额外的安全保护。 私有 Cloud Data Fusion 实例和其他 Google Cloud 资源周围的 VPC-SC 安全边界有助于降低数据渗漏的风险。例如,使用 VPC Service Controls 时,如果 Cloud Data Fusion 流水线从边界内受支持的资源(如 BigQuery 数据集)读取数据,然后尝试将输出写入边界外的资源,则流水线将失败。

Cloud Data Fusion 资源在两个 API 界面上公开:

  1. datafusion.googleapis.com 控制平面 API 界面,可让您执行实例级操作,例如创建和删除实例。

  2. datafusion.googleusercontent.com 数据平面 API 界面(Cloud Console 中的 Cloud Data Fusion 网页界面),它在 Cloud Data Fusion 实例上执行以创建和执行数据流水线。

您可以通过同时限制与上述两个 API 界面的连接,来使用 Cloud Data Fusion 设置 VPC Service Controls。

策略:

  • Cloud Data Fusion 流水线在 Dataproc 集群上执行。 要使用服务边界保护 Dataproc 集群,请按照设置专用连接的说明操作,以允许该集群在边界内正常工作。

  • 如果插件使用的 Google Cloud API 不受 VPC Service Controls 支持,请勿使用这些插件。 如果您使用了不受支持的插件,Cloud Data Fusion 将阻止 API 调用,从而导致流水线预览和执行失败。

  • 要在 VPC Service Controls 服务边界内使用 Cloud Data Fusion,请添加或配置多个 DNS 条目,以便将以下网域指向受限 VIP(虚拟 IP 地址):

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

限制:

  • 在创建 Cloud Data Fusion 私有实例之前,请先建立 VPC Service Controls 安全边界。不支持对在设置 VPC Service Controls 之前创建的实例进行边界保护。

  • 目前,Cloud Data Fusion 数据层面界面不支持使用基于身份的访问权限来指定访问权限级别。

限制 Cloud Data Fusion API 界面

限制控制平面界面

请参阅设置与 Google API 和服务的专用连接以限制与 datafusion.googleapis.com API 控制平面界面的连接。

限制数据平面界面

要设置与 API 数据平面的专用连接,请通过为 *.datafusion.googleusercontent.com*.datafusion.cloud.google.com 网域完成以下步骤来配置 DNS。

  1. 使用 Cloud DNS 创建新的专用区域

    1. 地区类型:选中专用
    2. 地区名称:datafusiongoogleusercontentcom
    3. DNS 名称:datafusion.googleusercontent.com
    4. 网络:选择您在创建 Cloud Data Fusion 实例时选择的专用 IP 网络。
    如何填写区域字段。
  2. Cloud DNS 页面中,点击您的 datafusiongoogleusercontent DNS 区域名称以打开区域详情页面。系统会列出两条记录:NS 记录和 SOA 记录。 使用添加记录集将以下两个记录集添加到您的 datafusiongoogleusercontent DNS 地区。

    1. 添加 CNAME 记录:在创建记录集对话框中,填写以下字段以将 DNS 名称 *.datafusion.googleusercontent.com. 映射到规范名称 datafusion.googleusercontent.com

      • DNS 名称:"*.datafusion.googleusercontent.com"
      • 规范名称:"datafusion.googleusercontent.com"
      如何填写区域字段。
    2. 添加 A 记录:在新的创建记录集对话框中,填写以下字段以将 DNS 名称 datafusion.googleusercontent.com. 映射到 IP 地址 199.36.153.4 - 199.36.153.7

      • DNS 名称:".datafusion.googleusercontent.com"
      • IPv4 地址:

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
      如何填写区域字段。

      datafusiongoogleusercontent 地区详情页面将显示以下记录集:

      如何填写区域字段。
  3. 按照上述步骤创建专用 DNS 地区,并为 *.datafusion.cloud.google.com 网域添加记录集。

后续步骤