在运行 Cloud Data Fusion 6.7.0 版或更高版本的私有实例中,可以使用 DNS 解析。这样一来,您就可以在私有 Cloud Data Fusion 实例中设计流水线时,使用来源和接收器的主机名或域名,而无需在故障切换期间更改流水线定义。
如果没有它,您将使用硬编码的 IP 地址,这在发生故障切换时(在高可用性部署中)会导致地址发生变化,从而产生问题。在私有实例中设计流水线并希望检索架构、运行预览、整理数据和测试连接时,建议进行 DNS 解析。
如需了解详情,请参阅 Cloud Data Fusion 中的 DNS 解析。
准备工作
创建私有实例
在 Cloud Data Fusion 中创建私有实例,并按照以下步骤在实例中设置 VPC 网络或共享 VPC 网络。
创建私有 Cloud Data Fusion 实例。 创建实例时,请选择以下选项:
- 选择 6.7.0 版或更高版本。
- 在网络字段中,为专用连接选择合适的关联网络。
- 输入任何其他实例详细信息,然后点击创建。如需了解所有字段,请参阅创建专用 Cloud Data Fusion 实例。
-
Cloud Data Fusion 使用 VPC 网络对等互连建立与 VPC 或共享 VPC 网络的网络连接。这样一来,Cloud Data Fusion 就可以通过内部 IP 地址访问您网络上的资源。
设置时,请执行以下操作:
- 输入对等互连连接的名称。
- 对于您的 VPC 网络,请选择您在其中创建了 Cloud Data Fusion 实例的网络。
- 对于对等互连 VPC 网络,选择在另一个项目中。
- 在项目 ID 部分,输入租户项目 ID。
对于 VPC 网络名称,请输入
INSTANCE_REGION-INSTANCE_ID
。替换以下内容:
INSTANCE_REGION
:您在其中创建 Cloud Data Fusion 实例的区域。INSTANCE_ID
:Cloud Data Fusion 实例的 ID。
对于交换自定义路由,请点击导出自定义路由。这允许您将 VPC 网络中定义的任何自定义路由与租户 VPC 网络进行交换。
点击创建。
如果 VPC 网络对等互连设置成功,VPC 网络详情页面上的状态将为有效。
创建专用 DNS 代管区域
如需在 Cloud Data Fusion 中解析网域名称,请在用于 VPC 网络对等互连的同一 VPC 网络或共享 VPC 网络中创建新的托管专用 DNS 区域。如需了解详情,请参阅创建专用可用区。
控制台
如需创建专用代管 DNS 区域,请执行以下操作:
- 在 Google Cloud 控制台中,前往创建 DNS 区域页面。
- 对于区域名称,请输入一个名称。
- 对于可用区类型,点击专用。
- 对于 DNS 名称,输入一个域名。
- 对于选项,点击默认(专用)。
- 对于网络,选择用于 VPC 网络对等互连的 VPC 网络或共享 VPC 网络。
- 点击创建。
在 DNS 区域中创建记录集
在 DNS 区域中创建记录集,其中包含在设计流水线时要解析的内部 IP 地址。如需了解详情,请参阅添加记录。
控制台
如需创建记录集,请执行以下操作:
在 Google Cloud 控制台中,前往 Cloud DNS 页面。
点击要为其创建资源记录集的区域。
在区域详情页面上,点击添加标准。
对于 DNS 名称,输入一个必须在设计时解析的域名。
输入记录类型详细信息。对于 IPv4 地址,请提供要在流水线中使用的接收器或来源的内部 IP 地址。如需详细了解记录类型,请参阅添加记录。
点击创建。
在实例中添加 DNS 对等互连
控制台
如需在 Google Cloud 控制台中创建 DNS 对等互连,请执行以下操作:
打开您的实例。
在 Google Cloud 控制台中,前往 Cloud Data Fusion 页面。
点击实例,然后点击实例名称以前往实例详情页面。
点击 Add DNS peering(添加 DNS 对等互连)。
系统随即会打开添加 DNS 对等互连对话框。
在 DNS 对等互连 ID 部分,输入名称。
对于网域,请输入您用于创建专用 DNS 区域的网域名称。
在目标项目中,选择创建专用 DNS 区域的项目名称。
对于网络,选择创建专用 DNS 区域的 VPC 网络名称。
点击保存以创建 DNS 对等互连。
REST API
如需使用 Cloud Data Fusion DNS 对等互连 API 解析网域和主机名,请调用其 create()
方法。
如需了解详情和方法,请参阅 Cloud Data Fusion DNS 对等互连 API 参考。
共享 VPC 网络中的 DNS 解析
如需在共享 VPC 网络中创建 Cloud DNS 专用地区,请在宿主项目中创建专用地区,并为共享 VPC 网络授予该地区的访问权限,也可以使用跨项目绑定在服务项目中设置该地区。如需了解详情,请参阅 Cloud DNS 专用可用区的最佳做法。
共享 VPC 网络所需的角色
如需确保 Cloud Data Fusion 服务账号具有在共享 VPC 网络中创建 DNS 对等互连所需的权限,请让管理员向 Cloud Data Fusion 服务账号授予共享 VPC 宿主项目的 DNS Peer (roles/dns.peer
) IAM 角色。
您的管理员也可以通过自定义角色或其他预定义角色向 Cloud Data Fusion 服务账号授予所需的权限。
如需了解详情,请参阅向所需的服务账号授予访问权限。
后续步骤
- 详细了解 Cloud Data Fusion 中的网络功能。
- 请参阅 Cloud Data Fusion API。