运行 Cloud Data Fusion 6.7.0 或更高版本的私有实例可以使用 DNS 解析。借助此功能,您可以在私有 Cloud Data Fusion 实例中设计流水线时为源和接收器使用主机名或域名,这样您就不必在故障转移期间更改流水线定义。
如果没有它,您将使用硬编码的 IP 地址,而当高可用性部署发生故障切换时,这些地址会发生变化,这会带来问题。如果您在私有实例中设计数据流,并希望检索架构、运行预览、整理和测试连接,建议使用 DNS 解析。
如需了解详情,请参阅 Cloud Data Fusion 中的 DNS 解析。
准备工作
创建私有实例
在 Cloud Data Fusion 中创建一个私有实例,然后按照以下步骤在该实例中设置 VPC 网络或共享 VPC 网络。
创建一个私有 Cloud Data Fusion 实例。创建实例时,请选择以下选项:
- 选择 6.7.0 或更高版本。
- 在网络字段中,为专用连接选择适当的关联网络。
- 输入任何其他实例详细信息,然后点击创建。如需了解所有字段,请参阅创建一个私有 Cloud Data Fusion 实例。
-
Cloud Data Fusion 使用 VPC 网络对等互连建立与 VPC 或共享 VPC 网络的网络连接。这样一来,Cloud Data Fusion 就可以通过内部 IP 地址访问您网络上的资源。
设置时,请执行以下操作:
- 输入对等互连连接的名称。
- 对于您的 VPC 网络,请选择您在其中创建了 Cloud Data Fusion 实例的网络。
- 对于对等互连 VPC 网络,请选择在其他项目中。
- 对于项目 ID,请输入租户项目 ID。
对于 VPC 网络名称,请输入
INSTANCE_REGION-INSTANCE_ID
。替换以下内容:
INSTANCE_REGION
:您在其中创建了 Cloud Data Fusion 实例的区域。INSTANCE_ID
:Cloud Data Fusion 实例的 ID。
对于交换自定义路由,请点击导出自定义路由。这允许您将 VPC 网络中定义的任何自定义路由与租户 VPC 网络进行交换。
点击创建。
如果 VPC 网络对等互连设置成功,VPC 网络详情页面上的状态为活跃。
创建托管专用 DNS 区域
如需在 Cloud Data Fusion 中解析网域名称,请在用于 VPC 网络对等互连的同一 VPC 网络或共享 VPC 网络中创建新的托管式专用 DNS 区域。如需了解详情,请参阅创建专用可用区。
控制台
如需创建托管的专用 DNS 区域,请执行以下操作:
- 在 Google Cloud 控制台中,前往创建 DNS 区域页面。
- 在可用区名称部分,输入名称。
- 对于可用区类型,请点击专用。
- 对于 DNS 名称,输入域名。
- 对于选项,点击默认(专用)。
- 对于网络,选择用于 VPC 网络对等互连的 VPC 网络或共享 VPC 网络。
- 点击创建。
在 DNS 区域中创建记录集
在设计数据流时,在 DNS 区域中创建包含要解析的内部 IP 地址的记录集。如需了解详情,请参阅添加记录。
控制台
如需创建记录集,请执行以下操作:
在 Google Cloud 控制台中,转到 Cloud DNS 页面。
点击要为其创建资源记录集的区域。
在区域详情页面上,点击添加标准。
对于 DNS 名称,输入必须在设计期间解析的域名。
输入记录类型详细信息。对于 IPv4 地址,请为要用在流水线中的接收器或来源提供内部 IP 地址。如需详细了解记录类型,请参阅添加记录。
点击创建。
在实例中添加 DNS 对等互连
控制台
如需在 Google Cloud 控制台中创建 DNS 对等互连,请执行以下操作:
打开您的实例。
在 Google Cloud 控制台中,前往 Cloud Data Fusion 页面。
点击实例,然后点击实例名称以前往实例详情页面。
点击 Add DNS peering(添加 DNS 对等互连)。
系统随即会打开添加 DNS 对等连接对话框。
在 DNS 对等互连 ID 中,输入名称。
对于域名,输入您用于创建专用 DNS 区域的域名。
对于目标项目,选择创建专用 DNS 区域的项目名称。
对于网络,选择创建专用 DNS 区域的 VPC 网络名称。
点击保存以创建 DNS 对等连接。
REST API
如需使用 Cloud Data Fusion DNS 对等互连 API 解析域名和主机名,请调用其 create()
方法。
如需了解详情和方法,请参阅 Cloud Data Fusion DNS 对等连接 API 参考文档。
共享 VPC 网络中的 DNS 解析
如需在共享 VPC 网络中创建 Cloud DNS 专用区域,请在宿主项目中创建专用区域,并为共享 VPC 网络授予该区域的访问权限,或者使用跨项目绑定在服务项目中设置该区域。如需了解详情,请参阅 Cloud DNS 专用可用区的最佳做法。
共享 VPC 网络所需的角色
为了确保 Cloud Data Fusion 服务账号拥有在共享 VPC 网络中创建 DNS 对等连接所需的权限,请让您的管理员为 Cloud Data Fusion 服务账号授予共享 VPC 宿主项目的 DNS Peer (roles/dns.peer
) IAM 角色。
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
您的管理员也可以通过自定义角色或其他预定义角色向 Cloud Data Fusion 服务账号授予所需的权限。
如需了解详情,请参阅向所需的服务账号授予访问权限。
后续步骤
- 详细了解 Cloud Data Fusion 中的网络功能。
- 请参阅 Cloud Data Fusion API。