创建启用了 VPC 对等互连的专用实例

本页面介绍了如何创建 Cloud Data Fusion 实例和 内部 IP 地址。您可在 VPC 网络或 共享 VPC 网络。

注意 ：在 Cloud Data Fusion 6.10.0 及更高版本中，我们建议创建 具有 Private Service Connect 不适用于 VPC 网络对等互连。

专用 Cloud Data Fusion 实例具有以下优势：

• 与该实例的连接是通过 专用 VPC 网络。 通过网络的流量不会通过公共互联网。

• 此实例可以连接到您的本地资源，例如关系型资源 您的本地网络 通过 Google Cloud 专用 VPC 网络 Cloud VPN 或 Cloud Interconnect。 您可以通过 而无需开放对 Google Cloud 的访问权限。

目标

• 设置 VPC 网络或共享 VPC 网络。
• 分配将用于部署 Cloud Data Fusion 的 IP 范围 多个实例。
• 创建 Cloud Data Fusion 私有实例。
• 在需要配置 VPC 网络的 VPC 之间 包含 Cloud Data Fusion 实例和 VPC 包含关联的租户项目。
• 对于共享 VPC 网络，请设置 Identity and Access Management (IAM) 权限。
• 如果您的专用实例使用 Cloud Data Fusion 6.2.0 版或 创建防火墙规则
• 让不同的 Google Cloud 服务与各个 Google Cloud 服务在内部进行通信 启用专用 Google 访问通道 Dataproc 子网。

准备工作

• 如需了解 Cloud Data Fusion 的部署架构，请参阅 网络。

设置 VPC 网络

创建 VPC 网络（如果您尚未创建） 或共享 VPC 网络。

如需设置 VPC 网络，您必须分配一个 IP 地址 范围。

分配 IP 范围

VPC 网络

如果您未使用共享 VPC 网络 创建存储分区时，Cloud Data Fusion 默认分配 IP 范围 实例。

注意 ：如果您未使用共享 VPC 网络，请跳过此步骤 部分，然后转到创建专用实例。

共享 VPC 网络

注意 ：请仅在使用共享 VPC 网络时执行以下步骤。

要使用共享 VPC，您必须分配 IP 范围。

如需为您的 Cloud Data Fusion 实例分配 IP 范围，请按照下列步骤操作： 具体步骤：

1. 在 Google Cloud 控制台中，前往 VPC 网络 页面。

   进入 VPC 网络页面

2. 在名称列中，点击 VPC 网络 您要创建专用 Cloud Data Fusion 实例。

   VPC 网络详情页面将打开。

3. 点击专用服务连接。如果出现提示，请启用 通过点击启用 API 启用 Service Networking API。

   

4. 点击分配 IP 范围。

   1. 为您的 IP 范围指定名称。

   2. 在 IP 范围部分，点击自动。

      注意 ：对于自定义范围，Cloud Data Fusion 支持有效的 专用 IPv4 地址范围 包括非 RFC 1918 IP 范围。不支持非公开 已使用的外部 IP 地址范围此范围分配没有 使用来自您的任何子网的 IP，但不得重叠 您日后进行的任何范围分配。

   3. 指定前缀大小 22。

      注意 ：每个 Cloud Data Fusion 都需要 IP 范围 /22 且不能由多个实例共享。IP 范围 它属于 Google Cloud，是底层实例 组件和基础架构进行托管。

   4. 点击分配。

      

创建私有实例

在 VPC 中创建专用 Cloud Data Fusion 实例 或共享 VPC 网络。

注意 ：创建 Cloud Data Fusion 实例后， 更改其版本。

VPC 网络

要在 VPC 网络中创建实例，请使用 Google Cloud 控制台或 c网址。

如果您使用 Google Cloud 控制台创建专用实例， 默认情况下，Cloud Data Fusion 会分配 /22 IP 地址范围。接收者 请选择其他 IP 范围，则必须使用 c网址 命令。

控制台

1. 转到创建 Data Fusion 实例页面。

   <ph type="x-smartling-placeholder"></ph> 前往“创建 Data Fusion 实例”

2. 为实例输入实例名称和说明。

3. 选择要在其中创建实例的区域。

4. 选择一个 Cloud Data Fusion 版本，然后 版本。

5. 指定 Dataproc 服务账号 来运行 Cloud Data Fusion 流水线 Dataproc。默认的 Compute Engine 账号。

   注意 ：您必须根据自己的需求授予适当的 Identity and Access Management 角色 服务账号如需了解详情，请参阅 授予服务账号用户权限。

6. 展开高级选项菜单，然后点击启用专用 IP。

7. 在网络字段中，选择要在其中创建 实例。

8. 点击创建。最长可能需要 30 分钟才能完成实例创建过程。

   注意：Cloud Data Fusion 创建实例时，实例页面上实例名称的旁边会显示一个进度轮。 完成后，该图标会变成一个绿色对勾标记，表示 以便开始使用该实例。

cURL

为方便起见，您可以导出以下变量，也可以 直接将这些值替换为以下命令：

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

如需创建实例，请调用其 create() 方法：

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

替换以下内容：

• INSTANCE_ID：新实例应获取的 ID 字符串。
• NETWORK_NAME： 要在其中创建专用 VPC 网络 实例。
• IP_RANGE：IP 地址 分配的范围。要在 Google Cloud 控制台中转到 VPC 网络详情 &gt; 专用服务连接 &gt; 内部 IP 范围。

共享 VPC 网络

要在共享 VPC 网络中创建实例，请使用 c网址（而不是 Google Cloud 控制台。

cURL

为方便起见，您可以导出以下变量。 或者，您也可以直接替换以下代码中的这些值 命令：

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

如需创建实例，请调用其 create() 方法：

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

替换以下内容：

• INSTANCE_ID：新实例应获取的 ID 字符串。
• SHARED_VPC_HOST_PROJECT_ID： 托管共享 VPC 网络的项目。
• NETWORK_NAME： 要在其中创建专用 VPC 网络 实例。
• IP_RANGE：您分配的 IP 范围。 如需在 Google Cloud 控制台中查找 IP 范围，请前往 VPC 网络详情页面 &gt; 专用服务连接 &gt; 内部 IP 范围。

注意 ：您不能使用分配给其他 Google Cloud 的 IP 范围 服务。该 IP 地址范围必须与上个 IP 地址段中分配的 IP 范围相同

注意 ：使用共享 VPC 网络时， 您在项目与 租户项目是 VPC 网络名称和实例名称的组合。 VPC 网络对等互连名称的长度不得 超过 63 个字符。

设置 VPC 网络对等互连

要点 ：Cloud Data Fusion 实例是自行创建的 VPC 网络，您可能需要设置 VPC 网络对等互连 您在流水线中使用的数据源和接收器连接。

您在自己的项目中使用的 设计环境 （例如：Wrangler、连接管理器和架构验证）启动 从租户项目 VPC 到来源的网络连接 系统。Cloud Data Fusion 的用途 VPC 网络对等互连，用于建立网络 VPC 或共享 VPC 的连接， 实例。VPC 网络对等互连允许 Cloud Data Fusion 访问 使用您自己的 IP 地址通过内部 IP 地址访问您网络中的资源， VPC 及其控件。要与另一个项目中的资源连接 请参阅针对连接用例的步骤。

以下部分介绍了如何 创建对等互连配置 您的网络与 Cloud Data Fusion 之间的连接 租户项目 。

获取租户项目 ID

要创建对等互连配置，您需要 租户项目 ID。

1. 前往 Cloud Data Fusion 实例页面。

   转到“实例”

2. 在实例名称列中，选择相应实例。

3. 在实例详情页面上，复制租户项目 ID（即 在按以下步骤创建对等互连连接时需要提供。

创建对等连接

1. 前往 VPC 网络对等互连页面。

   转到 VPC 网络对等互连

2. 依次点击创建连接 > 继续。

3. 在随即打开的创建对等互连连接页面上，执行以下操作：

   1. 输入对等互连连接的名称。
   2. 对于您的 VPC 网络，请选择包含您的 Cloud Data Fusion 实例。
   3. 对于对等互连的 VPC 网络，选择在其他项目中。
   4. 对于项目 ID，请输入 您之前在以下位置找到的租户项目 ID： 本教程。

   5. 对于 VPC 网络名称，选择一个网络或输入 INSTANCE_REGION - INSTANCE_ID。

      替换以下内容：

      • INSTANCE_REGION：您在其中创建了 Cloud Data Fusion 实例。
      • INSTANCE_ID：您的 Cloud Data Fusion 实例的 ID。
      注意 ：创建实例时，名为 INSTANCE_REGION-INSTANCE_ID是在 创建项目。私有 Cloud Data Fusion 实例已部署 该 VPC 中的资源此网络已存在 与客户项目 VPC 建立对等互连。

   6. 选择对等互连连接的互联网协议版本 在您的 VPC 网络之间交换 IPv4 和 IPv6 路由， 对等 VPC 网络如需了解详情，请参阅 VPC 网络对等互连。

   7. 选择导出自定义路由，以便自定义路由 可以从您的 VPC 网络导出到租户 VPC 网络。

   8. 选择是允许导入具有公共 IPv4 的子网路由，还是 导出到您的 VPC 网络

   9. 点击创建。

   VPC 网络对等互连在创建后不久即会生效。

设置 IAM 权限

VPC 网络

跳过此步骤，直接创建防火墙规则。

共享 VPC 网络

如果您在共享 VPC 中创建 Cloud Data Fusion 实例 您必须授予 Compute Network User 角色 以下服务账号。如需授予对所有子网的权限，请授予 该角色分配给共享 VPC 宿主项目。

如需进一步控制访问权限，请改为将角色授予特定子网，并 Network Viewer 角色， 托管项目

• Cloud Data Fusion 服务账号：[e-mail]
• Dataproc 服务账号：[e-mail]

PROJECT_NUMBER 是 包含您的 Cloud Data Fusion 的 Google Cloud 项目 实例。

如需了解详情，请参阅授予访问权限 所需的服务账号

创建防火墙规则

在 VPC 网络上创建防火墙规则，以允许来自您在创建私有 Cloud Data Fusion 实例时所指定 IP 范围的入站 SSH 连接。

对于 6.2.0 之前的 Cloud Data Fusion 版本，必须执行此步骤。它 允许在 Cloud Data Fusion 与 Dataproc 之间进行通信 运行流水线的集群。

您可以使用 Google Cloud 控制台创建防火墙规则 或使用 gcloud CLI。

控制台

请参阅创建防火墙规则。

gcloud

运行以下命令：

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

替换以下内容：

• FIREWALL_NAME：要配置的防火墙规则的名称 创建。
• IP_RANGE：您需要访问的 IP 范围 已分配。
• NETWORK_NAME：要连接到的网络的名称 是否附加了防火墙规则。它是 VPC 网络的名称 您在其中创建了专用实例的网络。
• PROJECT_ID：目标项目的 ID 托管 VPC 网络的方法。

连接用例的步骤

以下部分介绍了与专用连接相关的使用场景， 实例。

启用专用 Google 访问通道

如需通过内部 IP 地址访问资源，请执行以下操作： Cloud Data Fusion 必须创建 Dataproc 集群并运行 具有专用 Google 访问通道的子网中的数据流水线。您必须 为包含专用 Google 访问通道的子网启用 Dataproc 集群。

• 如果 Dataproc 所在的区域只存在一个子网 则集群会在相应子网中启动。

• 如果一个区域中有多个子网，则必须 Cloud Data Fusion，用于选择 用于启动 Dataproc 集群的专用 Google 访问通道。

  注意 ：如果相关子网未启用专用 Google 访问通道， 流水线运行失败。要在创建实例后指定子网，请执行以下操作： 修改计算配置文件。

如需为子网启用专用 Google 访问通道，请参阅 专用 Google 访问通道配置。

可选：连接到其他来源

在 Cloud Data Fusion 中创建专用实例后，您可以 其他来源，例如以下用例：

• 本地数据库和其他 VPC 网络中运行的系统
• 在自己的网络内以专用模式运行的其他 Google Cloud 服务，例如 Cloud SQL
• 公共互联网上的来源

可选：启用 DNS 对等互连

在 VPC 网络中启用 DNS 对等互连 以下情况：

• 当 Cloud Data Fusion 通过主机名（而不是 IP）连接到系统时 地址
• 当目标系统部署在负载均衡器后面时（例如在 一些 SAP 部署，

后续步骤

• 了解 Cloud Data Fusion 中的安全概念。
• 了解如何连接到外部网络中的资源。
• 了解 Cloud Data Fusion 的其他主要概念和功能。
• 参阅 Cloud Data Fusion 价格。