在本部分中,您将了解如何创建到以下位置的连接配置文件:
- 源 Oracle、MySQL、SQL Server 和 PostgreSQL 数据库
- BigQuery 中的目标数据集
- Cloud Storage 中的目标存储桶
创建这些连接配置文件后,Datastream 便可将数据从源数据库传输到目标位置。
为 Oracle 数据库创建连接配置文件
前往 Google Cloud 控制台中的连接配置文件页面。
点击创建配置文件。
在创建连接配置文件页面中,点击 Oracle 配置文件类型(因为您希望为 Oracle 数据库创建连接配置文件)。
使用下表来填充创建 Oracle 配置文件页面的定义连接设置部分的字段:
字段 说明 连接配置文件名称 输入与源 Oracle 数据库的连接配置文件的显示名称。此名称在连接配置文件列表中以及数据流创建过程中选择现有连接配置文件时使用。 连接配置文件 ID Datastream 会根据您输入的连接配置文件名称自动填充此字段。您可以保留自动生成的 ID,也可以更改该 ID。 地区 选择存储连接配置文件的地区。与所有资源一样,连接配置文件也保存在地区中,并且数据流只能使用与该数据流存储在同一地区的连接配置文件。地区选择不会影响 Datastream 是否可连接到来源或目标位置,但如果该地区发生停机,则可能会影响可用性。 主机名或 IP 输入 Datastream 可用于连接到源 Oracle 数据库的主机名或 IP 地址。
如果您使用专用连接与源数据库通信,请为源数据库指定专用(内部)IP 地址。
对于其他连接方法(例如 IP 许可名单),请提供公共 IP 地址。
端口 输入为源数据库预留的端口号(默认端口通常为 1521)。 用户名 输入来源数据库账号的用户名(例如 ROOT
)。这是您为数据库创建的 Datastream 用户。如需详细了解如何创建此用户,请参阅配置来源 Oracle 数据库。
密码 输入源数据库账号的密码。
系统标识符 (SID) 输入用于确保来源 Oracle 数据库受到保护和监控的服务。对于 Oracle 数据库,数据库服务通常为 ORCL。对于可插入数据库,SID 是可插入数据库名称。 为二进制读取器启用 ASM 访问权限 如果您将 Oracle 日志存储在自动存储空间管理 (ASM) 中,请选中此复选框。此复选框仅适用于二进制日志读取器 CDC 方法(预览版)。如果您选择此选项,则需要填写 ASM 实例的连接详细信息。如需详细了解可用的 CDC 方法,请参阅使用 Oracle 数据库重做日志文件。 (可选)使用标签来组织 Datastream 资源。
- 如需创建标签,请点击添加标签,然后输入标签的键值对。
- 如需移除标签,请点击包含标签的行右侧的垃圾桶图标。
在定义连接设置部分中,点击继续。确保与来源的连接安全页面处于活跃状态。
从加密类型菜单中,选择以下选项之一:
加密类型 说明 无 Datastream 在不加密的情况下连接到源数据库。 仅限服务器 当 Datastream 连接到源数据库时,Datastream 会对源进行身份验证,从而确保它安全地连接到正确的主机。这样可以防止中间人攻击。
对于仅限服务器的身份验证,源不会对 DataStream 进行身份验证。如需使用仅限服务器的身份验证,您必须提供签署源证书的证书授权机构 (CA) 的 x509 PEM 编码证书。请确保您使用单个证书,Datastream 不支持证书链。
在确保与源的连接安全部分中,点击继续。创建 Oracle 配置文件页面的定义连接方法部分处于活动状态。
从连接方法下拉菜单中,选择一种网络连接方法。此方法用于指定 Datastream 连接到源数据库的方式。当前的网络连接方法包括:
- IP 许可名单:此方法的工作原理是将源数据库服务器配置为接受来自 Dataflow 的连接。如果选择此网络连接方法,则将源数据库配置为允许来自您为连接配置文件所指定地区的 Datastream 公共 IP 地址的传入连接。
- 正向 SSH 隧道:此方法使用指向隧道服务器或数据库服务器的 SSH 隧道,在 Datastream 和源数据库之间建立安全加密连接。如果您选择此网络连接方法,则:
- 输入隧道主机服务器的主机名或 IP 地址和端口。
- 输入隧道主机服务器账号的用户名。
- 选择适用于 SSH 隧道的身份验证方法。如果选择密码方法,请输入堡垒主机虚拟机账号的密码。如果您选择私钥/公钥对方法,请提供私钥。
- 配置隧道主机,以允许来自您为连接配置文件所指定区域的 Datastream 公共 IP 地址的传入连接。
专用连接(VPC 对等互连):此方法可在 Datastream 和源数据库(在 Google Cloud 内部或通过 VPN 或 Interconnect 连接的外部源)之间建立安全连接。 Google Cloud此通信通过 VPC 对等互连连接进行。
如果您选择此网络连接方法,并且创建了专用连接配置,请从配置列表中选择它。这种类型的配置包含 Datastream 用于通过专用网络与源数据库进行通信的信息。
如果您尚未创建专用连接配置,请点击下拉列表底部的创建专用连接配置,然后执行创建专用连接配置中的步骤进行创建。
在定义连接方法部分中,点击继续。创建 Oracle 配置文件页面的测试连接配置文件部分处于活动状态。
点击运行测试以验证 Datastream 是否可以与源通信。
如果测试失败,则表示进程的哪个部分存在问题。如需了解问题排查步骤,请参阅诊断问题页面。 您可以在创建 Oracle 配置文件页面上进行必要的更改,然后重新进行测试。
导航到流中有问题的部分以纠正问题,然后重新测试。
点击创建。
为 MySQL 数据库创建连接配置文件
前往 Google Cloud 控制台中的连接配置文件页面。
点击创建配置文件。
在创建连接配置文件页面中,点击 MySQL 配置文件类型(因为您希望为 MySQL 数据库创建连接配置文件)。
使用下表来填充创建 MySQL 配置文件页面的定义连接设置部分的字段:
字段 说明 连接配置文件名称 输入到源 MySQL 数据库的连接配置文件的显示名称。此名称在连接配置文件列表中以及数据流创建过程中选择现有连接配置文件时使用。 连接配置文件 ID Datastream 会根据您输入的连接配置文件名称自动填充此字段。您可以保留自动生成的 ID,也可以更改该 ID。 地区 选择存储连接配置文件的地区。与所有资源一样,连接配置文件也保存在地区中,并且数据流只能使用与该数据流存储在同一地区的连接配置文件。地区选择不会影响 Datastream 是否可连接到来源或目标位置,但如果该地区发生停机,则可能会影响可用性。 主机名或 IP 输入 Datastream 可用于连接到源 MySQL 数据库的主机名或 IP 地址。
如果您使用专用连接与源数据库通信,请为源数据库指定专用(内部)IP 地址。
对于其他连接方法(例如 IP 许可名单或转发 SSH),请提供公共 IP 地址。
端口 输入为源数据库预留的端口号(默认端口通常为 3306)。 用户名 输入来源数据库账号的用户名(例如
root
)。这是您为数据库创建的 Datastream 用户。如需详细了解如何创建此用户,请参阅配置源 MySQL 数据库。
密码 输入源数据库账号的密码。
(可选)使用标签来组织 Datastream 资源。
- 如需创建标签,请点击添加标签,然后输入标签的键值对。
- 如需移除标签,请点击包含标签的行右侧的垃圾桶图标。
在定义连接设置部分中,点击继续。确保与来源的连接安全页面处于活跃状态。
从加密类型菜单中,选择以下选项之一:
加密类型 说明 无 Datastream 在不加密的情况下连接到源数据库。 仅限服务器 当 Datastream 连接到源数据库时,Datastream 会对源进行身份验证,从而确保它安全地连接到正确的主机。这样可以防止中间人攻击。
对于仅限服务器的身份验证,源不会对 DataStream 进行身份验证。如需使用仅限服务器的身份验证,您必须提供签署源证书的证书授权机构 (CA) 的 x509 PEM 编码证书。请确保您使用单个证书,Datastream 不支持证书链。
服务器/客户端 当 DataStream 连接到源时,Datastream 会对源进行身份验证,并且源会对 Datastream 进行身份验证。
服务器-客户端身份验证提供最高级别的安全防护。但是,如果您不想在创建连接配置文件时提供客户端证书和私钥,则仍可以使用仅限服务器的身份验证。
如需使用服务器/客户端身份验证,您必须在创建源连接配置文件时提供以下内容:
- 签署源数据库服务器证书的 CA 的证书(CA 证书)。
- 实例用来对源数据库服务器进行身份验证的证书(客户端证书)。
- 与客户端证书关联的私钥(客户端密钥)。
在确保与源的连接安全部分中,点击继续。创建 MySQL 配置文件页面的定义连接方法部分处于活跃状态。
从连接方法下拉菜单中,选择一种网络连接方法。此方法用于指定 Datastream 连接到源数据库的方式。当前的网络连接方法包括:
- IP 许可名单:此方法的工作原理是将源数据库服务器配置为接受来自 Dataflow 的连接。如果选择此网络连接方法,则将源数据库配置为允许来自您为连接配置文件所指定地区的 Datastream 公共 IP 地址的传入连接。
- 正向 SSH 隧道:此方法使用指向隧道服务器或数据库服务器的 SSH 隧道,在 Datastream 和源数据库之间建立安全加密连接。如果您选择此网络连接方法,则:
- 输入隧道主机服务器的主机名或 IP 地址和端口。
- 输入隧道主机服务器账号的用户名。
- 选择适用于 SSH 隧道的身份验证方法。如果选择密码方法,请输入堡垒主机虚拟机账号的密码。如果您选择私钥/公钥对方法,请提供私钥。
- 配置隧道主机,以允许来自您为连接配置文件所指定区域的 Datastream 公共 IP 地址的传入连接。
专用连接(VPC 对等互连):此方法可在 Datastream 和源数据库(在 Google Cloud 内部或通过 VPN 或 Interconnect 连接的外部源)之间建立安全连接。 Google Cloud此通信通过 VPC 对等互连连接进行。
如果您选择此网络连接方法,并且创建了专用连接配置,请从配置列表中选择它。这种类型的配置包含 Datastream 用于通过专用网络与源数据库进行通信的信息。
如果您尚未创建专用连接配置,请点击下拉列表底部的创建专用连接配置,然后执行创建专用连接配置中的步骤进行创建。
在定义连接方法部分中,点击继续。创建 MySQL 配置文件页面的测试连接配置文件部分处于活跃状态。
点击运行测试以验证 Datastream 是否可以与源通信。
如果测试失败,则表示流程的哪个部分存在问题。如需了解问题排查步骤,请参阅诊断问题页面。 您可以进行必要的更改,然后重新测试连接配置文件。
导航到流中有问题的部分以纠正问题,然后重新测试。
点击创建。
为 PostgreSQL 数据库创建连接配置文件
前往 Google Cloud 控制台中的连接配置文件页面。
点击创建配置文件。
在创建连接配置文件页面中,点击 PostgreSQL 配置文件类型(因为您希望为 PostgreSQL 数据库创建连接配置文件)。
使用下表来填充创建 PostgreSQL 配置文件页面的定义连接设置部分的字段:
字段 说明 连接配置文件名称 输入到源 PostgreSQL 数据库的连接配置文件的显示名称。此名称在连接配置文件列表中以及数据流创建过程中选择现有连接配置文件时使用。 连接配置文件 ID Datastream 会根据您输入的连接配置文件名称自动填充此字段。您可以保留自动生成的 ID,也可以更改该 ID。 地区 选择存储连接配置文件的地区。与所有资源一样,连接配置文件也保存在地区中,并且数据流只能使用与该数据流存储在同一地区的连接配置文件。地区选择不会影响 Datastream 是否可连接到来源或目标位置,但如果该地区发生停机,则可能会影响可用性。 主机名或 IP 输入 Datastream 可用于连接到源 PostgreSQL 数据库的主机名或 IP 地址。
如果您使用专用连接与源数据库通信,请为源数据库指定专用(内部)IP 地址。
对于其他连接方法(例如 IP 许可名单或转发 SSH),请提供公共 IP 地址。
端口 输入为源数据库预留的端口号(PostgreSQL 的默认端口通常为 5432)。 用户名 输入来源数据库账号的用户名(例如
root
)。这是您为数据库创建的 Datastream 用户。如需详细了解如何创建此用户,请参阅配置源 PostgreSQL 数据库。
密码 输入源数据库账号的密码。
数据库 输入用于标识数据库实例的名称。对于 PostgreSQL 数据库,这通常为
postgres
。(可选)使用标签来组织 Datastream 资源。
- 如需创建标签,请点击添加标签,然后输入标签的键值对。
- 如需移除标签,请点击包含标签的行右侧的垃圾桶图标。
点击继续。
在定义连接设置部分中,点击继续。创建 PostgreSQL 配置文件页面的定义连接方法部分处于活跃状态。
从连接方法下拉菜单中,选择一种网络连接方法。此方法用于指定 Datastream 连接到源数据库的方式。当前的网络连接方法包括:
- IP 许可名单:此方法的工作原理是将源数据库服务器配置为接受来自 Dataflow 的连接。如果选择此网络连接方法,则将源数据库配置为允许来自您为连接配置文件所指定地区的 Datastream 公共 IP 地址的传入连接。
- 正向 SSH 隧道:此方法使用指向隧道服务器或数据库服务器的 SSH 隧道,在 Datastream 和源数据库之间建立安全加密连接。如果您选择此网络连接方法,则:
- 输入隧道主机服务器的主机名或 IP 地址和端口。
- 输入隧道主机服务器账号的用户名。
- 选择适用于 SSH 隧道的身份验证方法。如果选择密码方法,请输入堡垒主机虚拟机账号的密码。如果您选择私钥/公钥对方法,请提供私钥。
- 配置隧道主机,以允许来自您为连接配置文件所指定区域的 Datastream 公共 IP 地址的传入连接。
专用连接(VPC 对等互连):此方法可在 Datastream 和源数据库(在 Google Cloud 内部或通过 VPN 或 Interconnect 连接的外部源)之间建立安全连接。 Google Cloud此通信通过 VPC 对等互连连接进行。
如果您选择此网络连接方法,并且创建了专用连接配置,请从配置列表中选择它。这种类型的配置包含 Datastream 用于通过专用网络与源数据库进行通信的信息。
如果您尚未创建专用连接配置,请点击下拉列表底部的创建专用连接配置,然后执行创建专用连接配置中的步骤进行创建。
在定义连接方法部分中,点击继续。创建 PostgreSQL 配置文件页面的测试连接配置文件部分处于活跃状态。
点击运行测试以验证 Datastream 是否可以与源通信。
如果测试失败,则表示流程的哪个部分存在问题。如需了解问题排查步骤,请参阅诊断问题页面。 您可以进行必要的更改,然后重新测试连接配置文件。
导航到流中有问题的部分以纠正问题,然后重新测试。
点击创建。
为 SQL Server 数据库创建连接配置文件
前往 Google Cloud 控制台中的连接配置文件页面。
点击创建配置文件。
在创建连接配置文件页面中,点击 SQL Server 配置文件类型。
使用下表来填充创建 SQL Server 配置文件页面的定义连接设置部分的字段:
字段 说明 连接配置文件名称 输入到源 SQL Server 数据库的连接配置文件的显示名称。此名称在连接配置文件列表中以及数据流创建过程中选择现有连接配置文件时使用。 连接配置文件 ID Datastream 会根据您输入的连接配置文件名称自动填充此字段。您可以保留自动生成的 ID,也可以更改该 ID。 地区 选择存储连接配置文件的地区。与所有资源一样,连接配置文件也保存在地区中,并且数据流只能使用与该数据流存储在同一地区的连接配置文件。地区选择不会影响 Datastream 是否可连接到来源或目标位置,但如果该地区发生停机,则可能会影响可用性。 主机名或 IP 输入 Datastream 可用于连接到源 SQL Server 数据库的主机名或 IP 地址。
如果您使用专用连接与源数据库通信,请为源数据库指定专用(内部)IP 地址。
对于 IP 许可名单,请提供公共 IP 地址。
端口 输入为源数据库预留的端口号(默认端口通常为 1433)。 用户名 输入来源数据库账号的用户名(例如
root
)。这是您为数据库创建的 Datastream 用户。如需详细了解如何创建此用户,请参阅配置源 SQL Server 数据库。
密码 输入源数据库账号的密码。
数据库 输入用于标识数据库实例的名称。
(可选)使用标签来组织 Datastream 资源。
- 如需创建标签,请点击添加标签,然后输入标签的键值对。
- 如需移除标签,请点击包含标签的行右侧的垃圾桶图标。
点击继续。
在定义连接方法部分中,从连接方法下拉菜单中选择一种网络连接方法。此方法用于指定 Datastream 连接到源数据库的方式。网络连接方法包括:
- IP 许可名单:此方法的工作原理是将源数据库服务器配置为接受来自 Datastream 的连接。如果选择此网络连接方法,则将源数据库配置为允许来自您为连接配置文件所指定地区的 Datastream 公共 IP 地址的传入连接。
- 正向 SSH 隧道:此方法会在源数据库与 Datastream 之间建立安全加密连接。若要设置此连接方法,您需要有权访问源数据库的 SSH 服务器。如果您选择此网络连接方法,则:
- 输入隧道主机服务器的主机名或 IP 地址和端口。
- 输入隧道主机服务器账号的用户名。
- 选择适用于 SSH 隧道的身份验证方法。如果您选择私钥/公钥对方法,请提供私钥。如果选择密码方法,请输入堡垒主机虚拟机账号的密码。
- 您可能还需要在 SSH 隧道服务器上将 DataStream 外部 IP 地址列入许可名单。
专用连接(VPC 对等互连):此方法可在 Datastream 和源数据库(在 Google Cloud 内部或通过 VPN 或互连连接的外部源)之间建立安全连接。 Google Cloud此通信通过 VPC 对等互连连接进行。
如果您选择此网络连接方法,并且创建了专用连接配置,请从配置列表中选择它。这种类型的配置包含 Datastream 用于通过专用网络与源数据库进行通信的信息。
如果您尚未创建专用连接配置,请点击下拉列表底部的创建专用连接配置,然后执行创建专用连接配置中的步骤进行创建。
点击继续。创建 SQL Server 配置文件页面的测试连接配置文件部分处于活跃状态。
点击运行测试以验证 Datastream 是否可以与源通信。
如果测试失败,则表示流程的哪个部分存在问题。如需了解问题排查步骤,请参阅诊断问题页面。 您可以进行必要的更改,然后重新测试连接配置文件。
导航到流中有问题的部分以纠正问题,然后重新测试。
点击创建。
为 BigQuery 创建连接配置文件
前往 Google Cloud 控制台中的连接配置文件页面。
点击创建配置文件。
在创建连接配置文件页面中,点击 BigQuery 配置文件类型(因为您希望为 BigQuery 创建连接配置文件)。
使用下表来填充创建 BigQuery 配置文件页面上的字段:
字段 说明 连接配置文件名称 输入 BigQuery 中目标数据集的连接配置文件的显示名称。此名称在连接配置文件列表中以及数据流创建过程中选择现有连接配置文件时使用。 连接配置文件 ID 保留在此字段中填充的自动生成的值。 地区 选择存储连接配置文件的地区。与所有资源一样,连接配置文件也保存在地区中,并且数据流只能使用与该数据流存储在同一地区的连接配置文件。地区选择不会影响 Datastream 是否可连接到来源或目标位置,但如果该区域发生停机,则可能会影响可用性。虽然您为连接配置文件选择的区域与您为 BigQuery 目标数据集选择的位置类型无关,但我们建议您将数据流的所有资源都保留在源数据所在的区域,以便优化费用和性能。 (可选)使用标签来组织 Datastream 资源。
- 如需创建标签,请点击添加标签,然后输入标签的键值对。
- 如需移除标签,请点击包含标签的行右侧的垃圾桶图标。
点击创建。
为 Cloud Storage 创建连接配置文件
前往 Google Cloud 控制台中的连接配置文件页面。
点击创建配置文件。
在创建连接配置文件页面中,点击 Cloud Storage 配置文件类型(因为您希望为 Cloud Storage 创建连接配置文件)。
使用下表来填充创建 Cloud Storage 配置文件页面的字段:
字段 说明 连接配置文件名称 输入到 Cloud Storage 中目标存储桶的连接配置文件的显示名称。此名称在连接配置文件列表中以及数据流创建过程中选择现有连接配置文件时使用。 连接配置文件 ID 保留在此字段中填充的自动生成的值。 地区 选择存储连接配置文件的地区。与所有资源一样,连接配置文件也保存在地区中,并且数据流只能使用与该数据流存储在同一地区的连接配置文件。地区选择不会影响 Datastream 是否可连接到来源或目标位置,但如果该地区发生停机,则可能会影响可用性。 存储桶名称 点击浏览以在 Cloud Storage 中创建或选择目标存储桶,Datastream 将从源数据库向其中传输数据。
如果您选择现有存储桶,请完成以下步骤:
- 点击搜索图标(显示为放大镜)。
- 在按名称搜索字段中,输入要选择的存储桶的名称的前几个字符。Datastream 会过滤存储桶列表,以反映您在字段中输入的内容。
- 选择要用作目标位置的存储桶。
- 点击选择。您的存储桶将显示在存储桶名称字段中。
或者,您也可以点击新建存储桶图标(显示为公文包)以创建存储桶。
(可选)在连接配置文件路径前缀字段中,您可以提供一个在 Datastream 将数据转移到目标位置时要追加到存储桶名称中的路径的前缀。
(可选)使用标签来组织 Datastream 资源。
- 如需创建标签,请点击添加标签,然后输入标签的键值对。
- 如需移除标签,请点击包含标签的行右侧的垃圾桶图标。
点击创建。
创建连接配置文件后,您可以查看有关这些配置文件的概要信息和详细信息。