借助 SAP Datasphere 的复制流功能,您可以将数据从 SAP S/4HANA 复制到 BigQuery。
本指南介绍在使用 SAP S/4HANA 的基于 SAP LT Replication Server (SLT) 的复制功能时,如何将数据从 SAP S/4HANA 复制到 BigQuery。
简要步骤如下:
- 将 SAP Datasphere 连接到 SAP S/4HANA 源系统。
- 将 SAP Datasphere 连接到包含目标 BigQuery 数据集的 Google Cloud 项目。
- 创建复制流。
- 运行复制流。
- 验证 BigQuery 中复制的数据。
如需了解如何设置基于 CDS 的复制,请参阅设置基于 CDS 的复制:通过 SAP Datasphere 从 SAP S/4HANA 复制到 BigQuery。
准备工作
在开始之前,请确保您或您的管理员已满足以下前提条件:
在 SAP Datasphere 租户的租户配置页面中,启用高级出站集成块。如需了解如何执行此操作,请参阅 SAP 文档配置 SAP Datasphere 租户的大小。
验证 SAP 说明 3297105 - SAP Datasphere 复制流的重要注意事项中提供的 SAP Datasphere 复制流的最新注意事项和限制。
查看有关所需 SAP 软件版本、建议的系统环境、受支持源对象的注意事项等的信息,详见SAP 说明 2890171 - SAP Data Intelligence/SAP Datasphere - ABAP 集成。
仅从 SAP S/4HANA 2022 开始,SAP Datasphere 复制流支持嵌入在 SAP S/4HANA 中的 SLT。如果您使用的是早期版本的 SAP S/4HANA 或基于 NetWeaver 的旧版 SAP 应用(例如 SAP ECC),则需要考虑使用独立的 SLT 服务器。如需了解所需的 SAP 软件版本、建议的系统环境、受支持源对象的注意事项等的信息,请参阅 SAP 说明 2890171 - SAP Data Intelligence/SAP Datasphere - ABAP 集成。
您拥有一个 Google Cloud 账号和项目。
您的项目已启用结算功能。如需了解详情,请参阅如何确认您的项目是否已启用结算功能。
确保已在 Google Cloud 项目中启用 BigQuery API。
将 SAP Datasphere 连接到 SAP S/4HANA 源系统
本部分介绍如何在 SAP Datasphere 和 SAP S/4HANA 源系统之间建立连接。
安装 SAP Cloud Connector
为了安全地将 SAP Datasphere 租户连接到 SAP S/4HANA 源系统,当您的 SAP S/4HANA 源系统在本地运行、托管在任何云环境中,或者您使用的是 SAP S/4HANA Cloud Private Edition 时,需要使用 SAP Cloud Connector。但是,如果您使用的是 SAP S/4HANA Cloud Public Edition,则不需要使用 SAP Cloud Connector。在这种情况下,请跳过 SAP Cloud Connector 安装和配置,转到创建与 SAP S/4HANA 源系统的连接。
如果您的 SAP S/4HANA 源系统在本地运行或托管在任何云环境中,则需要在操作系统 (OS) 上安装和配置 SAP Cloud Connector。如需了解特定于操作系统的要求和安装 SAP Cloud Connector 的说明,请参阅 SAP 文档准备 Cloud Connector 连接。
如果您使用的是 SAP S/4HANA Cloud Private Edition,则系统会在 SAP S/4HANA 设置过程中预安装 SAP Cloud Connector。在这种情况下,请跳过 SAP Cloud Connector 安装,转到配置 SAP Cloud Connector。
配置 SAP Cloud Connector
您可以配置 SAP Cloud Connector 以指定 SAP Datasphere 子账号、映射到网络中的 SAP S4/HANA 源系统以及可访问的资源。
本部分重点介绍配置 SAP Cloud Connector 所涉及的最重要步骤。如需详细了解如何配置 SAP Cloud Connector,请参阅 SAP 文档配置 Cloud Connector。
最重要的步骤如下:
在您的网络浏览器中,使用安装了 SAP Cloud Connector 的主机和端口访问 SAP Cloud Connector 管理界面。例如:http://localhost:8443。
登录 SAP Cloud Connector。如果您是在安装 SAP Cloud Connector 后首次登录,请使用以下默认凭据:
- 用户名:
Administrator
- 密码:
manage
请先更改默认密码,然后再继续操作。 如需了解详情,请参阅 SAP 文档初始配置。
- 用户名:
指定以下详细信息,以将 SAP Cloud Connector 连接到您的 SAP BTP 子账号:
- 有关 SAP Datasphere 子账号的详细信息,包括子账号名称、区域和子账号用户。如需详细了解这些字段,请参阅 SAP 文档配置 Cloud Connector。
- 对于指定的子账号,标识 SAP Cloud Connector 位置的位置 ID。
如需提供对 SAP S/4HANA 源系统的访问权限,请添加系统映射信息,包括有关内部主机和虚拟主机系统的信息。
如需使用 SAP LT Replication Server 访问基于表的数据,您必须指定以下资源:
- LTAMB_ - 前缀
- LTAPE_ - 前缀
- RFC_FUNCTION_SEARCH
保存配置。
创建批量传输配置
在使用 SLT 从 SAP S/4HANA 运行复制之前,您需要创建批量传输配置,以指定源系统连接、目标系统连接和传输设置的详细信息。
如需创建批量传输配置,请执行以下步骤:
在 SAP GUI 中,输入事务代码
LTRC
。点击创建配置图标。此时创建配置向导会打开。
在配置名称和描述字段中,输入配置的名称和描述,然后点击下一步。
在源系统连接细节面板中执行以下操作:
- 选择 RFC 连接单选按钮。
在 RFC 目标字段中,指定与 SAP S/4HANA 源系统之间的 RFC 连接的名称。
根据需要勾选允许多次使用和从单个客户端读取复选框。如需详细了解这些选项,请参阅 SAP LT Replication Server 文档。
点击下一步。
在目标系统连接细节面板中执行以下操作:
- 选择其他单选按钮。
- 在场景字段中,选择 SAP Data Intelligence(Replication Management 服务)。
- 点击下一步。
在指定传输设置面板中执行以下操作:
在数据传输设置部分的初始加载模式字段中,选择性能优化。
在作业选项部分中,为以下字段输入起始值:
- 数据传输作业的数量
- 初始加载作业的数量
- 计算作业的数量
在复制选项部分中,选择实时单选按钮。
点击下一步。
检查配置,然后点击保存。
记下批量传输列中的三位数 ID。您在后续步骤中要用到它。
创建与 SAP S/4HANA 源系统的连接
在 SAP Datasphere 中,创建源连接以使用 SAP S/4HANA 源系统进行数据访问。您可以使用此连接来创建复制流。
如需创建与 SAP S/4HANA 源系统的连接,请执行以下步骤:
在 SAP Datasphere 中,前往数据构建器,然后点击新连接。
选择连接类型 SAP ABAP。
指定以下连接属性:
- 协议:选择 RFC。
- SAP 登录连接类型:选择应用服务器。
- 使用 Cloud Connector:设置为 True。
指定特定于您的应用服务器和 SAP 系统的其他属性。如需了解详情,请参阅 SAP 文档 SAP ABAP 连接。
如需验证 SAP Datasphere 和 SAP S/4HANA 之间的连接,请选择您的连接,然后点击验证连接图标。
如需详细了解如何在 SAP Datasphere 和 SAP S/4HANA 之间创建连接,请参阅 SAP 文档创建连接。
请先检查与复制流相关的 SAP 说明,并在 SAP S/4HANA 系统上实现任何必要的说明,然后才能将该连接用于复制流。如需详细了解所需的 SAP 说明,请参阅:
- 复制流部分下面列出的 SAP 说明。
- SAP Data Intelligence 的源系统部分下面列出的 SAP 说明。
将 SAP Datasphere 连接到 Google Cloud 项目
本部分介绍如何在 SAP Datasphere 与包含目标 BigQuery 数据集的 Google Cloud 项目之间建立连接。
创建服务账号
对于 SAP Datasphere 的身份验证和授权,您需要在 Google Cloud 项目中使用 IAM 服务账号。您需要向服务账号授予角色,这些角色应包含与 BigQuery 交互的权限。
您还需要为服务账号创建一个 JSON 密钥。您将 JSON 密钥上传到 SAP Datasphere 以向 Google Cloud 进行身份验证。
如需创建服务账号,请执行以下步骤:
在 Google Cloud 控制台中,转到“IAM 和管理”的服务账号页面。
在系统提示时,选择您的 Google Cloud 项目。
点击创建服务账号。
为服务账号指定名称并提供说明(可选)。
点击创建并继续。
在向此服务账号授予对项目的访问权限面板中,选择以下角色:
- BigQuery Data Owner
- BigQuery Job User
点击继续。
点击完成。该服务账号会显示在项目的服务账号列表中。
下载服务账号的 JSON 密钥
如需下载服务账号的 JSON 密钥,请执行以下步骤:
- 点击要为其创建密钥的服务账号的电子邮件地址。
- 点击密钥标签页。
- 点击添加密钥下拉菜单,然后选择创建新密钥。
- 选择 JSON 作为密钥类型,然后点击创建。
点击创建即会下载服务账号密钥文件。务必要安全存储密钥文件,因为它能够以服务账号的身份进行身份验证。如需了解详情,请参阅创建和删除服务账号密钥。
创建 BigQuery 数据集
如需创建 BigQuery 数据集,您的用户账号必须具有针对 BigQuery 的适当 IAM 权限。如需了解详情,请参阅所需权限。
如需创建 BigQuery 数据集,请执行以下步骤:
在 Google Cloud 控制台中,进入 BigQuery 页面:
点击您的项目 ID 旁边的查看操作图标
,然后点击创建数据集。在数据集 ID 字段中,输入一个唯一名称。如需了解详情,请参阅命名数据集。
在位置类型字段中,为您计划使用的数据集选择一个地理位置。创建数据集后,就无法再更改此位置。
如需详细了解如何创建 BigQuery 数据集,请参阅创建数据集。
将 SSL 证书上传到 SAP Datasphere
如需加密在 SAP 和 Google Cloud 之间传输的数据,您需要将所需的 Google SSL 证书上传到 SAP Datasphere。
如需上传 SSL 证书,请执行以下步骤:
从 Google Trust Services 仓库中,下载以下证书:
- GTS Root R1
- GTS CA 1C3
在 SAP Datasphere 中,前往系统 > 配置 > 安全。
点击添加证书。
浏览本地目录,然后选择从 Google Trust Services 仓库下载的证书。
点击上传。
如需详细了解 SAP 提供的关于将证书上传到 SAP Datasphere 的信息,请参阅管理连接的证书。
将 BigQuery 的驱动程序上传到 SAP Datasphere
BigQuery ODBC 驱动程序充当 SAP Datasphere 和 BigQuery 之间网桥以用于复制流。如需启用对 BigQuery 的访问权限,您需要将所需的 ODBC 驱动程序文件上传到 SAP Datasphere。
如需详细了解 SAP 提供的关于将所需的 ODBC 驱动程序文件上传到 SAP Datasphere 的信息,请参阅上传第三方 ODBC 驱动程序(数据流必需)。
如需上传驱动程序文件,请执行以下步骤:
从适用于 BigQuery 的 ODBC 和 JDBC 驱动程序中,下载所需的 BigQuery ODBC 驱动程序。
在 SAP Datasphere 中,前往系统 > 配置 > 数据集成。
前往第三方驱动程序,然后点击上传。
浏览本地目录,然后选择从适用于 BigQuery 的 ODBC 和 JDBC 驱动程序中下载的驱动程序文件。
点击上传。
点击同步以同步驱动程序更改。同步完成后,就可以通过连接使用数据流了。
创建与 Google Cloud 项目的连接
如需将数据从 SAP S/4HANA 源系统复制到目标 BigQuery 数据集,您需要在 SAP Datasphere 租户中创建复制流。
如需创建与 Google Cloud 项目的连接,请执行以下步骤:
在 SAP Datasphere 中,前往连接,然后在您的空间中创建新连接。
选择 Google BigQuery 作为连接类型。
在连接详情部分中,指定以下内容:
- 项目 ID:以小写形式输入您的 Google Cloud 项目 ID。
- 位置:输入您的 Google Cloud 项目位置。
在凭据部分中,上传用于身份验证的 JSON 密钥文件。如需了解详情,请参阅下载服务账号的 JSON 密钥。
如需验证 SAP Datasphere 与 BigQuery 之间的连接,请选择您的连接,然后点击验证连接图标。
如需详细了解 SAP 提供的关于用于连接到 BigQuery 并访问其中的数据的连接,请参阅 Google BigQuery 连接。
创建复制流
您可以创建复制流,以将 SAP 数据从 SAP S/4HANA 源系统复制到目标 BigQuery 数据集。
如需通过 SLT 创建复制流,请执行以下步骤:
在 SAP Datasphere 中,前往数据构建器,然后点击新建复制流。
指定复制流的源:
选择您在创建与 SAP S/4HANA 源系统的连接部分中创建的 SAP ABAP 类型的源连接。
选择 SLT-SAP LT Replication Server 作为源容器,然后添加您在创建批量传输配置部分中所创建配置的批量传输 ID。
根据需要添加源对象。
如需了解详情,请参阅 SAP 文档添加源。
选择其中一种加载类型:仅限初始或初始和增量。
指定复制流的目标环境:
选择与包含目标 BigQuery 数据集的 Google Cloud 项目的连接。
选择容器(即 BigQuery 中的数据集)以将数据复制到其中。
如需了解详情,请参阅 SAP 文档添加目标。
创建映射以指定源数据在进入目标过程中如何更改。如需了解详情,请参阅 SAP 文档定义映射。
保存复制流。
部署复制流。
如需了解详情,请参阅 SAP 文档创建复制流。
运行复制流
配置和部署复制流后,您就可以运行它了。
如需运行复制流,请选择复制流,然后点击运行。
完成后,属性面板中的运行状态部分将会更新。如需了解详情,请参阅 SAP 文档运行流。
监控复制流状态
您可以查看和监控复制流的执行详细信息。
如需监控复制流状态,请执行以下步骤:
在 SAP Datasphere 中,前往数据集成监控 > 流。
在左侧面板中选择流运行以查看其详细信息。
如需了解详情,请参阅 SAP 文档监控流。
验证 BigQuery 中复制的数据
复制流运行完成后,验证 BigQuery 中复制的表和数据。
如需验证 BigQuery 中复制的数据,请执行以下步骤:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在 Explorer 部分中,展开您的项目以查看数据集及其表。
选择所需的表。表信息显示在页面右侧内容窗格中的一个标签页下。
在表信息部分中,点击以下标题以查看 SAP 数据:
- 预览:显示从 SAP S/4HANA 源系统复制的数据。
- 详细信息:显示表大小、总行数和其他详细信息。