借助 SAP 表批量源插件(SAP Table 插件),您可以从 SAP 标准和自定义表或视图中读取数据。它支持使用 Cloud Data Fusion 将数据从 SAP 应用批量注入到 BigQuery 或任何其他受支持的目标系统。该插件具有以下主要功能:
- 使用 SAP ECC、SAP S4/HANA 或 SAP BW 作为源系统
- 不使用 SAP CDC(变更数据捕获)跟踪和提取数据源中的新数据和增量数据
- 使用批量提取模式
- 支持将 SAP 表和 ABAP CDS 视图用作数据源
- 通过应用层访问 SAP 数据
您可从以下位置读取数据:
- 透明表
- 对表进行聚类
- 台球桌
- ABAP CDS 观看次数
- SAP BW ADSO 对象
支持的软件版本
软件 | 版本 |
---|---|
SAP S4/HANA | SAP S4/HANA 1909 及更高版本 |
SAP ECC | SAP ERP6 NW 7.31 SP16 及更高版本 |
SAP JCo | SAP JCo 版本 3.0.20 及更高版本 |
Cloud Data Fusion | 6.3 及更高版本 |
如需详细了解 Google Cloud 上的 SAP,请参阅 Google Cloud 上的 SAP 概览。
准备工作
设置 SAP Table 插件使用的以下系统和服务:
- 配置 SAP ERP 系统。
此过程包括以下步骤:
- 安装 SAP 传输文件。
- 设置所需的 SAP 授权和角色。
- 设置 SAP Java Connector。
-
- 重要提示:请选择与 Cloud Data Fusion 版本兼容的插件版本。
- 如果升级 Cloud Data Fusion 实例或插件的版本,请评估所做更改对流水线功能范围和性能的影响。
在 Cloud Data Fusion 和 SAP 之间建立 RFC 连接。
- 确保已启用 Cloud Data Fusion 实例与 SAP 服务器之间的通信。
- 对于专用实例,请设置 VPC 网络对等互连。
- SAP 系统和 Cloud Data Fusion 实例必须位于同一项目中。
配置插件
- 转到 Cloud Data Fusion 网页界面,然后点击 Studio。
- 检查是否已选择 Data Pipeline - Batch(而非实时)。
- 在来源菜单中,点击 Sap Table。SAP Table 节点会显示在流水线中。
- 如需配置来源,请转到 SAP Table 节点,然后点击 Properties(属性)。
输入以下属性。如需查看完整列表,请参阅属性。
- 为 SAP Table 节点输入标签,例如
SAP tables
。 输入连接详情。您可以设置新的一次性连接,也可以设置可重复使用的现有连接。
新增关联项
如需添加与 SAP 的一次性连接,请按以下步骤操作:
- 使使用连接保持关闭状态。
在连接部分的以下字段中输入来自 SAP 帐号的以下信息:
- 在引用名称字段中,输入用于标识此沿袭来源的连接的名称。
- 在 SAP 客户端字段中,输入 SAP 中特定实例或环境的客户端名称。SAP 管理员可以提供客户端名称。
- 在 SAP 语言字段中,输入 SAP 登录语言。默认值为 EN(英语)。
选择以下连接类型之一。
- 直接(通过 SAP 应用服务器)。如果您选择此默认类型,请在以下字段中输入信息:SAP 应用服务器主机、SAP 系统编号和 SAP 路由器。
- 负载均衡(通过 SAP Message Server)。如果您选择此类型,请在以下字段中输入信息:SAP Message Server host、SAP Message Server service 或端口号、SAP System ID (SID) 和 SAP 登录组名称。
在 SAP 表/视图名称字段中,输入 SAP 系统中的表或视图的名称。
提供 SAP 凭据:要求 SAP 管理员提供 SAP 登录用户名和密码。
在 JCo Library Cloud Storage 路径字段中,输入 Cloud Storage 中包含您上传的 SAP JCo 库文件的 SAP Java 连接器 (SAP JCo) 路径。
如需根据来自 SAP 的元数据生成架构,以便将 SAP 数据类型映射到相应的 Cloud Data Fusion 数据类型,请点击获取架构。如需了解详情,请参阅数据类型映射。
可选:如需优化从 SAP 注入的负载,请在以下字段中输入信息:
使用过滤条件选项,您可以根据选择条件提取记录,例如具有一组指定值的列。在
WHERE
子句中定义 OpenSQL 语法中的条件。例如,以下查询会返回Roster
表中SchoolID
列值为SchoolID > 52
的所有行:SELECT * FROM Roster WHERE SchoolID > 52;
如需了解详情,请参阅支持的过滤条件。
在要提取的行数字段中,您可以通过提供正整数行数来限制提取的数据。
在 Number of splits 字段中,您可以创建分区以并行提取数据记录,从而提高性能。分块数量可能会影响 SAP 工作流,因此必须谨慎选择。
在软件包大小字段中,指定要在单个 SAP 网络调用中提取的记录数。软件包大小会影响性能和可用资源,因此必须谨慎选择。
可重复使用的连接
要重复使用现有连接,请按以下步骤操作:
- 开启使用网络连接。
- 点击浏览连接。
点击连接名称。
如果连接不存在,请按以下步骤创建可重复使用的连接:
- 点击添加连接 > SapTable。
- 在打开的创建 SapTable 连接页面上,输入连接名称和说明。
- 在 SAP 客户端字段中,输入 SAP 中特定实例或环境的客户端名称。SAP 管理员可以提供客户端名称。
- 在 SAP 语言字段中,输入 SAP 登录语言。默认值为 EN(英语)。
选择以下连接类型之一。
- 直接(通过 SAP 应用服务器)。如果您选择此默认类型,请在以下字段中输入信息:SAP 应用服务器主机、SAP 系统编号和 SAP 路由器。
- 负载均衡(通过 SAP Message Server)。如果您选择此类型,请在以下字段中输入信息:SAP Message Server host、SAP Message Server service or port number、SAP System ID (SID) 和 SAP 登录组名称。
提供 SAP 凭据:请 SAP 管理员提供 SAP 登录用户名和密码值。
在 JCo Library Cloud Storage 路径字段中,输入 Cloud Storage 中包含您上传的 SAP JCo 库文件的 SAP Java Connector (SAP JCo) 路径。
可选:在其他 SAP 连接属性字段中,输入必须替换 SAP JCo 默认值的键值对。
点击创建。
- 为 SAP Table 节点输入标签,例如
属性
属性 | 已启用宏 | 必需属性 | 说明 |
---|---|---|---|
标签 | 否 | 是 | 数据流水线中节点的名称。 |
使用连接 | 否 | 否 | 使用可重复使用的连接。如果使用连接,您无需提供凭据。如需了解详情,请参阅管理连接。 |
参考编号 | 否 | 是 | 如果使用连接未开启,系统会显示此字段。 要用于沿袭的连接的名称。 |
名称 | 否 | 是 | 如果使用连接处于开启状态,系统会显示此字段。可重复使用的连接的名称。 |
SAP 客户端 | 是 | 是 | SAP 系统中的实例或环境。 |
拍摄快照 | 是 | 是 | 在 SAP 中启用数据快照。 何时启用快照:
何时关闭快照:您并行运行多个大容量数据提取操作。快照在 SAP 中使用缓冲区表,这可能会导致 SAP 中出现 out of memory 问题。不过,数据提取完成后,缓冲区表将被清除。 |
SAP 语言 | 是 | 是 | 显示和处理 SAP 界面和数据时使用的语言。 |
网络连接类型 | 否 | 是 | SAP 连接类型:直接或负载均衡。 |
SAP 应用服务器主机 | 是 | 否 | 仅对于直接连接类型,此主机名来自 SAP 应用服务器,后者充当 SAP 客户端(例如 SAP 网页界面、网络浏览器或移动应用)和底层数据库之间的中间件层。 |
SAP 系统编号 | 是 | 否 | 此编号是分配给每个 SAP 系统的唯一标识符(仅适用于直接连接类型)。例如 00 。 |
SAP 路由器 | 是 | 否 | (仅适用于直接连接类型)这是代理服务器的路由器字符串,为 SAP 系统与外部客户端或合作伙伴之间的通信提供安全通道。 |
SAP 消息服务器主机 | 是 | 否 | (仅适用于负载均衡连接类型)这是主机的名称,有助于在 SAP 中的多个应用服务器之间实现负载均衡。 |
SAP Message Server 服务或端口号 | 是 | 否 | (仅适用于负载均衡连接类型)这是 SAP Message Server 在该网络端口中监听来自 SAP 内 SAP 客户端和应用服务器的传入连接。 |
SAP 系统 ID (SID) | 是 | 否 | 仅针对负载均衡连接类型将此 ID 分配给每个 SAP 系统。 |
SAP 登录组名称 | 是 | 否 | 多个 SAP 应用服务器的逻辑分组或配置的名称。默认值为 PUBLIC 。 |
SAP 表/视图名称 | 是 | 是 | 不区分大小写的有效表或视图名称,可提取其中的所有列。 |
SAP 登录用户名 | 是 | 是 | SAP 的用户名 建议:如果用户名会定期更改,请使用宏。 |
SAP 登录密码 | 是 | 是 | SAP 密码。 推荐:使用安全宏。 |
GCP 项目 ID | 是 | 是 | Google Cloud 项目 ID。 |
SAP JCo 库 GCS 路径 | 是 | 是 | 您向其中上传了 SAP JCo 库文件的 Cloud Storage 的路径。 |
获取架构 | 不适用 | 不适用 | 该插件会根据来自 SAP 的元数据生成架构,以将 SAP 数据类型映射到相应的 Cloud Data Fusion 数据类型。请参阅数据类型映射。 |
其他 SAP 连接属性 | 是 | 否 | 设置其他 SAP JCo 属性以替换 SAP JCo 默认值。
例如,设置 jco.destination.pool_capacity = 10 会替换默认连接池容量。 |
过滤条件 | 是 | 否 | 在 Open SQL 语法中指定的条件,使用 SQL WHERE 子句进行过滤。根据条件提取记录,例如包含指定值集的列或值范围中的记录。如需了解详情,请参阅支持的过滤条件。 |
要提取的行数 | 是 | 否 | 限制提取的记录数。
|
要生成的拆分数量 | 是 | 否 | 创建分区以并行提取记录。 运行时引擎会在提取记录时创建指定数量的分区(和 SAP 连接)。 请谨慎提高此值,因为这会增加与 SAP 的并发连接数。 建议:计划为每个流水线设置 SAP 连接数,并安排并发运行的流水线总数。 如果值为 0 或留空,Cloud Data Fusion 会根据可用执行程序的数量、要提取的记录以及软件包大小选择适当的值。 |
软件包大小 | 是 | 否 | 要在单个 SAP 网络调用中提取的记录数。它是指每次网络提取调用期间 SAP 在内存中缓冲的记录数。 请谨慎设置此属性。多个数据流水线提取数据可能会使内存用量达到峰值,因 Out of memory 错误而导致失败。
|
支持的过滤条件
支持以下过滤条件。
包含比较运算符的过滤条件
使用比较运算符可根据值之间的比较结果执行更复杂的过滤。
语法
SELECT * FROM table_name WHERE column_name > value; \ SELECT * FROM table_name WHERE column_name BETWEEN value1 AND value2;
示例
AUDAT GT '20230914'
包含 LIKE
运算符的过滤条件
使用 LIKE
运算符进行模式匹配。如需匹配任何字符,请使用 %
符号作为通配符。
语法
SELECT * FROM table_name WHERE column_name LIKE 'pattern%';
示例
ERNAM LIKE 'KIRAN%'
包含 IN
运算符的过滤条件
使用 IN
运算符指定要匹配的一系列值。
语法
SELECT * FROM table_name WHERE column_name \ IN ('value1', 'value2', 'value3');
示例
ERNAM IN ( 'LEE' , 'KIRAN' )
包含逻辑运算符的过滤条件
使用逻辑运算符指定要匹配的一系列值。
语法
SELECT * FROM table_name WHERE condition1 AND condition2; \ SELECT * FROM table_name WHERE condition1 OR condition2; \ SELECT * FROM table_name WHERE NOT condition;
示例
( AUDAT EQ '20220615' ) AND ( ERNAM LIKE 'LEE%' )
( AUDAT EQ '20220615' ) OR ( AUDAT EQ '20220617' )
包含日期范围的过滤条件
使用日期范围检索日期时间列在特定日期范围内的行。
语法
SELECT * FROM table_name \ WHERE datetime_column >= 'start_date' AND datetime_column <= 'end_date';
示例
AUDAT GE '20230910' AND AUDAT LE '20230914'
包含日期比较的过滤条件
使用日期比较来检索使用 DateTime 的行。
语法
SELECT * FROM table_name WHERE datetime_column > 'target_date';
示例
AUDAT GE '20230910' AND AUDAT LE '20230914'
合并日期和时间的过滤条件
如果您的日期时间列同时包含日期和时间,您可以相应地进行过滤。
语法
SELECT * FROM table_name \ WHERE datetime_column >= 'target_datetime' \ AND datetime_column <= 'target_datetime';
示例
TIMESTAMP GE '20210602144800' AND TIMESTAMP LE '20210624080836'
(时间戳格式:YYYYMMDDHHMMSS)
使用逻辑运算符组合多个条件的过滤条件
您可以使用逻辑运算符(如 AND
和 OR
)检索满足多个条件的行。
语法
SELECT * FROM table_name \ WHERE (column1 = 'value1' AND column2 > value2) \ OR (column3 = 'value3' AND column4 < value4);
示例
( ERNAM EQ 'LEE' AND AUDAT GT '20220722' ) \ OR ( BSTNK EQ 'PO54321065' AND BSTDK LT '20220714' )
组合嵌套条件进行过滤
您可以通过嵌套方式组合条件以创建复杂的过滤条件。
语法
SELECT * FROM table_name \ WHERE (column1 = 'value1' OR (column2 = 'value2' AND column3 > value3)) \ AND column4 = 'value4';
示例
( ERDAT EQ '20220722' OR ( ERNAM EQ 'LEE' AND VDATU GT '20210623' ) ) \ AND FMBDAT EQ '20220722'
使用子查询的过滤条件
您可以使用子查询根据其他查询的结果进行过滤。
语法
SELECT * FROM table_name \ WHERE column1 IN (SELECT related_column FROM other_table WHERE condition);
示例
VBELN IN ( SELECT VBELN FROM VBAK WHERE ERNAM = 'LEE' )
组合日期和值条件进行过滤
您可以在复杂过滤条件中结合使用基于日期和基于值的条件。
语法
SELECT * FROM table_name \ WHERE (column1 = 'value1' OR column2 = 'value2') \ AND datetime_column > 'target_datetime';
示例
( ERDAT EQ '20220722' OR ERNAM EQ 'LEE' ) AND VDATU GT '20210623'
包含格式设置日期的过滤条件
在 SAP 中,始终在数据库级别保存日期和时间字段,而不使用 -
或 :
。
语法
SELECT * FROM table_name \ WHERE datetime_column >= 'YYYY-MM-DD HH:MM:SS' \ AND datetime_column <= 'YYYY-M
不支持:包含函数和比较运算符的过滤条件
SAP 不支持 QUERY 的 WHERE 子句中的函数。
不支持:过滤条件包含区间
SAP 不支持 NOW()
函数。
语法
SELECT * FROM table_name \ WHERE datetime_column >= NOW() - INTERVAL X DAY;
不支持:过滤条件提取日期组件
SAP 不支持偏移过滤。
示例
WHERE YEAR+0(4) = 2023
数据类型映射
下表列出了具有相应 Cloud Data Fusion 类型的 SAP 数据类型。
SAP 数据类型 | ABAP 类型 | SAP description | Cloud Data Fusion 数据类型 |
---|---|---|---|
INT1 (数字) |
b | 1 个字节的整数 | int |
INT2 (数字) |
秒 | 2 个字节的整数 | int |
INT4 (数字) |
i | 4 个字节的整数 | int |
INT8 (数字) |
8 | 8 个字节的整数 | 长整型 |
DEC (数字) |
p | 打包成采用 BCD 格式的数字 (DEC) | decimal |
DF16_DEC 、DF16_RAW (数字) |
a | 十进制浮点 8 字节 IEEE 754r | 双精度 |
DF34_DEC 、DF34_RAW (数字) |
e | 十进制浮点 16 字节 IEEE 754r | 双精度 |
FLTP (数字) |
f | 二进制浮点数 | 双精度 |
CHAR 、LCHR (字符) |
c | 字符串 | 字符串 |
SSTRING 、GEOM_EWKB (字符) |
字符串 | 字符串 | 字符串 |
STRING (字符) |
字符串 | 字符串 CLOB | 字节 |
NUMC 、ACCP (字符) |
n | 数字文本 | 字符串 |
RAW 、LRAW (字节) |
x | 二进制数据 | 字节 |
RAWSTRING (字节) |
xstring | 字节字符串 BLOB | 字节 |
DATS (日期/时间) |
d | 日期 | 日期 |
TIMS (日期/时间) |
t | 时间 | 时间 |
TIMS (日期/时间) |
utcl | (Utclong)、TimeStamp | 时间戳 |
使用场景
支持两种提取上下文:
- SAP 数据库表和视图
- SAP ABAP CDS
在各种上下文中,SAP Table 插件都支持标准和自定义数据库表和视图。
限制
SAP Table 插件具有以下限制:
- 不支持联接表。
- 它不支持带参数的 CDS 数据视图。
- 如果没有键字段,则不支持。
- 如果启用了快照功能,使用超过 30,000 的软件包大小可能会导致流水线故障。此软件包的大小可能有所不同,具体取决于 SAP 表中的列数。您可以使用以下公式计算表的最佳软件包大小:行大小(以字符数计)* 5。
- 通过连接管理器,您最多可以浏览 1,000 个 SAP 表名称。
- 当发生流水线错误(例如接收器中的错误)时,SAP Table 插件会尝试通过调用用于清理的自定义 RFM 来清理与提取相关的任何活跃 SAP 端进程:
/GOOG/RFC_READ_TABLE_CLEANUP
。
后续步骤
- 详细了解 SAP on Google Cloud。