本页面介绍如何将数据流水线连接到 SAP Ariba Source 和 BigQuery Sink。您可以使用 Cloud Data Fusion Hub 中的 SAP Ariba Batch Source 插件,通过 Ariba 配置和执行批量数据转移,而无需编写任何代码。
该插件会从 SAP Ariba 来源提供的报告信息中提取数据。每个事实与 SAP Ariba 文档类型相对应。事实模板在视图模板中显示,这些模板可通过 Analytical Reporting API 访问。
如需了解详情,请参阅 SAP Ariba 批量源代码参考文档。
准备工作
在 Cloud Data Fusion 6.5.1 或更高版本中创建实例。如果您的实例使用的是较低版本,请升级 Cloud Data Fusion 环境。
SAP Ariba 用户必须执行以下操作:
- 创建一个应用并生成 OAuth 凭据。
- 在 Ariba 开发者门户中授予对 Analytical Reporting API 的访问权限。
通过发送
GET
请求,从 SAP Ariba Analytical Reporting - View Management API 检索报告数据视图模板的名称。请参阅确定 Google Analytics(分析)报告 API 视图模板。可选:为防止由于速率限制而失败的流水线,请确定预期的记录数。该插件通过 SAP Ariba Analytical Reporting API 从事实和维度中提取数据,此时会应用速率限制。如需了解详情,请参阅管理速率限制。
部署和配置插件
从 Hub 的“SAP”标签页部署 SAP Ariba Batch Source 插件。如需了解详情,请参阅从 Hub 部署插件。
在 Cloud Data Fusion Studio 页面上打开流水线,然后选择 Data Pipeline - Batch。该插件不支持实时流水线。
在来源菜单中,点击 SAP Ariba。流水线中会显示 SAP Ariba Batch Source 节点。
转到节点,然后点击属性。系统会打开 Ariba 属性窗口。
配置属性。
点击验证并解决所有错误。
点击
关闭。
可选:将插件连接到 BigQuery 接收器
在 Cloud Data Fusion Studio 页面上,转到接收器菜单,然后点击 BigQuery。
流水线中会显示 BigQuery 接收器。
配置接收器的必要属性。
点击验证并解决所有错误。
点击
关闭。
可选:管理速率限制
如需在 SAP Ariba 中检查特定日期范围内的记录数量,请参阅 Analytical Reporting API 的日期相关过滤条件。
如需了解详情,请参阅插件的限制。
下表介绍了排查速率限制相关问题的方法。
流水线示例 | 记录数量和所需的 API 调用次数 | 每日上限 | 问题排查 |
---|---|---|---|
我想从一个视图模板中提取特定日期范围内的数据。 | |||
1 | 2020000 条记录,41 条调用 | -1/40 | 此日期范围和记录计数所需的 API 调用次数超出了每日上限 (40)。要减少调用次数,请选择较短的日期范围以减少记录数量。 |
我想从特定日期范围内从多个视图模板中提取数据。 | |||
1 | 50,001 条记录,2 次调用 | 38/40 | |
2 | 100,000 条记录,2 次调用 | 36/40 | |
3 | 100 条记录,1 次调用 | 35/40 | |
4 | 100 万条记录,20 次调用 | 15/40 | |
5 | 500,000 条记录,10 次调用 | 第 5 个(共 40 个) | |
6 | 500,000 条记录,10 次调用 | -5/40 | 流水线 6 超出了 API 调用限制。为避免出现错误,请在一天后提取或更改日期范围。 |