用于付款流程的 SAP 加速器是 Cloud Data Fusion 中 SAP Table Batch Source功能的示例实现。加速器可帮助您在创建端到端订单到付款流程和分析时开始着手。其中包含的示例 Cloud Data Fusion 流水线可配置为执行以下任务:
- 连接到您的 SAP 数据源。
- 在 Cloud Data Fusion 中对数据执行转换。
- 将您的数据存储在 BigQuery 中。
- 在 Looker 中设置分析。这包括信息中心和机器学习模型,您可以在其中为订单到付款流程定义关键绩效指标 (KPI)。
本指南介绍了示例实现,以及您如何开始使用配置。
此加速器适用于在版本 6.3.0 及更高版本中运行的 Cloud Data Fusion 环境。
准备工作
-
登录您的 Google 账号。
如果您还没有 Google 账号,请注册新账号。
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
- 下载 SAP Table Batch Source。
- 您必须拥有 Looker 实例访问权限,并且已启用 Marketplace 实验室功能,才能安装 Looker 块。您可以申请免费试用来获取实例访问权限。
所需技能
设置 SAP Order to Cash 加速器需要以下技能:
- SAP 本地 ERP 系统和配置方面的专业知识
- 熟悉 Cloud Data Fusion
- 熟悉 BigQuery
- 熟悉 Looker
- 熟悉 Identity and Access Management (IAM) 服务账号和访问权限控制
- 熟悉数据分析,包括编写 SQL 查询
- 熟悉 Kimball 的维度数据模型
所需用户
本页面介绍的配置需要在您的 SAP 系统和 Google Cloud 中进行更改。您需要与这些系统的以下用户合作来执行配置:
用户类型 | 说明 |
---|---|
SAP 管理员 | 可访问 SAP 服务网站下载软件的 SAP 系统管理员。 |
SAP 用户 | 有权连接到 SAP 系统的 SAP 用户。 |
GCP 管理员 | 控制您的组织的 IAM 访问权限、创建和部署服务账号并授予对 Cloud Data Fusion、BigQuery 和 Looker 的权限的管理员。 |
Cloud Data Fusion 用户 | 有权在 Cloud Data Fusion 中设计和运行数据流水线的用户。 |
BigQuery 数据所有者 | 有权创建、查看和修改 BigQuery 数据集的用户。 |
Looker 开发者 | 这些用户可以通过 Marketplace 安装 Looker 块。他们必须拥有 develop 、manage_model 和 deploy 权限。 |
所需 IAM 角色
在加速器的示例实现中,需要以下 IAM 角色。如果您的项目依赖于其他 Google Cloud 服务,则可能需要其他角色。
- BigQuery Admin
(
roles/bigquery.admin
) - BigQuery Data Owner
(
roles/bigquery.dataOwner
) - Storage Object Viewer
(
roles/storage.objectViewer
) - 需要将 Cloud Data Fusion Runner (
roles/datafusion.runner
) 授予 Dataproc 服务账号
过程概览
您可以按照以下步骤在项目中实现加速器:
- 配置 SAP ERP 系统并安装提供的 SAP 传输。
- 设置 Cloud Data Fusion 环境以使用 SAP Table Batch Source 插件。
- 在 BigQuery 中创建数据集。加速器为暂存、维度和事实表提供示例数据集。
- 将来自加速器的示例 Cloud Data Fusion 流水线配置为集成 SAP 数据。
- 在 Cloud Data Fusion Hub 中,部署与订单到付款分析流程关联的流水线。必须正确配置这些流水线才能创建 BigQuery 数据集。
- 将 Looker 连接到 BigQuery 项目。
- 安装并部署 Looker 块。
如需了解详情,请参阅使用 SAP Table Batch Source 插件。
BigQuery 中的示例数据集
在此加速器的示例实现中,系统在 BigQuery 中创建了以下数据集。
数据集名称 | 说明 |
---|---|
sap_cdf_staging |
包含 SAP 源系统中针对相关业务流程标识的所有表。 |
sap_cdf_dimension |
包含客户维度和物料维度的关键维度实体。 |
sap_cdf_fact |
包含通过流水线生成的事实表。 |
Cloud Data Fusion 中的示例流水线
Cloud Data Fusion Hub 中提供了此加速器的示例流水线。
如需从 Hub 获取示例流水线,请执行以下操作:
- 转到您的实例:
在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。
如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例。
- 点击 Hub。
- 选择 SAP 标签页。
- 选择流水线。将打开一个示例流水线页面。
- 选择所需的流水线进行下载。
每个流水线都包含您可以配置为在环境中运行的宏。
示例流水线有三种类型:
- 暂存层流水线:此类流水线中的暂存数据集是 SAP 中原始源表的直接映射。示例暂存层流水线的名称引用了 SAP 源表和 BigQuery 目标表。例如,名为 KNA1_Customer_Master 的流水线引用 SAP 源表 (
KNA1
) 和 BigQuery 目标表 (CustomerMaster
)。 - 维度层流水线:此类流水线中的维度层数据集是精选优化的暂存数据集版本,用于创建分析所需的维度和事实。示例流水线的名称表示目标 BigQuery 数据集中的目标实体。例如,名为 customer_dimension 的流水线表示 BigQuery 数据集
sap_cdf_fact
中的客户维度实体。 - 事实层流水线:事实层数据集是精选优化的暂存数据集版本,用于创建分析所需的事实。这些示例流水线的名称表示目标 BigQuery 数据集中的目标实体。例如,名为 sales_order_fact 的流水线会将精选数据提供给相应 BigQuery 数据集
sap_cdf_fact
中的销售订单事实实体。
以下部分总结了如何使流水线在您的环境中运行。
配置暂存层流水线
暂存流水线有两个配置步骤:
- 配置源 SAP 系统。
- 配置目标 BigQuery 数据集和表。
SAP Table Batch Source 插件的参数
SAP Table Batch Source 插件会读取 SAP 表或视图的内容。加速器提供以下宏,您可以修改这些宏以集中控制 SAP 连接。
宏名称 | 说明 | 示例 |
---|---|---|
${SAP Client} |
要使用的 SAP 客户端 | 100 |
${SAP Language} |
SAP 登录语言 | EN |
${SAP Application Server Host} |
SAP 服务器名称或 IP 地址 | 10.132.0.47 |
${SAP System Number} |
SAP 系统编号 | 00 |
${secure(saplogonusername)} |
SAP 用户名 | 如需了解详情,请参阅使用安全密钥。 |
${secure(saplogonpassword)} |
SAP 用户密码 | 如需了解详情,请参阅使用安全密钥。 |
${Number of Rows to Fetch} |
用于限制提取记录数量。 | 100000 |
如需了解详情,请参阅配置插件。
BigQuery 目标的参数
加速器为 BigQuery 目标提供以下宏。
BigQuery 目标连接器配置
宏名称 | 说明 | 示例 |
---|---|---|
${ProjectID} |
在其中创建 BigQuery 数据集的项目的 ID。 | sap_adaptor |
${Dataset} |
目标数据集 | sap_cdf_staging |
用于订单到付款 KPI 的示例流水线
订单到付款流程中的以下关键业务实体与加速器中的示例流水线相对应。这些流水线提供了有助于这些实体分析的数据。
主要业务实体 | 对应的示例流水线名称 |
---|---|
Customer 可能是组织与之开展业务的人员或实体。这三个 SAP 源表可捕获与业务相关的客户详细信息。这些表中的信息会影响 sap_cdf_dimension 数据集中的 customer_dimension 。 |
KNA1_CustomerMaster KNVV_CustomerSales KNVP_CustomerPartnerFunction |
Material 是企业与其客户之间的交易商品。这些 SAP 源表中的信息会影响 sap_cdf_dimension 数据集中的 material_dimension。
|
MARA_MaterialMaster MARD_MaterialStorageLocation |
订单到付款流程的订单管理子流程(当您的系统收到客户订单时)。 |
VBAK_SalesDocumentHeader VBAP_SalesDocumentItem VBEP_SalesDocumentSchedule |
订单履行和发货子流程。 |
LIKP_DeliveryHeader LIPS_DeliveryItem |
账单结算和客户付款子流程(客户收到账单时)。 |
VBRK_BillingHeader VBRP_BillingLineItem |
应收账款和报告子流程(付款记录在您的系统中时)。 | ACDOCA_UniversalJournalItem |
所有 Cloud Data Fusion 暂存流水线
加速器中提供了以下 Cloud Data Fusion 暂存流水线示例:
- KNA1_CustomerMaster
- KNVV_CustomerSales
- KNVP_CustomerPartnerFunction
- MARA_MaterialMaster
- MARD_MaterialStorageLocation
- VBAK_SalesDocumentHeader
- VBAP_SalesDocumentItem
- VBEP_SalesDocumentSchedule
- LIKP_DeliveryHeader
- LIPS_DeliveryItem
- ACDOCA_UniversalJournalItem
- VBRK_BillingHeader
- VBRP_BillingLineItem
- BSEG_AccountDocumentItem
- BSID_AccDocCustOpenItem
- BSAD_AccDocCustCloseItem
- T001_CompanyCodes
- T006A_UnitOfMeasure
- T024D_MRPControllers
- T042ZT_PaymentMethodText
- T189T_PriceListCategory
- TCURC_CurrencyCodes
- TCURT_CurrencyCodesText
- TCURW_ExchangeRateType
- TINCT_CustomerIncotermsText
- TVAKT_SalesDocumentType
- TVAPT_SalesDocumentItemCategory
- TVFST_BillingBlockReasonText
- TVLST_DeliveryBlockText
- TVTWT_DistributionChannelText
- MAKT_MaterialDescription
- T005T_CountryNames
- T005U_RegionText
- TVAST_SalesDocBlockReasonText
- T077X_AccountGroupName
- T134T_MaterialTypeDescription
- T023T_MaterialGroupDescription
- TSPAT_SalesDivisionText
- TVKOV_DistributionChannel
- TVTA_SalesArea
- TVKOT_SalesOrgText
- TVAUT_SalesDocumentOrderText
- TVSBT_ShippingConditionText
- TVAG_SalesDocRejectionReasons
- TVAGT_SalesDocRejectionReasonDescription
配置维度层流水线
您可以从源 SAP 表中提取 KPI。如需准备数据以供分析,请对源表中的数据进行整理,使其与 BigQuery 表的架构结构匹配。
加速器会创建以下四个示例表:
表名称 | 表的说明 |
---|---|
customer_dimension | 客户及其关联事实(例如客户分类、客户层次结构和客户销售相关信息)的精选列表。 |
material_dimension | 物料及其关联事实(例如 SKU 编号、产品层次结构和分类)的精选列表。 |
sales_order_fact | 销售信息(例如订单类型、订单状态可见性、已订购数量和订单价值)的精选列表。这些字段通常会被汇总以生成订单管理 KPI,例如“未结订单”、“已确认的订单”、“被拒绝的订单”和“已结算的订单”。 |
revenue_fact | 客户的物料销售所生成的详细会计信息。此事实数据派生自会计表,其中包含可通过收入 KPI(包括总销售额、折扣前净销售额、折扣后净销售金额或趋势)提供数据分析的信息。 |
*在此上下文中,精选列表来自应用于所选列列表的业务逻辑。
加速器使用 SQL 脚本构建 BigQuery 数据集的维度层,您可以根据项目进行修改。例如,您可以调整这些脚本以向目标 BigQuery 数据集实体添加更多列。
为架构加注星标的转换:BigQuery 执行程序流水线名称
Cloud Data Fusion 中的以下 BigQuery 执行程序流水线会将数据加载到维度表和事实表中:
所有维度转换流水线:
customer_dimension
material_dimension
sales_order_fact
revenue_fact
BigQuery 执行程序配置
宏名称 | 示例 |
---|---|
${ProjectID} |
sap_adaptor |
${StagingDatasetName} |
sap_cdf_staging |
${TargetDatasetName} |
sap_cdf_dimension |
将 Looker 连接到 BigQuery 项目
如需将 Looker 连接到 BigQuery,请参阅有关 BigQuery 连接的 Looker 文档。
安装块
您可以在 GitHub 上访问 SAP Looker 块。
Looker 块安装了具有两个探索环境和两个信息中心的预配置 LookML 模型。
后续步骤
- 详细了解 Cloud Data Fusion。
- 详细了解 SAP on Google Cloud。
- 详细了解 BigQuery。
- 详细了解 Looker 块。