O acelerador SAP para o processo de aquisição ao pagamento é uma implementação de exemplo da funcionalidade SAP Table Batch Source no Cloud Data Fusion. O acelerador SAP Procure to Pay ajuda a começar quando cria o seu processo de aprovisionamento a pagamento e estatísticas ponto a ponto. Inclui exemplos de pipelines do Cloud Data Fusion que pode configurar para realizar as seguintes tarefas:
- Faça a ligação à sua origem de dados SAP.
- Realize transformações nos seus dados no Cloud Data Fusion.
- Armazene os seus dados no BigQuery.
- Configure o Analytics no Looker. Isto inclui painéis de controlo e um modelo de ML, onde pode definir os indicadores essenciais de desempenho (IEDs) para o seu processo de aquisição ao pagamento.
Este guia descreve a implementação de exemplo e como pode começar com as suas configurações.
O acelerador está disponível em ambientes do Cloud Data Fusion com a versão 6.4.0 e superior.
Antes de começar
-
Sign in to your Google Account.
If you don't already have one, sign up for a new account.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles. -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator
(
roles/resourcemanager.projectCreator
), which contains theresourcemanager.projects.create
permission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin
), which contains theserviceusage.services.enable
permission. Learn how to grant roles. - Transfira a origem do lote de tabelas SAP.
- Tem de ter acesso a uma instância do Looker e ter a funcionalidade Labs do mercado ativada para instalar o bloco do Looker. Pode pedir uma avaliação gratuita para aceder a uma instância.
- Competências em sistemas ERP no local e configuração da SAP
- Familiaridade com o Cloud Data Fusion
- Familiaridade com o BigQuery
- Familiaridade com o Looker
- Familiaridade com as contas de serviço da gestão de identidade e de acesso (IAM) e o controlo de acesso
- Familiaridade com a análise de dados, incluindo a escrita de consultas SQL
- Familiaridade com o modelo de dados dimensionais de Kimball
- Administrador do BigQuery
(
roles/bigquery.admin
) - Proprietário de dados do BigQuery
(
roles/bigquery.dataOwner
) - Storage Object Viewer
(
roles/storage.objectViewer
) - O papel Executor do Cloud Data Fusion
(
roles/datafusion.runner
) tem de ser concedido à conta de serviço do Dataproc - Configure o sistema ERP da SAP e instale o transporte da SAP fornecido.
- Configure o seu ambiente do Cloud Data Fusion para usar o plug-in de origem em lote de tabelas SAP.
- Crie conjuntos de dados no BigQuery. O acelerador fornece conjuntos de dados de amostra para tabelas de preparação, dimensionais e de factos.
- Configure os pipelines de exemplo do Cloud Data Fusion a partir do acelerador para integrar os seus dados SAP.
- No hub do Cloud Data Fusion, implemente os pipelines associados ao processo de estatísticas de dados de aquisição a pagamento. Estes pipelines têm de ser configurados corretamente para criar o conjunto de dados do BigQuery.
- Associe o Looker ao projeto do BigQuery.
- Instale e implemente o bloco do Looker.
- Aceda à sua instância:
Na Google Cloud consola, aceda à página do Cloud Data Fusion.
Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.
- Clique em Hub.
- Selecione o separador SAP.
- Selecione Pipelines. É aberta uma página de pipelines de exemplo.
- Selecione os pipelines pretendidos para os transferir.
- Pipelines de camada de preparação: o conjunto de dados de preparação neste tipo de pipeline é um mapeamento direto para a tabela de origem original no SAP. Os pipelines da camada de preparação de amostras têm nomes que se referem à tabela de origem do SAP e à tabela de destino do BigQuery. Por exemplo, um pipeline
denominado
LFA1_Supplier_Master
refere-se à tabela de origem SAP (LFA1
) e à tabela de destino do BigQuery (CustomerMaster
). - Pipelines de camada de dimensões: o conjunto de dados da camada de dimensões neste tipo de pipeline é uma versão organizada e refinada do conjunto de dados de preparação que cria a dimensão e os factos necessários para a análise. Os pipelines de exemplo têm nomes que se referem à entidade de destino no conjunto de dados do BigQuery de destino. Por exemplo, um pipeline denominado
customer_dimension
refere-se à entidade Customer Dimension no conjunto de dados do BigQuerysap_cdf_fact
. - Pipelines da camada de factos: o conjunto de dados da camada de factos é uma versão organizada e refinada do conjunto de dados de preparação que cria os factos necessários para a análise. Estes pipelines de exemplo têm nomes que se referem à entidade de destino no conjunto de dados do BigQuery de destino.
Por exemplo, um pipeline denominado
sales_order_fact
fornece dados organizados à entidade Sales Order Fact no conjunto de dados do BigQuery correspondentesap_cdf_fact
. - Configure o sistema SAP de origem.
- Configure o conjunto de dados e a tabela do BigQuery de destino.
ACDOCA_JournalLedgerDetails
ADR6_SupplierMasterEMailDetails
ADRC_SupplierMasterAddressDetails
BKPF_AccountingDocumentHeaderDetail
BSEG_AccountDocumentItem
BUT000_BusinessPartnerGeneralDataDetails
BUT020_BusinessPartnerAddressDetails
CEPCT_ProfitCenterDescription
EBAN_PurchaseRequisitionDetails
EKBE_PurchaseOrderHistoryDetail
EKET_PurchaseOrderScheduleLinesDetail
EKKO_PurchaseOrderHeaderDetail
EKPO_PurchaseOrderItemDetail
FINSC_BTTYPE_T_BusinessTransactionTypeDescription
FINSC_LEDGER_T_JournalLedgerDescription
LFA1_SupplierMasterDetails
LFB1_SupplierMasterCompanyCodeDetails
MARA_MaterialMaster
MATDOC_MaterialMovementDetails
MKPF_MaterialMovementHeaderDetail
MSEG_MaterialMovementItemDetail
RBKP_InvoiceReceiptHeaderDetail
RSEG_IncomingInvoiceItemDetail
T001_CompanyCodes
T001_CompanyCodes
T001K_ValuationAreaDetails
T001L_MaterialStorageLocation
T001W_PlantDetails
T002T_LanguageKeyDescription
T003T_AccountingDocumentTypeDescription
T005_CountryMaster
T006A_UnitOfMeasure
T007S_PurchaseSalesTaxCodeDescription
T023T_MaterialGroupDescription
T024_PurchasingGroupsDetails
T024E_PurchasingOrganizationsDetails
T024W_PlantPurchasingOrganizationsDetails
T156HT_MaterialMovementTypeDescription
T161T_PurchasingDocumentTypeDescription
T163M_ConfirmationCategoryDescription
T16FE_PurchaseDocumentReleaseIndicatorDescription
TBSLT_PostingKeyDescription
TCURT_CurrencyCodesText
TKA01_ControllingAreaMaster
Supplier_dimension
Material_dimension
Purchase_Order_Fact
Goods_Receipt_Fact
Invoice_Fact
Accounting_Fact
- Saiba mais sobre o Cloud Data Fusion.
- Saiba mais sobre o SAP no Google Cloud.
- Saiba mais acerca do BigQuery.
- Saiba mais sobre os blocos do Looker.
Competências necessárias
A configuração do acelerador SAP Procure to Pay requer as seguintes competências:
Utilizadores necessários
As configurações descritas nesta página requerem alterações no seu sistema SAP e em Google Cloud. Tem de trabalhar com os seguintes utilizadores desses sistemas para fazer as configurações:
Tipo de utilizador | Descrição |
---|---|
Administrador do SAP | Administrador do seu sistema SAP que pode aceder ao site de serviços SAP para transferir software. |
Utilizador do SAP | Um utilizador do SAP autorizado a estabelecer ligação a um sistema SAP. |
Administrador da GCP | Administrador que controla o acesso do IAM para a sua organização, que cria e implementa contas de serviço e concede autorizações para o Cloud Data Fusion, o BigQuery e o Looker. |
Utilizador do Cloud Data Fusion | Utilizadores autorizados a conceber e executar pipelines de dados no Cloud Data Fusion. |
Proprietário de dados do BigQuery | Utilizadores autorizados a criar, ver e modificar conjuntos de dados do BigQuery. |
Programador do Looker | Estes utilizadores podem instalar o bloco do Looker através do
Marketplace.
Têm de ter autorizações de develop , manage_model e
deploy . |
Funções de IAM necessárias
Na implementação de exemplo do acelerador, são necessárias as seguintes funções do IAM. Pode precisar de funções adicionais se o seu projeto depender de outros serviços do Google Cloud.
Vista geral do processo
Pode implementar o acelerador no seu projeto seguindo estes passos:
Para mais informações, consulte o artigo Usar o plug-in de origem de lotes de tabelas SAP.
Conjuntos de dados de exemplo no BigQuery
Na implementação de exemplo neste acelerador, são criados os seguintes conjuntos de dados no BigQuery.
Nome do conjunto de dados | Descrição |
---|---|
sap_cdf_staging |
Contém todas as tabelas do sistema de origem SAP identificadas para esse processo empresarial. |
sap_cdf_dimension |
Contém as entidades de dimensões principais, como a dimensão do cliente e a dimensão do material. |
sap_cdf_fact |
Contém as tabelas de factos geradas a partir do pipeline. |
Exemplos de pipelines no Cloud Data Fusion
Os pipelines de exemplo para este acelerador estão disponíveis no Hub do Cloud Data Fusion.
Para obter os pipelines de exemplo a partir do Hub:
Cada um dos pipelines contém macros que pode configurar para serem executadas no seu ambiente.
Existem três tipos de pipelines de exemplo:
As secções seguintes resumem como fazer com que os pipelines funcionem no seu ambiente.
Configure pipelines de camadas de preparação
Existem dois passos de configuração para os pipelines de preparação:
Parâmetros para o plug-in de origem de lote de tabelas SAP
O plug-in SAP Table Batch Source lê o conteúdo de uma tabela ou uma vista SAP. O acelerador fornece as seguintes macros, que pode modificar para controlar as ligações SAP de forma centralizada.
Nome da macro | Descrição | Exemplo |
---|---|---|
${SAP Client} |
Cliente SAP a usar | 100 |
${SAP Language} |
Idioma de início de sessão do SAP | EN |
${SAP Application Server Host} |
Nome do servidor SAP ou endereço IP | 10.132.0.47 |
${SAP System Number} |
Número do sistema SAP | 00 |
${secure(saplogonusername)} |
Nome de utilizador da SAP | Para mais informações, consulte o artigo Usar chaves de segurança. |
${secure(saplogonpassword)} |
Palavra-passe de utilizador do SAP | Para mais informações, consulte o artigo Usar chaves seguras. |
${Number of Rows to Fetch} |
Limita o número de registos extraídos | 100000 |
Para mais informações, consulte o artigo Configurar o plug-in.
Parâmetros do destino do BigQuery
O acelerador fornece as seguintes macros para alvos do BigQuery.
Configuração do conetor de destino do BigQuery
Nome da macro | Descrição | Exemplo |
---|---|---|
${ProjectID} |
O ID do projeto onde o conjunto de dados do BigQuery foi criado. | sap_adaptor |
${Dataset} |
Conjunto de dados de destino | sap_cdf_staging |
Exemplos de pipelines usados para IEDs de aquisição a pagamento
As seguintes entidades empresariais principais no processo de aquisição ao pagamento correspondem a pipelines de exemplo no acelerador. Estes pipelines fornecem os dados que permitem gerar estatísticas sobre estas entidades.
Entidades empresariais principais | Nome do pipeline correspondente |
---|---|
Supplier As tabelas de origem SAP captam detalhes
sobre o fornecedor, conforme se relacionam com a empresa. As informações destas tabelas contribuem para o supplier_dimension na camada dimensional do armazém de dados.
|
LFA1_SupplierMaster
|
Material ou Product é a mercadoria que é
negociada entre a empresa e os respetivos clientes. As informações destas tabelas contribuem para a material_dimension na camada dimensional do data warehouse.
|
MARA_MaterialMaster |
O processo de aquisição ao pagamento começa com uma encomenda, que inclui a quantidade encomendada e detalhes sobre os artigos materiais. |
EKKO_PurchaseOrderHeader
|
O subprocesso Goods Receipt, que inclui detalhes de movimento sobre artigos de material. |
MATDOC_GoodsReceipt
|
Os subprocessos de Faturação, que incluem detalhes dos documentos de faturação pedidos. |
RBKP_InvoiceHeader
|
O processo de aquisição ao pagamento termina quando o pagamento da fatura é registado no seu sistema. |
ACDOCA_UniversalJournalItem
|
Todos os pipelines de preparação do Cloud Data Fusion
Os seguintes exemplos de pipelines de preparação do Cloud Data Fusion estão disponíveis no acelerador:
Configure pipelines de camadas dimensionais
Pode extrair IEDs de tabelas SAP de origem. Para preparar os dados para análise, organize os dados na tabela de origem de forma a corresponder à estrutura do esquema da tabela do BigQuery.
O acelerador cria as seguintes tabelas de exemplo:
Nome da tabela | Descrição da tabela |
---|---|
Supplier_dimension |
Lista organizada* de fornecedores e os respetivos dados associados, como informações gerais do fornecedor e informações relacionadas com as vendas do fornecedor. |
Material_dimension |
Lista organizada de materiais e factos associados, como o número de SKU, a hierarquia de produtos e a classificação. |
Purchase_Order_Fact |
Lista de notas de encomenda, incluindo a organização de compras, o grupo e o tipo de encomenda. |
Goods_Receipt_Fact |
Lista organizada de recibos de mercadorias, incluindo informações sobre o centro de lucro e o tipo de movimento. |
Invoice_Fact |
Lista organizada de informações relacionadas com a fatura, incluindo o tipo de fatura, a quantidade de artigos, o valor e a data de lançamento da fatura. |
Accounting_Fact |
Lista organizada de lançamentos contabilísticos para cada elemento publicitário da nota de encomenda. |
*Neste contexto, a lista organizada provém da lógica empresarial que é aplicada à lista de colunas selecionada.
O acelerador cria a camada dimensional do conjunto de dados do BigQuery através de scripts SQL, que pode modificar para o seu projeto. Por exemplo, pode adaptar estes scripts para adicionar mais colunas às entidades do conjunto de dados do BigQuery de destino.
Transformação no esquema em estrela: nomes de pipelines do executor do BigQuery
Os seguintes pipelines do executor do BigQuery no Cloud Data Fusion carregam dados em tabelas de dimensões e factos:
Todos os pipelines de transformação dimensional:
Configuração do executor do BigQuery
Nome da macro | Exemplo |
---|---|
${ProjectID} |
sap_adaptor |
${StagingDatasetName} |
sap_cdf_staging |
${TargetDatasetName} |
sap_cdf_dimension |
Associe o Looker ao projeto do BigQuery
Para associar o Looker ao BigQuery, consulte a documentação do Looker sobre associações do BigQuery.
Instale o bloco
Pode aceder ao SAP Looker Block no GitHub.
O bloco do Looker instala um modelo LookML pré-configurado com dois ambientes Explorar e dois painéis de controlo.