L'accélérateur SAP pour le processus procure-to-pay est un exemple de mise en œuvre de la fonctionnalité de source de table SAP par lot dans Cloud Data Fusion. L'accélérateur SAP vous aide à démarrer lorsque vous créez votre processus et vos analyses Procure-to-Pay de bout en bout. Il comprend des exemples de pipelines Cloud Data Fusion que vous pouvez configurer pour effectuer les tâches suivantes :
- Se connecter à votre source de données SAP.
- Effectuer des transformations sur vos données dans Cloud Data Fusion.
- Stocker vos données dans BigQuery.
- Configurer des analyses dans Looker. Cela inclut des tableaux de bord et un modèle de ML, dans lequel vous pouvez définir les indicateurs clés de performance (KPI) pour votre processus d'achat à paiement.
Ce guide décrit l'exemple de mise en œuvre et explique comment commencer à utiliser vos configurations.
L'accélérateur est disponible dans les environnements Cloud Data Fusion s'exécutant dans les versions 6.4.0 et ultérieures.
Avant de commencer
-
Sign in to your Google Account.
If you don't already have one, sign up for a new account.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
- Téléchargez le plug-in SAP Table Batch Source.
- Pour installer le bloc Looker, vous devez avoir accès à une instance Looker et activer la fonctionnalité des ateliers de Marketplace. Vous pouvez demander un essai gratuit pour accéder à une instance.
Compétences requises
La configuration de l'accélérateur SAP Procure to Pay requiert les compétences suivantes:
- Expertise dans les systèmes ERP sur site et la configuration
- Connaissances de base sur Cloud Data Fusion
- Connaissances de base sur BigQuery
- Connaissances de base sur Looker
- Connaissances de base sur les comptes de service Identity and Access Management (IAM) et le contrôle des accès
- Connaissances de base sur l'analyse de données, y compris l'écriture de requêtes SQL
- Connaissances de base sur le modèle de données dimensionnelle de Kiball
Utilisateurs requis
Les configurations décrites sur cette page nécessitent des modifications dans votre système SAP et dans Google Cloud. Vous devez donc collaborer avec les utilisateurs suivants de ces systèmes pour effectuer les configurations :
Type d'utilisateur | Description |
---|---|
Administrateur SAP | Administrateur de votre système SAP pouvant accéder au site de service SAP pour télécharger les logiciels. |
Utilisateur SAP | Un utilisateur SAP autorisé à se connecter à un système SAP. |
Administrateur GCP | Administrateur qui contrôle l'accès IAM de votre organisation, qui crée et déploie des comptes de service, et accorde des autorisations pour Cloud Data Fusion, BigQuery et Looker. |
Utilisateur Cloud Data Fusion | Utilisateurs autorisés à concevoir et à exécuter des pipelines de données dans Cloud Data Fusion. |
Propriétaire de données BigQuery | Utilisateurs autorisés à créer, afficher et modifier des ensembles de données BigQuery. |
Développeur Looker | Ces utilisateurs peuvent installer le bloc Looker via Marketplace.
Il doit disposer des autorisations develop , manage_model et deploy . |
Rôles IAM requis
Dans l'exemple de mise en œuvre de l'accélérateur, les rôles IAM suivants sont requis. Vous pouvez avoir besoin de rôles supplémentaires si votre projet repose sur d'autres services Google Cloud.
- Administrateur BigQuery
(
roles/bigquery.admin
) - Propriétaire de données BigQuery
(
roles/bigquery.dataOwner
) - Lecteur des objets de l'espace de stockage
(
roles/storage.objectViewer
) - L'exécuteur Cloud Data Fusion (
roles/datafusion.runner
) doit être accordé au compte de service Dataproc.
Présentation du processus
Vous pouvez mettre en œuvre l'accélérateur dans votre projet en procédant comme suit :
- Configurez le système SAP ERP et installez le transport SAP fourni.
- Configurez votre environnement Cloud Data Fusion pour utiliser le plug-in SAP Table Batch Source.
- Créez des ensembles de données dans BigQuery. L'accélérateur fournit des exemples d'ensembles de données pour les tables de préproduction, les tables dimensionnelles et les tables de faits.
- Configurez les exemples de pipelines Cloud Data Fusion de l'accélérateur afin d'intégrer vos données SAP.
- À partir de Cloud Data Fusion Hub, déployez les pipelines associés au processus d'analyse procure-to-pay. Ces pipelines doivent être correctement configurés pour créer l'ensemble de données BigQuery.
- Connectez Looker au projet BigQuery.
- Installez et déployez le bloc Looker.
Pour en savoir plus, consultez la page Utiliser le plug-in SAP Table Batch Source.
Exemples d'ensembles de données dans BigQuery
Dans l'exemple de mise en œuvre de cet accélérateur, les ensembles de données suivants sont créés dans BigQuery.
Nom de l'ensemble de données | Description |
---|---|
sap_cdf_staging |
Contient toutes les tables du système SAP source telles qu'identifiées pour ce processus métier. |
sap_cdf_dimension |
Contient les entités de dimension clé telles que dimension personnalisée et dimension matérielle. |
sap_cdf_fact |
Contient les tables de faits générées à partir du pipeline. |
Exemples de pipelines dans Cloud Data Fusion
Des exemples de pipelines pour cet accélérateur sont disponibles dans Cloud Data Fusion Hub.
Pour obtenir les exemples de pipelines du Hub, procédez comme suit :
- Accédez à votre instance :
Dans la console Google Cloud, accédez à la page Cloud Data Fusion.
Pour ouvrir l'instance dans Cloud Data Fusion Studio, Cliquez sur Instances, puis sur Afficher l'instance.
- Cliquez sur Hub.
- Sélectionnez l'onglet SAP.
- Sélectionnez Pipelines. Une page d'exemples de pipelines s'affiche.
- Sélectionnez les pipelines souhaités pour les télécharger.
Chacun des pipelines contient des macros que vous pouvez configurer pour s'exécuter dans votre environnement.
Il existe trois types d'exemples de pipelines :
- Pipelines de couche de préproduction : l'ensemble de données de préproduction dans ce type de pipeline est un mappage direct avec la table source d'origine dans SAP. Les exemples de pipelines de couche de préproduction ont des noms qui font référence à la table source SAP et à la table cible BigQuery. Par exemple, un pipeline nommé
LFA1_Supplier_Master
fait référence à la table source SAP (LFA1
) et à la table cible BigQuery (CustomerMaster
). - Pipelines de couche de dimension : l'ensemble de données de couche de dimension dans ce type de pipeline est une version organisée et affinée de l'ensemble de données de préproduction qui crée la dimension et les faits nécessaires à l'analyse. Les exemples de pipelines comportent des noms qui font référence à l'entité cible dans l'ensemble de données BigQuery cible. Par exemple, un pipeline appelé
customer_dimension
fait référence à l'entité de dimension client dans l'ensemble de données BigQuerysap_cdf_fact
. - Pipelines de couches de faits : l'ensemble de données de couche de faits est une version organisée et affinée de l'ensemble de données de préproduction qui crée les faits nécessaires à l'analyse. Les exemples de pipelines portent des noms qui font référence à l'entité cible dans l'ensemble de données BigQuery cible.
Par exemple, un pipeline appelé
sales_order_fact
fournit des données organisées à l'entité de commande client dans l'ensemble de données BigQuery correspondantsap_cdf_fact
.
Les sections suivantes récapitulent comment utiliser les pipelines dans votre environnement.
Configurer des pipelines de couche de préproduction
Il existe deux étapes de configuration pour les pipelines de préproduction :
- Configurer le système SAP source.
- Configurer la table et l'ensemble de données BigQuery cibles.
Paramètres du plug-in SAP Table Batch Source
Le plug-in SAP Table Batch Source lit le contenu d'une table ou d'une vue SAP. L'accélérateur fournit les macros suivantes, que vous pouvez modifier pour contrôler vos connexions SAP de manière centralisée.
Nom de la macro | Description | Exemple |
---|---|---|
${SAP Client} |
Client SAP à utiliser | 100 |
${SAP Language} |
Langage de connexion SAP | EN |
${SAP Application Server Host} |
Nom du serveur SAP ou adresse IP | 10.132.0.47 |
${SAP System Number} |
Numéro de système SAP | 00 |
${secure(saplogonusername)} |
Nom d'utilisateur SAP | Pour en savoir plus, consultez la page Utiliser des clés sécurisées. |
${secure(saplogonpassword)} |
Mot de passe utilisateur SAP | Pour en savoir plus, consultez la page Utiliser des clés sécurisées. |
${Number of Rows to Fetch} |
Limite le nombre d'enregistrements extraits | 100000 |
Pour en savoir plus, consultez la section Configurer l'agent.
Paramètres de la cible BigQuery
L'accélérateur fournit les macros suivantes pour les cibles BigQuery.
Configuration du connecteur cible BigQuery
Nom de la macro | Description | Exemple |
---|---|---|
${ProjectID} |
ID du projet dans lequel l'ensemble de données BigQuery a été créé. | sap_adaptor |
${Dataset} |
Ensemble de données cible | sap_cdf_staging |
Exemples de pipelines utilisés pour les KPI procure-to-pay
Les principales entités commerciales dans le processus procure-to-pay correspondent aux exemples de pipelines dans l'accélérateur. Ces pipelines fournissent les données qui alimentent les analyses sur ces entités.
Entités commerciales clés | Nom du pipeline correspondant |
---|---|
Les tables sources SAP Supplier capturent les informations relatives au fournisseur en lien avec l'entreprise. Les informations issues de ces tables contribuent à la valeur supplier_dimension dans la couche dimensionnelle de l'entrepôt de données.
|
LFA1_SupplierMaster
|
Material ou Product est le produit échangé entre l'entreprise et ses clients. Les informations de ces tables contribuent à la dimension "matériel_dimension" dans la couche dimensionnelle de l'entrepôt de données.
|
MARA_MaterialMaster |
Le processus de procure-to-pay commence par une commande qui inclut la quantité de commandes et les détails des articles. |
EKKO_PurchaseOrderHeader
|
Le sous-processus Réception de marchandises, qui inclut des informations sur les mouvements pour les articles. |
MATDOC_GoodsReceipt
|
Sous-processus de facturation, qui incluent les détails des documents de facturation demandés. |
RBKP_InvoiceHeader
|
Le processus de procure-to-pay se termine lorsque le paiement de facture est enregistré dans votre système. |
ACDOCA_UniversalJournalItem
|
Tous les pipelines de préproduction Cloud Data Fusion
Les exemples de pipeline de préproduction Cloud Data Fusion suivants sont disponibles dans l'accélérateur :
ACDOCA_JournalLedgerDetails
ADR6_SupplierMasterEMailDetails
ADRC_SupplierMasterAddressDetails
BKPF_AccountingDocumentHeaderDetail
BSEG_AccountDocumentItem
BUT000_BusinessPartnerGeneralDataDetails
BUT020_BusinessPartnerAddressDetails
CEPCT_ProfitCenterDescription
EBAN_PurchaseRequisitionDetails
EKBE_PurchaseOrderHistoryDetail
EKET_PurchaseOrderScheduleLinesDetail
EKKO_PurchaseOrderHeaderDetail
EKPO_PurchaseOrderItemDetail
FINSC_BTTYPE_T_BusinessTransactionTypeDescription
FINSC_LEDGER_T_JournalLedgerDescription
LFA1_SupplierMasterDetails
LFB1_SupplierMasterCompanyCodeDetails
MARA_MaterialMaster
MATDOC_MaterialMovementDetails
MKPF_MaterialMovementHeaderDetail
MSEG_MaterialMovementItemDetail
RBKP_InvoiceReceiptHeaderDetail
RSEG_IncomingInvoiceItemDetail
T001_CompanyCodes
T001_CompanyCodes
T001K_ValuationAreaDetails
T001L_MaterialStorageLocation
T001W_PlantDetails
T002T_LanguageKeyDescription
T003T_AccountingDocumentTypeDescription
T005_CountryMaster
T006A_UnitOfMeasure
T007S_PurchaseSalesTaxCodeDescription
T023T_MaterialGroupDescription
T024_PurchasingGroupsDetails
T024E_PurchasingOrganizationsDetails
T024W_PlantPurchasingOrganizationsDetails
T156HT_MaterialMovementTypeDescription
T161T_PurchasingDocumentTypeDescription
T163M_ConfirmationCategoryDescription
T16FE_PurchaseDocumentReleaseIndicatorDescription
TBSLT_PostingKeyDescription
TCURT_CurrencyCodesText
TKA01_ControllingAreaMaster
Configurer des pipelines de couches dimensionnelles
Vous pouvez extraire des KPI à partir de tables SAP sources. Pour préparer les données en vue de leur analyse, organisez les données de la table source de sorte qu'elles correspondent à la structure de schéma de la table BigQuery.
L'accélérateur crée les exemples de tables suivants :
Nom de la table | Description de la table |
---|---|
Supplier_dimension |
Liste organisée* des fournisseurs et de leurs faits associés tels que les informations générales du fournisseur et les informations commerciales de fournisseur. |
Material_dimension |
Liste organisée de supports et de données connexes, telles que le numéro de SKU, la hiérarchie des produits et la classification. |
Purchase_Order_Fact |
Liste des bons de commande, y compris l'organisation, le groupe et le type de bon de commande. |
Goods_Receipt_Fact |
Liste organisée de reçus, y compris les informations sur les centres de profit et les types de mouvements. |
Invoice_Fact |
Liste organisée d'informations liées à la facture, y compris le type, la quantité, la valeur et la date de publication de la facture. |
Accounting_Fact |
Liste organisée d'entrées de comptabilité pour chaque ligne de bon de commande. |
*Dans ce contexte, la liste organisée provient de la logique métier appliquée à la liste des colonnes sélectionnées.
L'accélérateur crée la couche dimensionnelle de l'ensemble de données BigQuery à l'aide de scripts SQL, que vous pouvez modifier pour votre projet. Par exemple, vous pouvez adapter ces scripts pour ajouter des colonnes aux entités de l'ensemble de données BigQuery cible.
Transformation en schéma en étoile : noms de pipeline d'exécuteur BigQuery
Les pipelines d'exécuteur BigQuery suivants dans Cloud Data Fusion chargent les données dans des tables de dimensions et de faits :
Tous les pipelines de transformation dimensionnels :
Supplier_dimension
Material_dimension
Purchase_Order_Fact
Goods_Receipt_Fact
Invoice_Fact
Accounting_Fact
Configuration de l'exécuteur BigQuery
Nom de la macro | Exemple |
---|---|
${ProjectID} |
sap_adaptor |
${StagingDatasetName} |
sap_cdf_staging |
${TargetDatasetName} |
sap_cdf_dimension |
Connecter Looker au projet BigQuery
Pour connecter Looker à BigQuery, consultez la documentation Looker sur les connexions BigQuery.
Installer le bloc
Vous pouvez accéder au bloc SAP Looker sur GitHub.
Le bloc Looker installe un modèle LookML préconfiguré avec deux environnements Explorer et deux tableaux de bord.
Étapes suivantes
- Apprenez-en plus sur Cloud Data Fusion.
- Apprenez-en plus sur SAP sur Google Cloud.
- Obtenez des informations supplémentaires sur BigQuery.
- Obtenez plus d'informations sur les blocs Looker.