L'accélérateur SAP pour le processus commande en trésorerie est un exemple de mise en œuvre de la fonctionnalité de SAP table batch source dans Cloud Data Fusion. L'accélérateur vous permet de faire vos premiers pas lorsque vous créez votre processus et analyse de commande vers trésorerie de bout en bout. Il comprend des exemples de pipelines Cloud Data Fusion que vous pouvez configurer pour effectuer les tâches suivantes :
- Se connecter à votre source de données SAP.
- Effectuer des transformations sur vos données dans Cloud Data Fusion.
- Stocker vos données dans BigQuery.
- Configurer des analyses dans Looker. Cela inclut des tableaux de bord et un modèle de ML, dans lequel vous pouvez définir les indicateurs clés de performance (KPI) pour votre processus de commande à trésorerie.
Ce guide décrit l'exemple de mise en œuvre et explique comment commencer à utiliser vos configurations.
L'accélérateur est disponible dans les environnements Cloud Data Fusion s'exécutant dans les versions 6.3.0 et ultérieures.
Avant de commencer
-
Sign in to your Google Account.
If you don't already have one, sign up for a new account.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
- Téléchargez le plug-in SAP Table Batch Source.
- Pour installer le bloc Looker, vous devez avoir accès à une instance Looker et activer la fonctionnalité des ateliers de Marketplace. Vous pouvez demander un essai gratuit pour accéder à une instance.
Compétences requises
La configuration de l'accélérateur SAP Order to Cash nécessite les compétences suivantes:
- Expertise dans les systèmes ERP sur site et la configuration
- Connaissances de base sur Cloud Data Fusion
- Connaissances de base sur BigQuery
- Connaissances de base sur Looker
- Connaissances de base sur les comptes de service Identity and Access Management (IAM) et le contrôle des accès
- Connaissances de base sur l'analyse de données, y compris l'écriture de requêtes SQL
- Connaissances de base sur le modèle de données dimensionnelle de Kiball
Utilisateurs requis
Les configurations décrites sur cette page nécessitent des modifications dans votre système SAP et dans Google Cloud. Vous devez donc collaborer avec les utilisateurs suivants de ces systèmes pour effectuer les configurations :
| Type d'utilisateur | Description |
|---|---|
| Administrateur SAP | Administrateur de votre système SAP pouvant accéder au site de service SAP pour télécharger les logiciels. |
| Utilisateur SAP | Un utilisateur SAP autorisé à se connecter à un système SAP. |
| Administrateur GCP | Administrateur qui contrôle l'accès IAM de votre organisation, qui crée et déploie des comptes de service, et accorde des autorisations pour Cloud Data Fusion, BigQuery et Looker. |
| Utilisateur Cloud Data Fusion | Utilisateurs autorisés à concevoir et à exécuter des pipelines de données dans Cloud Data Fusion. |
| Propriétaire de données BigQuery | Utilisateurs autorisés à créer, afficher et modifier des ensembles de données BigQuery. |
| Développeur Looker | Ces utilisateurs peuvent installer le bloc Looker via Marketplace.
Il doit disposer des autorisations develop, manage_model et deploy. |
Rôles IAM requis
Dans l'exemple de mise en œuvre de l'accélérateur, les rôles IAM suivants sont requis. Vous pouvez avoir besoin de rôles supplémentaires si votre projet repose sur d'autres services Google Cloud.
- Administrateur BigQuery
(
roles/bigquery.admin) - Propriétaire de données BigQuery
(
roles/bigquery.dataOwner) - Lecteur des objets de l'espace de stockage
(
roles/storage.objectViewer) - L'exécuteur Cloud Data Fusion (
roles/datafusion.runner) doit être accordé au compte de service Dataproc.
Présentation du processus
Vous pouvez mettre en œuvre l'accélérateur dans votre projet en procédant comme suit :
- Configurez le système SAP ERP et installez le transport SAP fourni.
- Configurez votre environnement Cloud Data Fusion pour utiliser le plug-in SAP Table Batch Source.
- Créez des ensembles de données dans BigQuery. L'accélérateur fournit des exemples d'ensembles de données pour les tables de préproduction, les tables dimensionnelles et les tables de faits.
- Configurez les exemples de pipelines Cloud Data Fusion de l'accélérateur afin d'intégrer vos données SAP.
- À partir de Cloud Data Fusion Hub, déployez les pipelines associés au processus d'analyse de commande à trésorerie. Ces pipelines doivent être correctement configurés pour créer l'ensemble de données BigQuery.
- Connectez Looker au projet BigQuery.
- Installez et déployez le bloc Looker.
Pour en savoir plus, consultez la page Utiliser le plug-in SAP Table Batch Source.
Exemples d'ensembles de données dans BigQuery
Dans l'exemple de mise en œuvre de cet accélérateur, les ensembles de données suivants sont créés dans BigQuery.
| Nom de l'ensemble de données | Description |
|---|---|
sap_cdf_staging |
Contient toutes les tables du système SAP source telles qu'identifiées pour ce processus métier. |
sap_cdf_dimension |
Contient les entités de dimension clé telles que dimension personnalisée et dimension matérielle. |
sap_cdf_fact |
Contient les tables de faits générées à partir du pipeline. |
Exemples de pipelines dans Cloud Data Fusion
Des exemples de pipelines pour cet accélérateur sont disponibles dans Cloud Data Fusion Hub.
Pour obtenir les exemples de pipelines du Hub, procédez comme suit :
- Accédez à votre instance :
Dans la console Google Cloud, accédez à la page Cloud Data Fusion.
Pour ouvrir l'instance dans Cloud Data Fusion Studio, Cliquez sur Instances, puis sur Afficher l'instance.
- Cliquez sur Hub.
- Sélectionnez l'onglet SAP.
- Sélectionnez Pipelines. Une page d'exemples de pipelines s'affiche.
- Sélectionnez les pipelines souhaités pour les télécharger.
Chacun des pipelines contient des macros que vous pouvez configurer pour s'exécuter dans votre environnement.
Il existe trois types d'exemples de pipelines :
- Pipelines de couche de préproduction : l'ensemble de données de préproduction dans ce type de pipeline est un mappage direct avec la table source d'origine dans SAP. Les exemples de pipelines de couche de préproduction ont des noms qui font référence à la table source SAP et à la table cible BigQuery. Par exemple, un pipeline nommé KNA1_Customer_Master fait référence à la table source SAP (
KNA1) et à la table cible BigQuery (CustomerMaster). - Pipelines de couche de dimension : l'ensemble de données de couche de dimension dans ce type de pipeline est une version organisée et affinée de l'ensemble de données de préproduction qui crée la dimension et les faits nécessaires à l'analyse. Les exemples de pipelines comportent des noms qui font référence à l'entité cible dans l'ensemble de données BigQuery cible. Par exemple, un pipeline appelé customer_dimension fait référence à l'entité de dimension client dans l'ensemble de données BigQuery
sap_cdf_fact. - Pipelines de couches de faits : l'ensemble de données de couche de faits est une version organisée et affinée de l'ensemble de données de préproduction qui crée les faits nécessaires à l'analyse. Les exemples de pipelines portent des noms qui font référence à l'entité cible dans l'ensemble de données BigQuery cible.
Par exemple, un pipeline appelé sales_order_fact diffuse des données organisées à l'entité Sales Order Fact dans l'ensemble de données BigQuery correspondant
sap_cdf_fact.
Les sections suivantes récapitulent comment utiliser les pipelines dans votre environnement.
Configurer des pipelines de couche de préproduction
Il existe deux étapes de configuration pour les pipelines de préproduction :
- Configurer le système SAP source.
- Configurer la table et l'ensemble de données BigQuery cibles.
Paramètres du plug-in SAP Table Batch Source
Le plug-in SAP Table Batch Source lit le contenu d'une table ou d'une vue SAP. L'accélérateur fournit les macros suivantes, que vous pouvez modifier pour contrôler vos connexions SAP de manière centralisée.
| Nom de la macro | Description | Exemple |
|---|---|---|
${SAP Client} |
Client SAP à utiliser | 100 |
${SAP Language} |
Langage de connexion SAP | EN |
${SAP Application Server Host} |
Nom du serveur SAP ou adresse IP | 10.132.0.47 |
${SAP System Number} |
Numéro du système SAP | 00 |
${secure(saplogonusername)} |
Nom d'utilisateur SAP | Pour en savoir plus, consultez la page Utiliser des clés sécurisées. |
${secure(saplogonpassword)} |
Mot de passe utilisateur SAP | Pour en savoir plus, consultez la page Utiliser des clés sécurisées. |
${Number of Rows to Fetch} |
Utilisé pour limiter le nombre d'enregistrements extraits. | 100000 |
Pour en savoir plus, consultez la section Configurer l'agent.
Paramètres de la cible BigQuery
L'accélérateur fournit les macros suivantes pour les cibles BigQuery.
Configuration du connecteur cible BigQuery
| Nom de la macro | Description | Exemple |
|---|---|---|
${ProjectID} |
ID du projet dans lequel l'ensemble de données BigQuery a été créé. | sap_adaptor |
${Dataset} |
Ensemble de données cible | sap_cdf_staging |
Exemples de pipelines utilisés pour les KPI de commande vers trésorerie
Les entités commerciales clés suivantes dans le processus de commande à trésorerie correspondent aux exemples de pipelines de l'accélérateur. Ces pipelines fournissent les données qui alimentent les analyses sur ces entités.
| Entités commerciales clés | Exemple de nom de pipeline correspondant |
|---|---|
Une Customer peut être une personne ou une entité avec laquelle l'organisation exerce des activités. Ces trois tables sources SAP capturent les informations détaillées sur le client en ce qui concerne l'activité. Les informations issues de ces tables contribuent à la customer_dimension dans l'ensemble de données sap_cdf_dimension.
|
KNA1_CustomerMaster KNVV_CustomerSales KNVP_CustomerPartnerFunction |
Material est le produit échangé entre l'entreprise et ses clients. Les informations issues de ces tables sources SAP contribuent à "material_dimension" dans l'ensemble de données sap_cdf_dimension.
|
MARA_MaterialMaster MARD_MaterialStorageLocation |
| Sous-processus de gestion des commandes du processus de commande vers trésorerie (lorsque votre système reçoit une commande du client). |
VBAK_SalesDocumentHeader VBAP_SalesDocumentItem VBEP_SalesDocumentSchedule |
| Sous-processus traitement des commandes et expédition. |
LIKP_DeliveryHeader LIPS_DeliveryItem |
| Sous-processus de facturation et de paiement des clients (lorsque le client reçoit une facture) |
VBRK_BillingHeader VBRP_BillingLineItem |
| Sous-processus de comptes clients et de création de rapports(lorsque le paiement est enregistré dans votre système) | ACDOCA_UniversalJournalItem |
Tous les pipelines de préproduction Cloud Data Fusion
Les exemples de pipeline de préproduction Cloud Data Fusion suivants sont disponibles dans l'accélérateur :
- KNA1_CustomerMaster
- KNVV_CustomerSales
- KNVP_CustomerPartnerFunction
- MARA_MaterialMaster
- MARD_MaterialStorageLocation
- VBAK_SalesDocumentHeader
- VBAP_SalesDocumentItem
- VBEP_SalesDocumentSchedule
- LIKP_DeliveryHeader
- LIPS_DeliveryItem
- ACDOCA_UniversalJournalItem
- VBRK_BillingHeader
- VBRP_BillingLineItem
- BSEG_AccountDocumentItem
- BSID_AccDocCustOpenItem
- BSAD_AccDocCustCloseItem
- T001_CompanyCodes
- T006A_UnitOfMeasure
- T024D_MRPControllers
- T042ZT_PaymentMethodText
- T189T_PriceListCategory
- TCURC_CurrencyCodes
- TCURT_CurrencyCodesText
- TCURW_ExchangeRateType
- TINCT_CustomerIncotermsText
- TVAKT_SalesDocumentType
- TVAPT_SalesDocumentItemCategory
- TVFST_BillingBlockReasonText
- TVLST_DeliveryBlockText
- TVTWT_DistributionChannelText
- MAKT_MaterialDescription
- T005T_CountryNames
- T005U_RegionText
- TVAST_SalesDocBlockReasonText
- T077X_AccountGroupName
- T134T_MaterialTypeDescription
- T023T_MaterialGroupDescription
- TSPAT_SalesDivisionText
- TVKOV_DistributionChannel
- TVTA_SalesArea
- TVKOT_SalesOrgText
- TVAUT_SalesDocumentOrderText
- TVSBT_ShippingConditionText
- TVAG_SalesDocRejectionReasons
- TVAGT_SalesDocRejectionReasonDescription
Configurer des pipelines de couches dimensionnelles
Vous pouvez extraire des KPI à partir de tables SAP sources. Pour préparer les données en vue de leur analyse, organisez les données de la table source de sorte qu'elles correspondent à la structure de schéma de la table BigQuery.
L'accélérateur crée les quatre exemples de tables suivants :
| Nom de la table | Description de la table |
|---|---|
| customer_dimension | Liste organisée* de clients et de leurs données associées, telles que la classification, la hiérarchie et les informations de vente des clients. |
| material_dimension | Liste organisée de supports et de données connexes, telles que le numéro de SKU, la hiérarchie des produits et la classification. |
| sales_order_fact | Liste organisée d'informations de vente telles que les types de commande, la visibilité de l'état de la commande, la quantité commandée et le montant de la commande. Ces champs sont généralement agrégés afin de générer des KPI de gestion des commandes, tels que les commandes ouvertes, les commandes confirmées, les commandes refusées et les commandes facturées. |
| revenue_fact | Informations comptables détaillées générées par la vente du matériel aux clients. dérivée des tables de comptabilité, cette table de faits contient des informations qui peuvent fournir des indications sur les KPI liés aux revenus, y compris les ventes brutes, les ventes nettes avant remise, les ventes nettes après remise ou les tendances. |
*Dans ce contexte, la liste organisée provient de la logique métier appliquée à la liste des colonnes sélectionnées.
L'accélérateur crée la couche dimensionnelle de l'ensemble de données BigQuery à l'aide de scripts SQL, que vous pouvez modifier pour votre projet. Par exemple, vous pouvez adapter ces scripts pour ajouter des colonnes aux entités de l'ensemble de données BigQuery cible.
Transformation en schéma en étoile : noms de pipeline d'exécuteur BigQuery
Les pipelines d'exécuteur BigQuery suivants dans Cloud Data Fusion chargent les données dans des tables de dimensions et de faits :
Tous les pipelines de transformation dimensionnels :
customer_dimensionmaterial_dimensionsales_order_factrevenue_fact
Configuration de l'exécuteur BigQuery
| Nom de la macro | Exemple |
|---|---|
${ProjectID} |
sap_adaptor |
${StagingDatasetName} |
sap_cdf_staging |
${TargetDatasetName} |
sap_cdf_dimension |
Connecter Looker au projet BigQuery
Pour connecter Looker à BigQuery, consultez la documentation Looker sur les connexions BigQuery.
Installer le bloc
Vous pouvez accéder au bloc SAP Looker sur GitHub.
Le bloc Looker installe un modèle LookML préconfiguré avec deux environnements Explorer et deux tableaux de bord.
Étapes suivantes
- Apprenez-en plus sur Cloud Data Fusion.
- Apprenez-en plus sur SAP sur Google Cloud.
- Obtenez des informations supplémentaires sur BigQuery.
- Obtenez plus d'informations sur les blocs Looker.