Source par lot SAP OData

Ce guide explique comment déployer, configurer et exécuter des pipelines de données qui utilisent le plug-in SAP OData.

Vous pouvez utiliser SAP comme source pour l'extraction de données par lot dans Cloud Data Fusion à l'aide du protocole OData (Open Data Protocol). Le plug-in SAP OData vous aide à configurer et à exécuter des transferts de données à partir de SAP OData Catalog Services sans aucun codage.

Pour en savoir plus sur les services et les sources de données SAP OData Catalog compatibles, consultez les informations d'assistance. Pour en savoir plus sur SAP sur Google Cloud, consultez la page Présentation de SAP sur Google Cloud.

Objectifs

  • Configurez le système SAP ERP (activer DataSources dans SAP).
  • Déployez le plug-in dans votre environnement Cloud Data Fusion.
  • Téléchargez le transport SAP à partir de Cloud Data Fusion et installez-le dans SAP.
  • Utilisez Cloud Data Fusion et SAP OData pour créer des pipelines de données permettant d'intégrer des données SAP.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants :

  • Créer des pipelines dans Cloud Data Fusion
  • Gestion des accès avec IAM
  • Configurer SAP Cloud et les systèmes de progiciels de gestion intégrés (ERP) sur site

Rôles utilisateur

Les tâches de cette page sont effectuées par les personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d'utilisateur Description
Administrateur Google Cloud Les utilisateurs affectés à ce rôle sont des administrateurs de comptes Google Cloud.
Utilisateur Cloud Data Fusion Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Le rôle Lecteur de Data Fusion (roles/datafusion.viewer) leur est accordé au minimum. Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP Les utilisateurs affectés à ce rôle sont les administrateurs du système SAP. Ils ont accès au téléchargement du logiciel depuis le site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Conditions préalables à l'extraction des données OData

  1. Le service OData Catalog doit être activé dans le système SAP.

  2. Les données doivent être renseignées dans le service OData.

Conditions préalables pour votre système SAP

  • Dans SAP NetWeaver 7.02 à SAP NetWeaver 7.31, les fonctionnalités OData et SAP Gateway sont fournies avec les composants logiciels SAP suivants:

    • IW_FND
    • GW_CORE
    • IW_BEP

  • Dans SAP NetWeaver version 7.40 et ultérieures, toutes les fonctionnalités sont disponibles dans le composant SAP_GWFND, qui doit être mis à disposition dans SAP NetWeaver.

Facultatif: Installer les fichiers de transport SAP

Les composants SAP nécessaires aux appels d'équilibrage de charge vers SAP sont fournis sous forme de fichiers de transport SAP archivés sous forme de fichier ZIP (une requête de transport, composée d'un cofichier et d'un fichier de données). Vous pouvez utiliser cette étape pour limiter les appels parallèles multiples à SAP, en fonction des processus de travail disponibles dans SAP.

Le téléchargement du fichier ZIP est disponible lorsque vous déployez le plug-in dans Cloud Data Fusion Hub.

Télécharger le fichier ZIP de transport SAP ODATA

Les ID des requêtes de transport SAP et les fichiers associés sont fournis dans le tableau suivant:

ID de transport Fichier cofile Fichier de données Contenu
ED1K900360 K900360.ED1 R900360.ED1 Modules de fonction RFC exposés via OData

Lorsque vous importez les fichiers de transport dans SAP, les projets SAP OData suivants sont créés:

  • Projets OData

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO

  • Nœud de service ICF:GOOG

Pour installer le transport SAP, procédez comme suit :

Étape 1 : Importer les fichiers de requête de transport

  1. Connectez-vous au système d'exploitation de l'instance SAP.
  2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès au dossier DIR_TRANS. En règle générale, le chemin d'accès est /usr/sap/trans/.
  3. Copiez les cofiles dans le dossier DIR_TRANS/cofiles.
  4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
  5. Définissez l'utilisateur et le groupe de données et le cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport de l'une des façons suivantes :

Option 1 : Importer les fichiers de requête de transport à l'aide du système de gestion des transports SAP
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.
  2. Saisissez le code STMS de la transaction.
  3. Cliquez sur Vue d'ensemble > Importations.
  4. Dans la colonne Queue (File d'attente), double-cliquez sur le SID actuel.
  5. Cliquez sur Extras > Autres demandes > Ajouter.
  6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
  7. Sélectionnez la requête de transport dans la file d'attente d'importation, puis cliquez sur Requête > Importer.
  8. Saisissez le numéro client.

  9. Dans l'onglet Options, sélectionnez Remplacer les originaux et Ignorer la version de composant non valide (si disponible).

    (Facultatif) Pour programmer une réimportation des transports pour une date ultérieure, sélectionnez Laisser les requêtes de transport en file d'attente pour une importation ultérieure et Importer à nouveau les requêtes de transport. Cette fonctionnalité est utile pour les mises à niveau du système SAP et les restaurations de sauvegarde.

  10. Cliquez sur Continuer.

  11. Pour vérifier l'importation, utilisez des transactions, telles que SE80 et SU01.

Option 2 : Importer les fichiers de requête de transport au niveau du système d'exploitation
  1. Connectez-vous au système SAP en tant qu'administrateur de système SAP.

  2. Ajoutez les requêtes appropriées au tampon d'importation en exécutant la commande suivante :

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Par exemple : tp addtobuffer IB1K903958 DD1

  3. Importez les requêtes de transport en exécutant la commande suivante :

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Remplacez NNN par le numéro client. Exemple : tp import IB1K903958 DD1 client=800 U1238.

  4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et SU01.

Obtenir la liste des colonnes filtrables pour un service de catalogue SAP

Seules certaines colonnes DataSource peuvent être utilisées pour les conditions de filtre (il s'agit d'une limitation SAP par nature).

Pour obtenir la liste des colonnes filtrables pour un service de catalogue SAP, procédez comme suit:

  1. Connectez-vous au système SAP.
  2. Accédez au T-code SEGW.

  3. Saisissez le nom du projet OData, qui est une sous-chaîne du nom du service. Exemple :

    • Nom du service : MM_PUR_POITEMS_MONI_SRV
    • Nom du projet: MM_PUR_POITEMS_MONI

  4. Cliquez sur Entrée.

  5. Accédez à l'entité que vous souhaitez filtrer, puis sélectionnez Propriétés.

    Vous pouvez utiliser les champs affichés dans les propriétés en tant que filtres. Les opérations acceptées sont Equal (Égal à) et Between (Entre : plage).

    Propriétés dans SAP

Pour obtenir la liste des opérateurs compatibles avec le langage d'expression, consultez la documentation Open Source OData: Conventions d'URI (OData version 2.0).

Exemple d'URI avec filtres:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configurer le système SAP ERP

Le plug-in SAP OData utilise un service OData qui est activé sur chaque serveur SAP à partir duquel les données sont extraites. Ce service OData peut être une norme fournie par SAP ou un service OData personnalisé développé sur votre système SAP.

Étape 1: Installez SAP Gateway 2.0

L'administrateur SAP (Basis) doit vérifier que les composants SAP Gateway 2.0 sont disponibles dans le système source SAP, en fonction de la version de NetWeaver. Pour en savoir plus sur l'installation de SAP Gateway 2.0, connectez-vous à SAP ONE Support Launchpad et consultez la note 1569624 (connexion requise) .

Étape 2: Activez le service OData

Activez le service OData requis sur le système source. Pour en savoir plus, consultez Serveur frontal: activer les services OData.

Étape 3: Créez un rôle d'autorisation

Pour vous connecter à la source de données, créez un rôle d'autorisation avec les autorisations requises dans SAP, puis accordez-le à l'utilisateur SAP.

Pour créer le rôle d'autorisation dans SAP, procédez comme suit :

  1. Dans l'IUG SAP, saisissez le code de transaction PFCG pour ouvrir la fenêtre Maintenance des rôles.

  2. Dans le champ Rôle, saisissez un nom pour le rôle.

    Par exemple : ZODATA_AUTH

  3. Cliquez sur Rôle unique.

    La fenêtre Créer des rôles s'ouvre.

  4. Dans le champ Description, saisissez une description, puis cliquez sur Enregistrer.

    Exemple : Authorizations for SAP OData plugin.

  5. Cliquez sur l'onglet Autorisations. Le titre de la fenêtre passe à Modifier les rôles.

  6. Sous Modifier les données d'autorisation et générer des profils, cliquez sur Modifier les données d'autorisation.

    La fenêtre Choisir un modèle s'ouvre.

  7. Cliquez sur Ne pas sélectionner de modèles.

    La fenêtre Modifier le rôle : Autorisations s'ouvre.

  8. Cliquez sur Manuellement.

  9. Fournissez les autorisations indiquées dans le tableau suivant.

  10. Cliquez sur Enregistrer.

  11. Pour activer le rôle d'autorisation, cliquez sur l'icône Générer.

Autorisations SAP

Classe d'objet Texte de classe d'objet Objet d'autorisation Texte d'objet d'autorisation Autorisation Texte Valeur
AAAB Objets d'autorisation inter-applications S_SERVICE Vérification au début des services externes SRV_NAME Nom du module de programme, de transaction ou de fonction *
AAAB Objets d'autorisation inter-applications S_SERVICE Vérification au début des services externes SRV_TYPE Type d'indicateur de contrôle et valeurs d'autorisation par défaut HT
FI Comptabilité financière F_UNI_HIER Accès universel à la hiérarchie ACTVT Activité 03
FI Comptabilité financière F_UNI_HIER Accès universel à la hiérarchie HRYTYPE Type de hiérarchie *
FI Comptabilité financière F_UNI_HIER Accès universel à la hiérarchie HRYID ID de hiérarchie *

Pour concevoir et exécuter un pipeline de données dans Cloud Data Fusion (en tant qu'utilisateur Cloud Data Fusion), vous avez besoin des identifiants utilisateur SAP (nom d'utilisateur et mot de passe) pour configurer le plug-in afin qu'il se connecte à la source de données.

L'utilisateur SAP doit être du type Communications ou Dialog. Pour éviter d'utiliser des ressources de boîte de dialogue SAP, le type Communications est recommandé. Les utilisateurs peuvent être créés à l'aide du code de transaction SU01 de SAP.

Étape 4 : Sécurisez la connexion (facultatif)

Vous pouvez sécuriser la communication sur le réseau entre votre instance Cloud Data Fusion privée et SAP.

Pour sécuriser la connexion, procédez comme suit:

  1. L'administrateur SAP doit générer un certificat X509. Pour générer le certificat, consultez la section Créer une session PSE de serveur SSL.
  2. L'administrateur Google Cloud doit copier le fichier X509 dans un bucket Cloud Storage lisible, dans le même projet que l'instance Cloud Data Fusion, et fournir le chemin d'accès au bucket à l'utilisateur Cloud Data Fusion, qui le saisira lors de la configuration du plug-in.
  3. L'administrateur Google Cloud doit accorder un accès en lecture au fichier X509 à l'utilisateur Cloud Data Fusion qui conçoit et exécute des pipelines.

(Facultatif) Étape 5 : Créez des services OData personnalisés

Vous pouvez personnaliser la manière dont les données sont extraites en créant des services OData personnalisés dans SAP:

  • Pour créer des services OData personnalisés, consultez Créer des services OData pour les débutants.
  • Pour créer des services OData personnalisés à l'aide de vues des services de données principaux, consultez la page Créer un service OData et exposer des vues CDS en tant que service OData.
  • Tout service OData personnalisé doit être compatible avec les requêtes $top, $skip et $count. Ces requêtes permettent au plug-in de partitionner les données pour une extraction séquentielle et parallèle. Si vous les utilisez, les requêtes $filter, $expand ou $select doivent également être acceptées.

Configurer Cloud Data Fusion

Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP. Pour les instances privées, configurez l'appairage de réseaux. Une fois l'appairage de réseaux établi avec le projet hébergeant les systèmes SAP, aucune configuration supplémentaire n'est requise pour la connexion à votre instance Cloud Data Fusion. Le système SAP et l'instance Cloud Data Fusion doivent se trouver dans le même projet.

Étape 1: Configurer votre environnement Cloud Data Fusion

Pour configurer votre environnement Cloud Data Fusion pour le plug-in, procédez comme suit :

  1. Accédez aux détails de l'instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.

      Accéder à la page "Instances"

  2. Vérifiez que l'instance a été mise à niveau vers la version 6.4.0 ou une version ultérieure. Si l'instance utilise une version antérieure, vous devez la mettre à niveau.

  3. Cliquez sur Afficher l'instance. Lorsque l'interface utilisateur de Cloud Data Fusion s'ouvre, cliquez sur Hub.

  4. Sélectionnez l'onglet SAP > SAP OData.

    Si l'onglet SAP n'est pas visible, consultez la section Résoudre les problèmes d'intégration de SAP.

  5. Cliquez sur Déployer le plug-in SAP OData.

    Le plug-in apparaît désormais dans le menu Source de la page Studio.

    Données OData dans le menu "Source" de la page Data Fusion Studio

Étape 2: Configurer le plug-in

Le plug-in SAP OData lit le contenu d'une source de données SAP.

Pour filtrer les enregistrements, vous pouvez configurer les propriétés suivantes sur la page "Propriétés SAP OData".

Nom de propriété Description
Basic
Reference Name (Nom de référence) Nom utilisé pour identifier de manière unique cette source pour la traçabilité, l'annotation des métadonnées, etc.
URL de la base OData SAP URL de base OData de la passerelle SAP (utilisez le chemin d'URL complet, semblable à https://ADDRESS:PORT/sap/opu/odata/sap/)
Version OData Version de SAP OData compatible.
Nom du service Nom du service SAP OData à partir duquel vous souhaitez extraire une entité.
Nom de l'entité Nom de l'entité en cours d'extraction, par exemple Results. Vous pouvez utiliser un préfixe, tel que C_PurchaseOrderItemMoni/Results. Ce champ accepte les paramètres de catégorie et d'entité. Exemples :
  • Un paramètre pour la catégorie C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results
  • Un paramètre pour l'entité C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD')
  • Un paramètre de catégorie et d'entité: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Bouton Get Schema (Obtenir le schéma) Génère un schéma basé sur les métadonnées de SAP, avec mappage automatique des types de données SAP avec les types de données Cloud Data Fusion correspondants (même fonctionnalité que le bouton Valider).
Identifiants*
Type de SAP Basic (via un nom d'utilisateur et un mot de passe).
Nom d'utilisateur de connexion SAP Nom d'utilisateur SAP
Recommandé: Si le nom d'utilisateur SAP Logon change régulièrement, utilisez une macro.
Mot de passe de connexion SAP Mot de passe utilisateur SAP
Recommandé: Utilisez des macros sécurisées pour les valeurs sensibles, telles que les mots de passe.
Certificat client SAP X.509
(consultez la page Utiliser des certificats clients X.509 sur SAP NetWeaver Application Server pour ABAP).
ID du projet GCP Identifiant global unique pour votre projet. Ce champ est obligatoire si le champ Chemin d'accès Cloud Storage du certificat X.509 ne contient pas de valeur de macro.
Chemin d'accès GCS Chemin d'accès au bucket Cloud Storage contenant le certificat X.509 importé par l'utilisateur, qui correspond au serveur d'applications SAP pour les appels sécurisés basés sur vos besoins (voir l'étape Sécuriser la connexion).
Mot de passe Phrase secrète correspondant au certificat X.509 fourni.
Avancé
Options du filtre Indique la valeur qu'un champ doit être lu. Utilisez cette condition de filtre pour limiter le volume de données de sortie. Par exemple, "Price Gt 200" sélectionne les enregistrements dont la valeur de champ "Price" est supérieure à "200". (Consultez la section Obtenir une liste des colonnes filtrables pour un service de catalogue SAP.)
Sélectionner des champs Champs à conserver dans les données extraites (par exemple, "Catégorie", "Prix", "Nom", "Fournisseur/Adresse").
Développer les champs Liste des champs complexes à développer dans les données de sortie extraites (par exemple: Produits/Fournisseurs).
Nombre de lignes à ignorer Nombre total de lignes à ignorer (10, par exemple).
Nombre de lignes à récupérer Nombre total de lignes à extraire.
Nombre de divisions à générer Nombre de divisions utilisées pour partitionner les données d'entrée. Un plus grand nombre de partitions augmente le niveau de parallélisme, mais nécessite davantage de ressources et de frais supplémentaires.
Si ce champ n'est pas renseigné, le plug-in choisit une valeur optimale (recommandé).
Taille du lot Nombre de lignes à extraire dans chaque appel réseau à SAP. Une petite taille entraîne des appels réseau fréquents qui entraînent la répétition de la surcharge associée. Une grande taille peut ralentir la récupération des données et entraîner une utilisation excessive des ressources dans SAP. Si la valeur est définie sur 0, la valeur par défaut est 2500, et le nombre maximal de lignes à extraire dans chaque lot est de 5000.

* Les macros sont acceptées dans les propriétés des identifiants. Vous pouvez les utiliser pour gérer vos connexions SAP de manière centralisée. Par exemple, vous pouvez définir des valeurs au moment de l'exécution à l'aide de paramètres d'exécution ou d'un plug-in Argument Setter.

Types OData compatibles

Le tableau suivant montre la correspondance entre les types de données OData v2 utilisés dans les applications SAP et les types de données Cloud Data Fusion.

Type OData Description (SAP) Type de données Cloud Data Fusion
Numérique
SByte Valeur entière signée de 8 bits int
Byte Valeur entière de 8 bits non signée int
Int16 Valeur entière signée de 16 bits int
Int32 Valeur entière signée de 32 bits int
Int64 Valeur entière de 64 bits signée suivie du caractère: "L"
Exemples: 64L, -352L		 long
Unique Nombre à virgule flottante avec une précision à 7 chiffres pouvant représenter des valeurs dans une plage approximative comprise entre ± 1,18e -38 et ± 3,40e +38, suivi du caractère "f"
Exemple : 2.0f		 float
Double Nombre à virgule flottante avec une précision de 15 chiffres pouvant représenter des valeurs dans des plages approximatives comprises entre ± 2,23e -308 et ± 1,79e +308, suivi du caractère "d"
Exemples : 1E+10d, 2.029d, 2.0d		 double
Decimal Valeurs numériques avec une précision et une échelle fixes décrivant une valeur numérique allant de 10^255 + 1 négatif à 10^255 -1 positif, suivie du caractère "M" ou "m"
Exemple : 2.345M		 decimal
Caractère
Guid Valeur d'identifiant unique de 16 octets (128 bits) commençant par le caractère "guid"
Exemple : guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'		 string
Chaîne Données de caractères de longueur variable ou fixe encodées en UTF-8 string
Byte
Binaire Données binaires fixes ou de longueur variable, commençant par "X" ou "binaire" (les deux sont sensibles à la casse)
Exemple: X'23AB', binary'23ABFF'		 bytes
Logique
Booléen Concept mathématique de la logique à valeur binaire boolean
Date/Heure
Date/Heure Date et heure avec des valeurs allant de 00:00:00 le 1er janvier 1753 au 31 décembre 9999 à 23:59:59 timestamp
Temps Heure de la journée avec des valeurs allant de 0:00:00.x à 23:59:59.y, où "x" et "y" dépendent de la précision time
DateTimeOffset Date et heure sous forme de décalage, en minutes par rapport à l'heure GMT, avec des valeurs allant de 00:00:00 le 1er janvier 1753 au 31 décembre 9999 à 23:59:59 timestamp
Complexe
Propriétés de navigation et autres que la navigation (multiplicité = *) Collections d'un type simple, avec une multiplicité de un à plusieurs. array,
string,
int, etc.
Propriétés (multiplicité = 0,1) Références à d'autres types complexes avec une multiplicité de un à un record

Validation

Cliquez sur Valider en haut à droite ou sur Obtenir un schéma.

Le plug-in valide les propriétés et génère un schéma basé sur les métadonnées de SAP. Il mappe automatiquement les types de données SAP sur les types de données Cloud Data Fusion correspondants.

Exécuter un pipeline de données

  1. Après avoir déployé le pipeline, cliquez sur Configurer dans le panneau supérieur central.
  2. Sélectionnez Ressources.
  3. Si nécessaire, modifiez le processeur d'exécuteur et la mémoire en fonction de la taille globale des données et du nombre de transformations utilisées dans le pipeline.
  4. Cliquez sur Enregistrer.
  5. Pour démarrer le pipeline de données, cliquez sur Exécuter.

Performances

Le plug-in utilise les fonctionnalités de parallélisation de Cloud Data Fusion. Les instructions suivantes vous aideront à configurer l'environnement d'exécution afin de fournir suffisamment de ressources au moteur d'exécution pour atteindre le degré de parallélisme et de performances attendu.

Optimiser la configuration du plug-in

Recommandé:À moins que vous ne connaissiez les paramètres de mémoire de votre système SAP, laissez les champs Number of Splits to Generate (Nombre de divisions à générer) et Batch Size (Taille du lot) vides (non spécifié).

Pour améliorer les performances lorsque vous exécutez votre pipeline, utilisez les configurations suivantes:

  • Nombre de divisions à générer: des valeurs comprises entre 8 et 16 sont recommandées. Toutefois, ils peuvent être portés à 32, voire 64, avec des configurations appropriées côté SAP (allocation des ressources de mémoire appropriées pour les processus de travail dans SAP). Cette configuration améliore le parallélisme du côté de Cloud Data Fusion. Le moteur d'exécution crée le nombre spécifié de partitions (et de connexions SAP) lors de l'extraction des enregistrements.

    • Si le service de configuration (fourni avec le plug-in lorsque vous importez le fichier de transport SAP) est disponible, le plug-in utilise par défaut la configuration du système SAP. Les divisions représentent 50% des processus de travail de la boîte de dialogue disponibles dans SAP. Remarque: Le service de configuration peut uniquement être importé depuis des systèmes S4HANA.

    • Si le service de configuration n'est pas disponible, les divisions 7 sont définies par défaut.

    • Dans les deux cas, si vous spécifiez une valeur différente, la valeur que vous fournissez prévaut sur la valeur de fractionnement par défaut,sauf qu'elle est limitée par les processus de boîte de dialogue disponibles dans SAP, moins deux fractionnements.

    • Si le nombre d'enregistrements à extraire est inférieur à 2500, le nombre de divisions est de 1.

  • Batch Size (Taille du lot) : il s'agit du nombre d'enregistrements à récupérer dans chaque appel réseau adressé à SAP. Une taille de lot plus petite provoque des appels réseau fréquents, répétant la surcharge associée. Par défaut, le nombre minimal est de 1000 et le maximum de 50000.

Pour en savoir plus, consultez Limites d'entités OData.

Paramètres de ressources Cloud Data Fusion

Recommandé:Utilisez 1 processeur et 4 Go de mémoire par exécuteur (cette valeur s'applique à chaque processus d'exécuteur). Définissez ces paramètres dans la boîte de dialogue Configurer > Ressources.

Optimiser les paramètres de ressource dans la fenêtre de configuration de Cloud Data Fusion

Paramètres du cluster Dataproc

Recommandé:allouez au minimum un nombre total de processeurs (sur les nœuds de calcul) supérieur au nombre de divisions prévu (voir la section Configuration du plug-in).

Chaque nœud de calcul doit disposer d'au moins 6,5 Go de mémoire alloués par processeur dans les paramètres Dataproc (cela se traduit par 4 Go ou plus disponibles par exécuteur Cloud Data Fusion). Vous pouvez conserver les valeurs par défaut des autres paramètres.

Recommandé:Utilisez un cluster Dataproc persistant pour réduire l'environnement d'exécution du pipeline de données (cela élimine l'étape de provisionnement, qui peut prendre quelques minutes ou plus). Définissez ce paramètre dans la section de configuration de Compute Engine.

Exemples de configurations et de débit

Exemples de configurations de développement et de test

  • Un cluster Dataproc avec huit nœuds de calcul, chacun disposant de 4 processeurs et de 26 Go de mémoire Générez jusqu'à 28 fractionnements.
  • Un cluster Dataproc avec deux nœuds de calcul, chacun disposant de 8 processeurs et de 52 Go de mémoire Générez jusqu'à 12 fractionnements.

Exemples de configurations de production et de débit

  • Un cluster Dataproc avec huit nœuds de calcul, chacun disposant de 8 processeurs et de 32 Go de mémoire Générez jusqu'à 32 partitions (la moitié des processeurs disponibles).
  • Un cluster Dataproc avec 16 nœuds de calcul, chacun doté de 8 processeurs et de 32 Go de mémoire Générez jusqu'à 64 partitions (la moitié des processeurs disponibles).

Exemple de débit pour un système source de production SAP S4HANA 1909

Le tableau suivant présente un exemple de débit. Le débit affiché est sans options de filtre, sauf indication contraire. Lorsque vous utilisez des options de filtrage, le débit est réduit.

Taille de lot Fractionnements Service OData Nombre total de lignes Lignes extraites Débit (lignes par seconde)
1000 4 ZACDOCA_CDS 5,37 M 5,37 M 1069
2500 10 ZACDOCA_CDS 5,37 M 5,37 M 3384
5000 8 ZACDOCA_CDS 5,37 M 5,37 M 4630
5000 9 ZACDOCA_CDS 5,37 M 5,37 M 4817

Exemple de débit pour un système source de production cloud SAP S4HANA

Taille de lot Fractionnements Service OData Nombre total de lignes Lignes extraites Débit (Go/heure)
2500 40 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 25,48
5000 50 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 26,78

Informations relatives à l'assistance

Produits et versions SAP compatibles

  • Les sources compatibles incluent SAP S4/HANA 1909 et versions ultérieures, S4/HANA sur le cloud SAP et toute application SAP capable d'exposer des services OData.

  • Le fichier de transport contenant le service OData personnalisé pour l'équilibrage de charge des appels à SAP doit être importé dans S4/HANA 1909 et versions ultérieures. Le service permet de calculer le nombre de divisions (partitions de données) que le plug-in peut lire en parallèle (voir la section Nombre de divisions).

  • Compatible avec la version 2 d'OData.

  • Le plug-in a été testé avec des serveurs SAP S/4HANA déployés sur Google Cloud.

SAP OData Catalog Services est compatible avec l'extraction

Le plug-in est compatible avec les types de source de données suivants :

  • Données de transaction
  • Vues CDS exposées via OData

  • Données de référence

    • Attributs
    • Textes
    • Hiérarchies

Notes SAP

Aucune note SAP n'est requise avant l'extraction, mais le système SAP doit disposer de SAP Gateway. Pour en savoir plus, consultez la note 1560585 (ce site externe nécessite une connexion SAP).

Limites applicables au volume de données ou à la largeur des enregistrements

Le volume de données extraites n'est pas limité. Nous avons testé jusqu'à six millions de lignes extraites en un seul appel, avec une largeur d'enregistrement de 1 Ko. Pour SAP S4/HANA dans le cloud, nous avons testé jusqu'à 10 millions de lignes extraites en un seul appel, avec une largeur d'enregistrement de 1 Ko.

Débit de plug-in attendu

Pour un environnement configuré conformément aux consignes de la section Performances, le plug-in peut extraire environ 38 Go par heure. Les performances réelles peuvent varier en fonction des charges système Cloud Data Fusion et SAP, ou du trafic réseau.

Extraction delta (données modifiées)

L'extraction delta n'est pas acceptée.

Scénarios d'erreur

Au moment de l'exécution, le plug-in écrit les entrées de journal dans le journal du pipeline de données de Cloud Data Fusion. Ces entrées sont précédées du préfixe CDF_SAP pour faciliter l'identification.

Au moment de la conception, lorsque vous validez les paramètres du plug-in, les messages s'affichent dans l'onglet Properties (Propriétés) et sont surlignés en rouge.

Le tableau suivant répertorie certains messages d'erreur courants (le texte de sera remplacé par les valeurs réelles au moment de l'exécution):

ID du message Message Action recommandée
Aucune Propriété "" obligatoire pour le type de connexion "". Saisissez une valeur réelle ou une variable de macro.
Aucune Valeur non valide pour la propriété "". Saisissez un nombre entier non négatif (0 ou supérieur, sans décimale) ou une variable de macro.
CDF_SAP_ODATA_01505 Échec de la préparation du schéma de sortie de Cloud Data Fusion. Veuillez vérifier la valeur des macros d'exécution fournies. Vérifiez que les valeurs de macro fournies sont correctes.
Non disponible Le certificat SAP X509 "<UI input in GCS Path>" est manquant. Veuillez vous assurer que le certificat X509 requis est importé dans le bucket Google Cloud Storage <GCS bucket name> spécifié. Assurez-vous que le chemin d'accès Cloud Storage fourni est correct.
CDF_SAP_ODATA_01532 Code d'erreur générique lié à des problèmes de connectivité avec SAP OData
Échec de l'appel du service SAP OData fourni. Cause: <message de l'origine du service SAP OData>		 Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01534 Code d'erreur générique lié à l'erreur du service SAP OData.
Échec de la validation du service. Cause: message concernant l'origine du service OData du point d'accès>		 Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01503 Échec de la récupération du nombre total d'enregistrements disponibles dans <nom d'entité du service SAP OData>. Cause: <message de cause racine du service SAP Odata> Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01506 Aucun enregistrement à extraire dans <SAP OData service entity name>. Veuillez vous assurer que l'entité fournie contient des enregistrements. Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01537 Échec du traitement des enregistrements pour <nom d'entité du service SAP OData>. Cause: <message de cause racine du service SAP OData> Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01536 Échec de l'extraction des enregistrements de <Nom de l'entité du service SAP OData>. Cause: <Message de l'origine du service SAP OData> Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01504 Échec de la génération de la chaîne de métadonnées encodée pour le service OData donné <nom du service SAP OData>. Cause: <message de cause racine du service OData SAP>. Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.
CDF_SAP_ODATA_01533 Échec du décodage des métadonnées à partir de la chaîne de métadonnées encodée donnée pour le service <nom du service SAP OData>. Cause: <message de cause racine du service SAP OData>. Vérifiez la cause du problème affiché dans le message et prenez les mesures appropriées.

Étapes suivantes