Source par lot SAP OData

Ce guide explique comment déployer, configurer et exécuter des pipelines de données qui utilisent le plug-in SAP OData.

Vous pouvez utiliser SAP comme source pour extraire des données par lot dans Cloud Data Fusion à l'aide du protocole OData (Open Data Protocol). Le plug-in SAP OData vous aide à configurer et exécuter des données sans codage à partir de SAP OData Catalog Services.

Pour en savoir plus sur les services SAP OData Catalog Services et DataSources, consultez les informations sur la compatibilité. Pour plus d'informations sur SAP sur Google Cloud, consultez la Présentation de SAP sur Google Cloud

Objectifs

• Configurez le système SAP ERP (activer DataSources dans SAP).
• Déployez le plug-in dans votre environnement Cloud Data Fusion.
• Téléchargez le transport SAP à partir de Cloud Data Fusion et installez-le dans SAP.

• Utilisez Cloud Data Fusion et SAP OData pour créer de pipelines de données pour intégrer des données SAP.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants :

• Créer des pipelines dans Cloud Data Fusion
• Gestion des accès avec IAM
• Configurer SAP Cloud et les systèmes de progiciels de gestion intégrés (ERP) sur site

Rôles utilisateur

Les tâches de cette page sont effectuées par les personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d'utilisateur	Description
Administrateur Google Cloud	Les utilisateurs affectés à ce rôle sont des administrateurs de comptes Google Cloud.
Utilisateur Cloud Data Fusion	Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Le rôle Lecteur de Data Fusion (roles/datafusion.viewer) leur est accordé au minimum. Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP	Les utilisateurs affectés à ce rôle sont les administrateurs du système SAP. Ils ont accès au téléchargement du logiciel depuis le site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP	Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Conditions préalables à l'extraction OData

1. Le service OData Catalog doit être activés dans le système SAP.

2. Les données doivent être renseignées dans le service OData.

Conditions préalables pour votre système SAP

• Dans la version 7.31 de SAP NetWeaver 7.02 à SAP NetWeaver, les ressources OData et SAP Les fonctionnalités de passerelle sont fournies avec le logiciel SAP suivant : composants:

  • IW_FND
  • GW_CORE
  • IW_BEP

• Dans SAP NetWeaver version 7.40 et versions ultérieures, toutes les fonctionnalités sont disponible dans le composant SAP_GWFND, qui doit être mis à disposition dans SAP NetWeaver.

Facultatif: Installer les fichiers de transport SAP

Les composants SAP nécessaires à l'équilibrage de charge des appels à SAP sont fournis sous forme de fichiers de transport SAP archivés sous forme de fichier ZIP (une requête de transport, qui se compose d'un cofichier et d'un fichier de données). Vous pouvez utiliser cette étape pour limiter plusieurs appels parallèles à SAP, en fonction des processus de travail disponibles dans SAP.

Le téléchargement du fichier ZIP est disponible lorsque vous déployer le plug-in dans Cloud Data Fusion Hub.

Télécharger le fichier ZIP de transport SAP ODATA

Les ID de requête de transport SAP et les fichiers associés sont fournis dans les tableau:

ID de transport	Fichier cofile	Fichier de données	Contenu
ED1K900360	K900360.ED1	R900360.ED1	Modules de fonction RFC exposés via OData

Lorsque vous importez les fichiers de transport dans SAP, les projets SAP OData suivants sont créées:

• Projets OData

  • /GOOG/GET_STATISTIC
  • /GOOG/TH_WPINFO

• Nœud de service ICF:GOOG

Pour installer le transport SAP, procédez comme suit :

Étape 1 : Importer les fichiers de requête de transport

1. Connectez-vous au système d'exploitation de l'instance SAP.
2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès au dossier DIR_TRANS. En règle générale, le chemin d'accès est /usr/sap/trans/.
3. Copiez les cofiles dans le dossier DIR_TRANS/cofiles.
4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
5. Définissez l'utilisateur et le groupe de données et le cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport de l'une des façons suivantes :

Option 1 : Importer les fichiers de requête de transport à l'aide du système de gestion des transports SAP

1. Connectez-vous au système SAP en tant qu'administrateur SAP.
2. Saisissez le code STMS de la transaction.
3. Cliquez sur Vue d'ensemble > Importations.
4. Dans la colonne Queue (File d'attente), double-cliquez sur le SID actuel.
5. Cliquez sur Bonus > Autres demandes > Ajouter.
6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
7. Sélectionnez la demande de transport dans la file d'attente d'importation, puis cliquez sur Demander > Importer.
8. Saisissez le numéro client.

9. Dans l'onglet Options, sélectionnez Écraser les originaux et Ignorer version de composant non valide (si disponible).

   (Facultatif) Pour planifier la réimportation des transports pour une date ultérieure, sélectionnez Laisser les requêtes de transport en file d'attente pour une importation ultérieure et Importer des requêtes de transport. Cette fonctionnalité est utile pour les mises à niveau du système SAP et les restaurations de sauvegarde.

10. Cliquez sur Continuer.

11. Pour vérifier l'importation, utilisez des transactions, telles que SE80 et SU01.

Option 2 : Importer les fichiers de requête de transport au niveau du système d'exploitation

1. Connectez-vous au système SAP en tant qu'administrateur de système SAP.

2. Ajoutez les requêtes appropriées au tampon d'importation en exécutant la commande suivante :

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Par exemple : tp addtobuffer IB1K903958 DD1

3. Importez les requêtes de transport en exécutant la commande suivante :

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Remplacez NNN par le numéro client. Exemple : tp import IB1K903958 DD1 client=800 U1238.

   Remarque: U1238 indique comment définir les options décrites aux étapes 9 à 10 dans l'option 1. Les numéros indiquent le numéro de commande d'option correspondant dans l'IUG SAP, qui peut varier d'un système à l'autre. Ces chiffres doivent être ajustés par votre administrateur SAP.

4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et SU01.

Obtenir la liste des colonnes filtrables pour un service de catalogue SAP

Seules certaines colonnes DataSource peuvent être utilisées pour les conditions de filtre (il s'agit d'une limitation SAP par nature).

Pour obtenir la liste des colonnes filtrables d'un service de catalogue SAP, procédez comme suit : étapes:

1. Connectez-vous au système SAP.
2. Accédez à t-code SEGW.

3. Saisissez le nom du projet OData, qui est une sous-chaîne du nom du service. Exemple :

   • Nom du service : MM_PUR_POITEMS_MONI_SRV
   • Nom du projet : MM_PUR_POITEMS_MONI

4. Appuyez sur Entrée.

5. Accédez à l'entité que vous souhaitez filtrer, puis sélectionnez Propriétés.

   Vous pouvez utiliser les champs affichés dans Properties (Propriétés) comme filtres. Les opérations acceptées sont Equal (Égal à) et Between (Entre : plage).

   

Pour obtenir la liste des opérateurs pris en charge dans le langage d'expression, consultez la page OData Documentation source: URI Conventions (OData version 2.0).

Exemple d'URI avec des filtres:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configurer le système SAP ERP

<ph type="x-smartling-placeholder">

</ph> L'administrateur SAP effectue les tâches cette section.

Le plug-in SAP OData utilise un service OData activé sur chaque serveur SAP à partir duquel les données sont extraites. Ce service OData peut être standard fournie par SAP ou un service OData personnalisé développé sur votre système SAP.

Étape 1: Installer SAP Gateway 2.0

L'administrateur SAP (Basis) doit vérifier que la passerelle SAP 2.0 sont disponibles dans le système source SAP, en fonction de la solution de sortie. Pour plus d'informations sur l'installation de SAP Gateway 2.0, connectez-vous à SAP ONE Support Launchpad et consultez la section Note 1569624 (connexion requise) .

Étape 2: Activez le service OData

Activez le service OData requis sur le système source. Pour plus d'informations, consultez la page Serveur front-end: activer les services OData.

Étape 3: Créez un rôle d'autorisation

Pour vous connecter à la DataSource, créez un rôle d'autorisation avec les autorisations des autorisations dans SAP, puis l'accorder à l'utilisateur SAP.

Pour créer le rôle d'autorisation dans SAP, procédez comme suit :

1. Dans l'IUG SAP, saisissez le code de transaction PFCG pour ouvrir la fenêtre Maintenance des rôles.

2. Dans le champ Rôle, saisissez un nom pour le rôle.

   Par exemple : ZODATA_AUTH

3. Cliquez sur Rôle unique.

   La fenêtre Créer des rôles s'ouvre.

4. Dans le champ Description, saisissez une description, puis cliquez sur Enregistrer.

   Exemple : Authorizations for SAP OData plugin.

5. Cliquez sur l'onglet Autorisations. Le titre de la fenêtre passe à Modifier les rôles.

6. Sous Modifier les données d'autorisation et générer des profils, cliquez sur Modifier les données d'autorisation.

   La fenêtre Choisir un modèle s'ouvre.

7. Cliquez sur Ne pas sélectionner de modèles.

   La fenêtre Modifier le rôle : Autorisations s'ouvre.

8. Cliquez sur Manuellement.

9. Fournissez les autorisations indiquées dans le tableau suivant.

10. Cliquez sur Enregistrer.

11. Pour activer le rôle d'autorisation, cliquez sur l'icône Générer.

Autorisations SAP

Classe d'objet	Texte de classe d'objet	Objet d'autorisation	Texte d'objet d'autorisation	Autorisation	Texte	Valeur
AAAB	Objets d'autorisation inter-applications	S_SERVICE	Vérifier au démarrage des services externes	SRV_NAME	Nom du programme, de la transaction ou du module de fonction	*
AAAB	Objets d'autorisation inter-applications	S_SERVICE	Vérifier au démarrage des services externes	SRV_TYPE	Type d'indicateur de contrôle et valeurs par défaut d'autorisation	HT
VEN	Comptabilité financière	F_UNI_HIER	Accès universel aux données hiérarchiques	ACTVT	Activité	03
VEN	Comptabilité financière	F_UNI_HIER	Accès universel aux données hiérarchiques	HRYTYPE	Type de hiérarchie	*
VEN	Comptabilité financière	F_UNI_HIER	Accès universel aux données hiérarchiques	HRYID	ID de la hiérarchie	*

Pour concevoir et exécuter un pipeline de données dans Cloud Data Fusion (en tant que utilisateur Cloud Data Fusion), vous avez besoin d'identifiants utilisateur SAP (nom d'utilisateur et mot de passe) pour configurer le plug-in afin qu'il se connecte à DataSource.

Le type d'utilisateur SAP doit être Communications ou Dialog. Pour éviter d'utiliser Ressources de boîte de dialogue SAP, le type Communications est recommandé. Les utilisateurs peuvent être créé à l'aide du code de transaction SU01 SAP.

Facultatif: Étape 4: Sécurisez la connexion

Vous pouvez sécuriser la communication sur le réseau entre vos données Instance Cloud Data Fusion et SAP.

<ph type="x-smartling-placeholder">

</ph> Remarque : <ph type="x-smartling-placeholder"></ph> Un certificat X.509 est requis pour cette tâche.

Pour sécuriser la connexion, procédez comme suit:

1. L'administrateur SAP doit générer un certificat X509. Pour générer la consultez la page Créer une instance PSE de serveur SSL.
2. L'administrateur Google Cloud doit copier le fichier X509 dans un fichier bucket Cloud Storage dans le même projet que instance Cloud Data Fusion et attribuer au bucket le chemin d'accès Utilisateur Cloud Data Fusion, qui le saisit lors de la configuration du plug-in.
3. L'administrateur Google Cloud doit accorder un accès en lecture au fichier X509 au Utilisateur de Cloud Data Fusion qui conçoit et exécute des pipelines.

Facultatif: Étape 5: Créer des services OData personnalisés

Vous pouvez personnaliser la façon dont les données sont extraites en créant des services OData personnalisés dans SAP:

• Pour créer des services OData personnalisés, consultez Créer des services OData pour les débutants.
• Pour créer des services OData personnalisés à l'aide de vues des services de données principaux (CDS), consultez Comment créer un service OData et exposer les vues CDS en tant que service OData.
• Tout service OData personnalisé doit accepter les requêtes $top, $skip et $count. Ces requêtes permettent au plug-in de partitionner les données pour une extraction séquentielle et parallèle. Si vous les utilisez, les requêtes $filter, $expand ou $select doivent également être acceptées.

Configurer Cloud Data Fusion

<ph type="x-smartling-placeholder">

</ph> L'utilisateur de Cloud Data Fusion effectue les tâches de cette section.

Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP. Pour les instances privées, configurez l'appairage de réseaux. Une fois l'appairage de réseaux établi avec le projet hébergeant les systèmes SAP, aucune configuration supplémentaire n'est requise pour la connexion à votre instance Cloud Data Fusion. Le système SAP et l'instance Cloud Data Fusion doivent se trouver dans le même projet.

Étape 1: Configurez votre environnement Cloud Data Fusion

Pour configurer votre environnement Cloud Data Fusion pour le plug-in, procédez comme suit :

1. Accédez aux détails de l'instance:

   1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

   2. Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.

      Accéder à la page "Instances"

2. Vérifiez que l'instance a été mise à niveau vers la version 6.4.0 ou une version ultérieure. Si l'instance utilise une version antérieure, vous devez la mettre à niveau.

3. Cliquez sur Afficher l'instance. Lorsque l'interface utilisateur de Cloud Data Fusion s'ouvre, cliquez sur Hub

4. Sélectionnez l'onglet SAP &gt; SAP OData.

   Si l'onglet SAP n'est pas visible, consultez la section Résoudre les problèmes d'intégration de SAP.

5. Cliquez sur Deploy SAP OData Plugin (Déployer le plug-in SAP OData).

   Le plug-in apparaît désormais dans le menu Source de la page Studio.

   

Étape 2: Configurer le plug-in

Le plug-in SAP OData lit le contenu d'une source de données SAP.

Pour filtrer les enregistrements, vous pouvez configurer les propriétés suivantes sur la page "SAP OData Properties" (Propriétés SAP OData).

Nom de propriété	Description
Standard
Nom de référence	Nom utilisé pour identifier de manière unique cette source pour la traçabilité l'annotation des métadonnées, etc.
URL de la base OData SAP	URL OData Base de la passerelle SAP (utilisez le chemin d'URL complet, semblable à https://ADDRESS:PORT/sap/opu/odata/sap/).
Version OData	Version SAP OData compatible.
Nom du service	Nom du service SAP OData à partir duquel vous souhaitez extraire une entité.
Nom de l'entité	Nom de l'entité en cours d'extraction, par exemple Results. Vous pouvez utiliser un préfixe tel que C_PurchaseOrderItemMoni/Results. Ce champ accepte les paramètres de catégorie et d'entité. Exemples : Un paramètre pour la catégorie: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results Un paramètre pour l'entité: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD') Un paramètre pour la catégorie et l'entité: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Bouton Get Schema (Obtenir le schéma)	Génère un schéma basé sur les métadonnées de SAP, avec des Mappage des types de données SAP avec les données Cloud Data Fusion correspondantes (même fonctionnalité que le bouton Valider).
Identifiants^*
Type de SAP	Basic (via le nom d'utilisateur et le mot de passe).
SAP Logon Username (Nom d'utilisateur SAP Logon)	Nom d'utilisateur SAP Recommandé: si le nom d'utilisateur d'ouverture de session SAP régulièrement, utilisez un macro.
SAP Logon Password	Mot de passe utilisateur SAP Recommandé: Utilisez des macros sécurisées pour les valeurs sensibles telles que mots de passe.
Certificat client SAP X.509 (voir Utiliser des certificats client X.509 sur SAP NetWeaver Serveur d'applications pour ABAP.
ID du projet GCP	Identifiant unique global de votre projet. Ce champ est obligatoire si le champ X.509 Certificate Cloud Storage Path (Chemin d'accès au certificat X.509 dans Cloud Storage) ne contient pas de valeur de macro.
Chemin d'accès GCS	Chemin d'accès au bucket Cloud Storage contenant l'image importée par l'utilisateur Le certificat X.509, qui correspond au serveur d'applications SAP pour les appels sécurisés en fonction de vos besoins (consultez la Sécurisation de la connexion).
Phrase secrète	Phrase secrète correspondant au certificat X.509 fourni.
Avancé
Options de filtre	Indique la valeur qu'un champ doit être lu. Utiliser ce filtre pour limiter le volume de données de sortie. Exemple : "Price Gt 200" sélectionne les enregistrements dont la valeur du champ "Price" est supérieure à "200". (Voir Obtenir la liste des colonnes filtrables pour un cluster SAP service de catalogue.
Sélectionner des champs	Champs à conserver dans les données extraites (par exemple: Catégorie, Prix, nom, fournisseur/adresse).
Développer les champs	Liste des champs complexes à développer dans les données de sortie extraites (par exemple, Produits/Fournisseurs).
Nombre de lignes à ignorer	Nombre total de lignes à ignorer (par exemple: 10).
Nombre de lignes à récupérer	Nombre total de lignes à extraire.
Nombre de divisions à générer	Nombre de divisions utilisées pour partitionner les données d'entrée. Plus de partitions le niveau de parallélisme, mais nécessite davantage de ressources et ou d'autres frais généraux. Si ce champ n'est pas renseigné, le plug-in choisit une valeur optimale (recommandé).
Taille de lot	Nombre de lignes à récupérer dans chaque appel réseau à SAP. Une petite taille provoque les appels réseau fréquents répétant les frais généraux associés. Grande taille peut ralentir la récupération des données et entraîner une utilisation excessive des ressources dans SAP. Si la valeur est définie sur 0, la valeur par défaut est 2500, et la limite de lignes à récupérer dans chaque lot est de 5000

<ph type="x-smartling-placeholder"></ph> ^* Les macros sont compatibles avec l'identifiant. propriétés. Vous pouvez les utiliser pour gérer vos connexions SAP de manière centralisée. Pour par exemple, vous pouvez définir des valeurs au moment de l'exécution à l'aide de paramètres d'exécution ou d'un Plug-in "Argument Setter".

Types OData compatibles

Le tableau suivant montre le mappage entre Types de données OData v2 utilisés dans les applications SAP et les types de données Cloud Data Fusion.

Type OData	Description (SAP)	Type de données Cloud Data Fusion
Numérique
SByte	Valeur entière signée de 8 bits	int
Byte	Valeur entière de 8 bits non signée	int
Int16	Valeur entière signée de 16 bits	int
Int32	Valeur entière signée de 32 bits	int
Int64	Valeur entière signée de 64 bits suivie du caractère "L" Exemples: 64L, -352L	long
Unique	Nombre à virgule flottante avec une précision à sept chiffres pouvant représenter des valeurs avec une plage approximative de ± 1,18 e à ± 3,40 e + 38, avec le caractère "f" Exemple: 2.0f	float
Double	Nombre à virgule flottante avec une précision à 15 chiffres pouvant représenter des valeurs avec des plages approximatives de ± 2,23e à -308 à ± 1,79e + 308, en plus avec le caractère : "d" Exemples: 1E+10d, 2.029d, 2.0d	double
Decimal	Valeurs numériques avec une précision et une échelle fixes décrivant une valeur numérique compris entre 10^255 négatif + 1 et 10^255 -1 positif, suivis du signe character: 'M' ou 'm' Exemple: 2.345M	decimal
Caractère
Guid	Valeur d'identifiant unique de 16 octets (128 bits) commençant par le caractère : "guid" Exemple: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'	string
Chaîne	Données de caractères fixes ou de longueur variable encodées en UTF-8	string
Byte
Binaire	Données binaires de longueur fixe ou variable, commençant par "X" ou "binaire" (ils sont tous deux sensibles à la casse) Exemple: X'23AB', binary'23ABFF'	bytes
Logique
Booléen	Concept mathématique de logique à valeur binaire	boolean
Date/Heure
Date/Heure	Date et heure avec des valeurs comprises entre 00:00:00 le 1er janvier 1753 et le 31 décembre 9999 à 23:59:59	timestamp
Heure	Heure de la journée avec des valeurs comprises entre 0:00:00.x et 23:59:59.y, où "x" et "y" dépend de la précision	time
DateTimeOffset	Date et heure sous forme de décalage, en minutes par rapport à GMT, avec des valeurs comprises dans la plage le 1er janvier 1753 à 00h00 au 31 décembre 9999 à 23h59:59	timestamp
Complexe
Propriétés de navigation et autres que la navigation (multiplicity = *)	Collections de type simple, avec une multiplicité de un à plusieurs.	array, string, int, etc.
Propriétés (multiplicité = 0,1)	Références à d'autres types complexes avec une multiplicité de un à un	record

Validation

Cliquez sur Valider en haut à droite ou sur Obtenir un schéma.

Le plug-in valide les propriétés et génère un schéma basé sur les métadonnées de SAP. Il mappe automatiquement les types de données SAP sur les types de données Cloud Data Fusion correspondants.

Exécuter un pipeline de données

1. Après avoir déployé le pipeline, cliquez sur Configurer dans le panneau supérieur central.
2. Sélectionnez Ressources.
3. Si nécessaire, modifiez le processeur d'exécuteur et la mémoire en fonction de la taille globale des données et du nombre de transformations utilisées dans le pipeline.
4. Cliquez sur Enregistrer.
5. Pour démarrer le pipeline de données, cliquez sur Exécuter.

Performance

Le plug-in utilise les fonctionnalités de parallélisation de Cloud Data Fusion. Les instructions suivantes vous aideront à configurer l'environnement d'exécution afin de fournir suffisamment de ressources au moteur d'exécution pour atteindre le degré de parallélisme et de performances attendu.

Remarque :Au moment de l'exécution, le plug-in lit le nombre de tâches SAP disponibles et la mémoire allouées par processus de travail SAP pour ajuster automatiquement le nombre de "Divisions" et Taille de lot si vous n'avez pas spécifié ces valeurs.

Optimiser la configuration du plug-in

Recommandé:À moins que vous ne sachiez les paramètres de mémoire de votre système SAP, laissez le champ Number of Splits to Generate (Nombre de divisions à générer) et Batch Size (Taille de lot) vides (non spécifié).

Pour de meilleures performances lorsque vous exécutez votre pipeline, utilisez les éléments suivants : Configurations:

• Nombre de divisions à générer: les valeurs comprises entre 8 et 16 sont recommandé. Mais ils peuvent augmenter jusqu'à 32, voire 64, avec les configurations appropriées côté SAP (en allouant la mémoire appropriée ressources pour les processus de travail dans SAP). Cette configuration améliore parallélisme du côté de Cloud Data Fusion. Le moteur d'exécution crée le nombre spécifié de partitions (et de connexions SAP) lors de l'extraction les enregistrements.

  • Si le service de configuration (fourni avec le plug-in lorsque vous importez le fichier de transport SAP) est disponible: le plug-in utilise par défaut la configuration du système SAP. Les divisions représentent 50% des processus de travail de boîte de dialogue disponibles dans SAP. Remarque: Le service de configuration ne peut être importé qu'à partir des systèmes S4HANA.

  • Si le service de configuration n'est pas disponible, la valeur par défaut est 7.

  • Dans les deux cas, si vous spécifiez une valeur différente, celle que vous fournissez prévaut sur la valeur de fractionnement par défaut,sauf qu'elle est limitée par les processus de boîte de dialogue disponibles dans SAP, moins deux divisions.

  • Si le nombre d'enregistrements à est inférieur à 2500, le nombre de divisions est de 1.

• Taille de lot: il s'agit du nombre d'enregistrements à récupérer sur chaque réseau à SAP. Une taille de lot inférieure entraîne des appels réseau fréquents, les frais généraux associés. Par défaut, le nombre minimal est 1000 et maximum est 50000.

Pour en savoir plus, consultez la section Limites d'entités OData.

Paramètres de ressources Cloud Data Fusion

Recommandation: Utilisez 1 processeur et 4 Go de mémoire par exécuteur (cette valeur s'applique à chaque processus d'exécuteur). Définissez ces paramètres dans la boîte de dialogue Configurer > Ressources.

Paramètres du cluster Dataproc

Recommandation: Allouez au minimum un nombre total de processeurs (sur tous les nœuds de calcul) supérieur au nombre prévu le nombre de divisions (voir la section Configuration du plug-in).

Chaque nœud de calcul doit disposer d'au moins 6,5 Go de mémoire allouée par CPU dans le Paramètres Dataproc (au moins 4 Go disponibles par l'exécuteur Cloud Data Fusion). Vous pouvez conserver les valeurs par défaut des autres paramètres valeurs.

Recommandation: Utilisez un cluster Dataproc persistant pour réduire de l'environnement d'exécution du pipeline de données (cela élimine l'étape de provisionnement, qui peut nécessiter quelques minutes ou plus). Définissez ce paramètre dans la section de configuration de Compute Engine.

Exemples de configurations et de débit

Exemples de configurations de développement et de test

• Cluster Dataproc avec huit nœuds de calcul, chacun avec quatre processeurs. et 26 Go de mémoire. Générez jusqu'à 28 divisions.
• Cluster Dataproc avec deux nœuds de calcul, chacun avec huit processeurs. et 52 Go de mémoire. Générez jusqu'à 12 partitions.

Exemples de configurations et de débit de production

• Cluster Dataproc avec huit nœuds de calcul, chacun avec huit processeurs. et 32 Go de mémoire. Générez jusqu'à 32 partitions (la moitié de la répartition processeurs).
• Cluster Dataproc comportant 16 nœuds de calcul, chacun avec 8 processeurs. et 32 Go de mémoire. Générez jusqu'à 64 partitions (la moitié du nombre de processeurs disponibles).

Débit d'échantillon pour un système source de production SAP S4HANA 1909

La table suivante présente un exemple de débit. Le débit affiché est sans filtre sauf indication contraire. Lorsque vous utilisez des options de filtre, le débit est réduit.

Taille de lot	Écrans fractionnés	Service OData	Nombre total de lignes	Lignes extraites	Débit (lignes par seconde)
1000	4	ZACDOCA_CDS	5,37 M	5,37 M	1069
2500	10	ZACDOCA_CDS	5,37 M	5,37 M	3384
5000	8	ZACDOCA_CDS	5,37 M	5,37 M	4630
5000	9	ZACDOCA_CDS	5,37 M	5,37 M	4817

Débit d'échantillon pour un système source de production cloud SAP S4HANA

Taille de lot	Écrans fractionnés	Service OData	Nombre total de lignes	Lignes extraites	Débit (Go/heure)
2500	40	TEST_04_UOM_ODATA_CDS/	201 M	10 M	25,48
5000	50	TEST_04_UOM_ODATA_CDS/	201 M	10 M	26,78

Informations relatives à l'assistance

Produits et versions SAP compatibles

• Les sources compatibles incluent SAP S4/HANA 1909 et versions ultérieures, S4/HANA sur le cloud SAP et toute application SAP capable d'exposer OData Services.

• Le fichier de transport contenant le service OData personnalisé pour l'équilibrage de charge des appels à SAP doit être importé dans S4/HANA 1909 et versions ultérieures. Le service permet de calculer le nombre de divisions (partitions de données) que le plug-in peut lire en parallèle (voir Nombre de divisions).

• OData version 2 est compatible.

• Le plug-in a été testé avec des serveurs SAP S/4HANA déployés sur Google Cloud.

Les services SAP OData Catalog sont compatibles avec l'extraction

Le plug-in est compatible avec les types de source de données suivants :

• Données de transaction
• Vues CDS exposées via OData

• Données de référence

  • Attributs
  • Textes
  • Hiérarchies

Remarque :Les API opérationnelles OData ne sont pas compatibles avec l'extraction (par exemple, interfaces de création de bons de commande ou de commande).

Notes SAP

Aucune note SAP n'est requise avant l'extraction, mais le système SAP doit disposer d'une passerelle SAP. Pour plus pour en savoir plus, consultez note 1560585 (ce site externe nécessite une connexion SAP.)

Limites applicables au volume de données ou à la largeur des enregistrements

Il n'existe aucune limite définie pour le volume de données extraites. Nous avons testé jusqu'à six millions de lignes extraites en un seul appel, pour une largeur record de 1 Ko. Pour SAP S4/HANA sur le cloud, nous avons testé jusqu'à 10 millions de lignes extraites lors d'un seul appel, avec une largeur d'enregistrement de 1 Ko.

Débit attendu du plug-in

Pour un environnement configuré conformément aux consignes du Performances, le plug-in peut extraire environ 38 Go par heure. Les performances réelles peuvent varier avec Cloud Data Fusion et SAP ou du trafic réseau.

Extraction delta (données modifiées)

L'extraction delta n'est pas acceptée.

Scénarios d'erreur

Au moment de l'exécution, le plug-in écrit des entrées de journal dans le pipeline de données Cloud Data Fusion. journal. Ces entrées sont précédées du préfixe CDF_SAP pour faciliter l'identification.

Remarque :Cliquez sur Journaux avancés pour afficher tous les messages connectés. Cloud Data Fusion.

Au moment de la conception, lorsque vous validez les paramètres du plug-in, les messages sont affichés dans l'onglet Propriétés et sont surlignés en rouge.

Le tableau suivant répertorie certains messages d'erreur courants (le texte de sera par des valeurs réelles lors de l'exécution):

ID du message	Message	Action recommandée
Aucun	Propriété obligatoire "" pour la connexion saisissez .	Saisissez une valeur réelle ou une variable de macro.
Aucun	Valeur non valide pour la propriété "".	Saisissez un nombre entier non négatif (0 ou supérieur, sans décimale) ou une variable de macro.
CDF_SAP_ODATA_01505	Échec de la préparation du schéma de sortie Cloud Data Fusion. Veuillez vérifier les la valeur des macros d'exécution fournies.	Vérifiez que les valeurs de macro fournies sont correctes.
N/A	SAP X509 a obtenu la certification "<UI input in GCS Path>" est manquante. Veuillez assurez-vous que le certificat X509 requis est importé Bucket Google Cloud Storage '<GCS bucket name>'.	Assurez-vous que le chemin d'accès Cloud Storage fourni est correct.
CDF_SAP_ODATA_01532	Code d'erreur générique concernant tout problème de connectivité SAP OData Échec de l'appel au service SAP OData indiqué. Origine du problème : <SAP OData message sur l'origine du problème du service>	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_ODATA_01534	Code d'erreur générique concernant tout élément lié à l'erreur du service SAP OData. Échec de la validation du service. Origine du problème : <sracine du service OData du point d'accès cause message></s	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_ODATA_01503	Échec de la récupération du nombre total d'enregistrements disponibles auprès de <service SAP OData entity name>. Origine du problème : <cause racine du service SAP Odata message>	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_ODATA_01506	Aucun enregistrement trouvé à extraire dans <SAP OData service entity name>. Veuillez vous assurer que l'entité fournie contient des enregistrements.	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_ODATA_01537	Échec du traitement des enregistrements pour <SAP OData service entity name>. Origine du problème : <message de la cause racine du service SAP OData>	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_ODATA_01536	Échec de l'extraction des enregistrements de <SAP OData service entity name>. Racine Cause : <SAP OData service root cause message>	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_ODATA_01504	Échec de la génération de la chaîne de métadonnées encodée pour le service OData donné <Nom du service SAP OData>. Origine du problème : <racine du service SAP OData message de cause>	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_ODATA_01533	Échec du décodage des métadonnées à partir de la chaîne encodée fournie pour service <Nom du service SAP OData>. Origine du problème : <SAP OData message sur l'origine du problème du service>	Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.

Étape suivante

• Apprenez-en plus sur Cloud Data Fusion.
• Apprenez-en plus sur SAP sur Google Cloud.