Source par lot SAP BW Open Hub

Ce guide explique comment déployer, configurer et exécuter des pipelines de données qui utilisent le plug-in Batch Source SAP BW Open Hub. Vous pouvez utiliser SAP comme source pour l'extraction de données par lot et par delta dans Cloud Data Fusion via le service BW Open Hub.

Ce plug-in permet l'intégration groupée de données issues d'applications SAP avec Cloud Data Fusion. Vous pouvez configurer et exécuter des transferts groupés de données à partir de DataSources (DataSources) SAP sans aucun codage.

Pour connaître les applications et objets SAP compatibles avec l'extraction, consultez la page Informations sur la compatibilité. Pour en savoir plus sur l'exécution de SAP sur Google Cloud, consultez la page Présentation de SAP sur Google Cloud.

Objectifs

  • Configurez le système SAP BW.
  • Déployez le plug-in dans votre environnement Cloud Data Fusion.
  • Téléchargez le transport SAP à partir de Cloud Data Fusion et installez-le dans SAP.
  • Utilisez Cloud Data Fusion et SAP BW Open Hub Batch Source pour créer des pipelines de données permettant d'intégrer des données SAP.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants:

Rôles utilisateur

Les tâches de cette page sont effectuées par les personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d'utilisateur Description
Administrateur Google Cloud Les utilisateurs affectés à ce rôle sont des administrateurs de comptes Google Cloud.
Utilisateur Cloud Data Fusion Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Le rôle Lecteur de Data Fusion (roles/datafusion.viewer) leur est accordé au minimum. Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP Les utilisateurs affectés à ce rôle sont les administrateurs du système SAP. Ils ont accès au téléchargement du logiciel depuis le site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Conditions préalables pour SAP BW

Vous avez besoin de SAP HANA Studio pour créer et modifier des processus de transfert de données et des chaînes de processus.

Conditions préalables pour Cloud Data Fusion

  • Un réseau VPC est requis pour créer une instance Cloud Data Fusion.
  • Vous devez disposer d'une instance Cloud Data Fusion, version 6.8.0 ou ultérieure, quelle que soit l'édition.
  • Les rôles requis doivent être attribués au compte de service attribué à l'instance Cloud Data Fusion. Pour en savoir plus, consultez la page Accorder une autorisation à un utilisateur de compte de service.
  • Vous devez utiliser une connexion d'appairage entre votre VPC et le réseau VPC partagé de Google.

Configurer le système SAP BW

SAP BW Open Hub Batch Source utilise un module de fonction distante (RFM), qui doit être installé sur chaque serveur SAP où les données sont extraites. Ce RFM est fourni sous forme de transport SAP.

Pour configurer votre système SAP, procédez comme suit :

  1. L'utilisateur Cloud Data Fusion doit télécharger le fichier ZIP contenant le transport SAP et le fournir à l'administrateur SAP. Pour en savoir plus, consultez la page Configurer Cloud Data Fusion.
  2. L'administrateur SAP doit importer le transport SAP dans le système SAP et vérifier les objets créés. Pour en savoir plus, consultez la section Installer le transport SAP.
  3. Facultatif: L'utilisateur SAP peut modifier les objets d'autorisation standard SAP du rôle /GOOG/BWOH_CDF_AUTH attribué en fonction des stratégies de sécurité de son organisation.

Installer les fichiers de transport SAP

Pour concevoir et exécuter des pipelines de données dans Cloud Data Fusion, les composants SAP sont fournis dans des fichiers de transport SAP, archivés dans un fichier ZIP. Le téléchargement est disponible lorsque vous déployez le plug-in dans Cloud Data Fusion Hub.

Télécharger le fichier ZIP de transport SAP BW OH

Les ID des requêtes de transport SAP et les fichiers associés sont fournis dans le tableau suivant:

Transport SAP

ID de transport Fichier cofile Fichier de données Contenu
BW1K900054 K900054.BW1 R900054.BW1 Connecteur BWOH Cloud Data Fusion version 1.0
Modules de fonction:
/GOOG/BWOH_GET_PC_LOG
/GOOG/BWOH_GET_PRO_CHA_DETAILS
/GOOG/BWOH_API_OHS_ETL_READ
/GOOG/BWOH_GET_PC_RUNS
/GOOG/BWOH_SET_LAST_RUN
/GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055 K900055.BW1 R900055.BW1 Rôle d'autorisation /GOOG/BWOH_CDF_AUTH

Pour installer le transport SAP, procédez comme suit :

Étape 1 : Importer les fichiers de requête de transport

  1. Connectez-vous au système d'exploitation de l'instance SAP.
  2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès au dossier DIR_TRANS. En règle générale, le chemin d'accès est /usr/sap/trans/.
  3. Copiez les cofiles dans le dossier DIR_TRANS/cofiles.
  4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
  5. Définissez l'utilisateur et le groupe de données et le cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport de l'une des façons suivantes :

Option 1 : Importer les fichiers de requête de transport à l'aide du système de gestion des transports SAP
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.
  2. Saisissez le code STMS de la transaction.
  3. Cliquez sur Présentation > Importations.
  4. Dans la colonne Queue (File d'attente), double-cliquez sur le SID actuel.
  5. Cliquez sur Extras > Autres requêtes > Ajouter.
  6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
  7. Sélectionnez la demande de transport dans la file d'attente d'importation, puis cliquez sur Demander > Importer.
  8. Saisissez le numéro client.

  9. Dans l'onglet Options, sélectionnez Remplacer les originaux et Ignorer la version du composant non valide.

    Facultatif: Sélectionnez Laisser les requêtes de transport dans la file d'attente pour une importation ultérieure. Les requêtes sont ainsi à nouveau importées dans le bon ordre lors de l'importation suivante de toutes les requêtes. Cette option est utile si vous devez effectuer des importations préliminaires pour des requêtes individuelles.

  10. Cliquez sur Continuer.

  11. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide de transactions appropriées, telles que SE80 et PFCG.

Option 2 : Importer les fichiers de requête de transport au niveau du système d'exploitation
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.

  2. Ajoutez les requêtes appropriées au tampon d'importation:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Par exemple : tp addtobuffer BW1K900054 DD1

  3. Importez les requêtes de transport:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Remplacez NNN par le numéro client. Exemple :

    tp import BW1K900054 DD1 client=100 U1238

  4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et PFCG.

Autorisations SAP requises

Pour exécuter un pipeline de données dans Cloud Data Fusion, vous avez besoin d'un utilisateur SAP. L'utilisateur SAP doit être de type Communications ou Dialog. Pour éviter d'utiliser les ressources de dialogue SAP, le type Communications est recommandé. L'administrateur SAP peut créer des utilisateurs à l'aide du code de transaction SAP SU01.

Des autorisations SAP sont nécessaires pour configurer le connecteur pour SAP. Les objets d'autorisation SAP spécifiques au connecteur sont envoyés dans le cadre de la requête Transport. Importez le transport du rôle d'autorisation comme décrit dans la section Installer le transport SAP pour importer le rôle dans votre système et le générer à partir du code de transaction PFCG.

Pour les objets d'autorisation SAP standards, votre organisation gère les autorisations avec son propre mécanisme de sécurité. Vous pouvez gérer des objets d'autorisation en fonction des règles de sécurité de votre organisation.

Créer une chaîne de processus (PC) et un processus de transfert de données (DTP)

La création d'une chaîne de processus et d'un processus de transfert de données nécessite des compétences et des connaissances de base supplémentaires.

Concepts d'arrière-plan

Pour créer ou modifier un PC et un DTP, utilisez SAP HANA Studio.

Compétences préalables

  • Vous avez utilisé des transformations pour définir le flux de données entre la source et l'objet cible.
  • Vous maîtrisez les concepts de base BW et HANA, tels que les objets DataStore (DSO), les transformations de données, les infoCubes, l'optimisation des requêtes, la modélisation HANA et les fonctionnalités de base de données HANA à l'aide de HANA Studio. Pour en savoir plus sur ces concepts, consultez les tutoriels SAP sur BW et HANA.

Type d'extraction

Il existe deux modes d'extraction de données pour un processus de transfert de données : complet et delta.

  • Full (Complet) : il sélectionne toutes les données disponibles dans la source en fonction des conditions de filtre mentionnées dans la DTP. Si la source de données est l'un des InfoProviders suivants, seul le mode d'extraction complète est disponible:

    • InfoObjects
    • InfoSets
    • Objets DataStore pour la mise à jour directe

  • Delta: contrairement à InfoPackage, un transfert delta utilisant un DTP ne nécessite pas d'initialisation explicite. Lorsqu'un DTP est exécuté pour la première fois avec le mode d'extraction Delta, toutes les requêtes existantes jusqu'à l'heure d'extraction sont récupérées à partir de la source, puis le delta est automatiquement initialisé.

    Les options suivantes sont disponibles pour un DTP avec le mode d'extraction Delta:

    • N'obtenez Delta qu'une seule fois
    • Obtenir toutes les nouvelles demandes de données sur demande
    • Récupérer jusqu'à épuisement des nouvelles données

Taille du package: il s'agit du nombre d'enregistrements de données présents dans un package de données individuel. La valeur par défaut est 50,000.

Créer une chaîne de processus

Pour créer une chaîne de processus (PC), utilisez la transaction RSPC dans l'IUG de SAP. Définissez un processus de démarrage, puis ajoutez les étapes du processus et la DTP. Pour en savoir plus, consultez la documentation SAP sur la création de chaînes de processus.

Différentes options sont disponibles dans HANA Studio pour surveiller et administrer les PC. Pour en savoir plus, consultez la page Opérations sur la chaîne de processus SAP BW/4HANA.

Créer un processus de transfert de données à l'aide d'une chaîne de processus

Accédez à la vue Planification de la chaîne de processus que vous souhaitez utiliser pour le processus de transfert de données. Dans la vue Planning, vous pouvez créer le DTP à l'aide de HANA Studio. Pour plus d'informations, consultez la documentation SAP sur la création d'un processus de transfert de données.

Pour plus d'informations sur les options de configuration, consultez la page All about Data Transfer Process (DTP) - SAP BW 7.

Connexion RFC

Pour avertir le système de rappel, tel que le plug-in SAP BW Open Hub Batch Source, que les données sont disponibles, la chaîne de processus doit être mise à jour afin d'utiliser une destination RFC:

  1. Dans SM59, créez une connexion RFC de type TCP/IP Connections pour avertir le système cible de BW une fois le chargement des données terminé dans l'informatique décisionnelle.

  2. Vérifiez que l'ID de programme est configuré dans la connexion RFC en double-cliquant sur celle-ci. L'ID de programme doit être unique pour chaque destination RFC afin d'éviter les conflits d'écouteur d'exécution.

  3. Utilisez la connexion TCP/IP que vous venez de créer dans la chaîne de processus pour envoyer une notification afin qu'une job par lot Cloud Data Fusion soit terminée. Le nom de la chaîne de processus n'est pas sensible à la casse. Il doit être spécifié correctement en majuscules dans le processus d'intégration de bout en bout.

Afficher les journaux des chaînes de processus et des processus de transfert de données

  1. Accédez à Tcode : RSPC, puis cliquez sur Process Chains (Traiter les chaînes).

  2. Effectuez un clic droit sur la chaîne de processus pour laquelle vous souhaitez afficher les journaux, puis cliquez sur Display Logs (Afficher les journaux).

Configurer le cluster Dataproc lors de l'utilisation de la chaîne de processus

Pour activer la communication via le serveur RFC, vous devez ajouter les entrées de port de la passerelle SAP dans le fichier /etc/services des nœuds de cluster Dataproc. Il est recommandé d'utiliser un init action, le script à exécuter lors de l'initialisation du cluster. Pour en savoir plus, consultez la section Actions d'initialisation.

Créer un fichier de script et l'enregistrer dans un bucket Cloud Storage L'exemple suivant montre le contenu du fichier de script:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Dans l'exemple précédent, notez les points suivants:

  • Les entrées sont au format sapgwxx 33xx/tcp, où XX correspond au numéro d'instance SAP.

  • Les ports des instances SAP 00 à 04 sont ajoutés.

Procédez comme suit si vous utilisez un cluster éphémère, un cluster persistant récemment créé ou un cluster Dataproc persistant existant.

Cluster Dataproc éphémère

Si vous utilisez un cluster Dataproc éphémère, ajoutez le chemin d'accès au script init aux propriétés du cluster:

  1. Dans la page de surveillance des tâches de Cloud Data Fusion, cliquez sur Configurer.
  2. Sélectionnez le profil de calcul, puis cliquez sur Personnaliser.
  3. Sous Paramètres avancés, dans le champ Actions d'initialisation, saisissez le chemin d'accès au script init.

Nouveau cluster Dataproc persistant

Si vous utilisez un cluster Dataproc persistant nouvellement créé, utilisez le script init dans la commande gcloud pour créer le cluster. Exemple :

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster Dataproc persistant existant

Si vous utilisez un cluster Dataproc persistant existant, procédez comme suit:

Si le cluster a déjà été créé sans utiliser le script init, ajoutez manuellement les entrées dans les nœuds maîtres et de calcul du cluster Dataproc.

  1. Se connecter en SSH au nœud maître et au nœud du cluster
  2. Connectez-vous à l'ID utilisateur racine.
  3. Accédez à /etc/ et ouvrez le fichier /etc/services dans un éditeur VI.
  4. Ajoutez l'entrée sapgwxx 33xx/tcp. Remplacez xx par votre numéro d'instance SAP.
  5. Enregistrez le fichier /etc/services.

Configurer Cloud Data Fusion

Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP. Pour les instances privées, configurez l'appairage de réseaux. Une fois l'appairage de réseaux établi avec le projet où les systèmes SAP sont hébergés, aucune configuration supplémentaire n'est requise pour se connecter à votre instance Cloud Data Fusion. Le système SAP et l'instance Cloud Data Fusion doivent se trouver dans le même projet.

Étapes pour les utilisateurs de Cloud Data Fusion

  1. Accédez aux détails de l'instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.

      Accéder à la page "Instances"

  2. Vérifiez que l'instance a été mise à niveau vers la version 6.8.0 ou une version ultérieure. Si l'instance utilise une version antérieure, vous devez la mettre à niveau.
  3. Ouvrez l'instance. Lorsque l'interface utilisateur de Cloud Data Fusion s'ouvre, cliquez sur Hub.
  4. Sélectionnez l'onglet SAP > SAP BW. Si l'onglet SAP n'est pas visible, consultez la section Dépannage des intégrations SAP.
  5. Cliquez sur Déployer le plug-in SAP BW. Le plug-in apparaît dans le menu Source de la page Studio.

Procédure pour SAP Admin et Google Cloud Admin

L'administrateur SAP télécharge les artefacts JCo suivants à partir du site d'assistance SAP et les transmet à l'administrateur Google Cloud.

  • Une plate-forme indépendante (sapjco3.jar)
  • Un élément dépendant de la plate-forme (libsapjco3.so sous Unix)

Pour télécharger les fichiers, procédez comme suit :

  1. Accédez à la page des connecteurs SAP.
  2. Cliquez sur SAP Java Connector/Tools and services (Connecteur Java SAP/Outils et services). Vous pouvez sélectionner des liens spécifiques à la plate-forme pour le téléchargement.

  3. Sélectionnez la plate-forme sur laquelle votre instance Cloud Data Fusion s'exécute :

    1. Si vous utilisez des images Google Cloud standards pour les VM de votre cluster, qui est la valeur par défaut pour Cloud Data Fusion, sélectionnez Linux pour les processeurs x86 64 bits compatibles avec Intel.
    2. Si vous utilisez une image personnalisée, sélectionnez la plate-forme correspondante.

  4. L'administrateur Google Cloud doit copier les fichiers JCo dans un bucket Cloud Storage lisible. Fournissez le chemin d'accès au bucket à l'utilisateur Cloud Data Fusion pour qu'il le saisisse dans la propriété de plug-in correspondante dans Cloud Data Fusion: Chemin d'accès GCS de la bibliothèque SAP JCo. Consultez Configurer le plug-in.

  5. L'administrateur Google Cloud doit accorder un accès en lecture aux deux fichiers au compte de service Cloud Data Fusion pour l'environnement de conception et au compte de service Dataproc pour l'environnement d'exécution. Pour en savoir plus, consultez la page Comptes de service Cloud Data Fusion.

Configurer le plug-in

Le plug-in Batch Source SAP BW Open Hub lit le contenu d'une source de données SAP.

Pour filtrer les enregistrements, vous pouvez configurer les propriétés suivantes pour la source par lot SAP BW Open Hub par lot.

Les indicateurs suivants sont utilisés pour définir les champs:

  • (M): indique que les macros sont compatibles avec le champ correspondant
  • (O): champ facultatif

Label (Libellé du plug-in) : libellé du plug-in sur le canevas.

Basic

Dans la liste de propriétés suivante, (M) signifie que l'option accepte les macros et qu'elles peuvent être utilisées pour gérer de manière centralisée les connexions SAP. Par exemple, vous pouvez utiliser des macros pour les propriétés de connexion et définir les valeurs au moment de l'exécution à l'aide de paramètres d'exécution ou d'un plug-in Setter d'argument.

  • Reference Name (Nom de référence) : nom permettant d'identifier de manière unique cette source pour la traçabilité et l'annotation des métadonnées.

  • Use connection (Utiliser la connexion) (bouton d'activation/de désactivation): indique si une connexion existante doit être utilisée (voir Gérer les connexions). Si vous choisissez d'utiliser une connexion existante, vous n'avez pas besoin de fournir les détails de la connexion SAP.

  • Connexion (parcourir les connexions): sélectionnez la connexion existante à utiliser. Vous pouvez également utiliser la fonction de macro ${conn(connection-name)}.

  • Client SAP (M): client SAP à utiliser. Exemple :100

  • Langage SAP (M): langage d'ouverture de session SAP. Exemple :EN

  • Type de connexion: type de connexion SAP (directe ou avec équilibrage de charge). Les connexions à équilibrage de charge ne sont pas compatibles avec l'extraction basée sur la chaîne de processus. Pour en savoir plus, consultez la page Informations sur l'assistance.

    La sélection d'un type de connexion modifie les champs disponibles.

    Pour une connexion directe, les champs suivants sont disponibles:

    • SAP Application Server Host (M): nom ou adresse IP du serveur SAP.
    • SAP System Number (M): numéro de système SAP Exemple :00
    • SAP Router (M, O): chaîne du routeur.

    Pour une connexion à équilibrage de charge, les champs suivants sont disponibles:

    • SAP Message Server Host (M): nom d'hôte ou adresse IP du message SAP.
    • SAP Message Server Service or Port Number (M): numéro de port ou de service du serveur de messages SAP. Exemple :sapms02
    • ID système SAP (SID) (M): ID du système SAP. Exemple :N75
    • SAP Logon Group Name (M): nom du groupe d'ouverture de session SAP. Exemple :PUBLIC

  • Use Process Chain (M) (Utiliser la chaîne de processus): ce champ contient deux options.

    Si vous activez la chaîne de processus à l'aide de l'option Yes (Oui), les propriétés suivantes sont activées:

    • Résoudre automatiquement les erreurs PC et DTP: contrôle le comportement lorsqu'une exécution ayant précédemment échoué est identifiée. Lorsqu'il est désactivé, le plug-in fait échouer le pipeline avec des erreurs pertinentes. Lorsque cette option est activée (par défaut), le plug-in vérifie l'état de la chaîne de processus et du processus de transfert de données dans SAP. Si l'une des erreurs suivantes est identifiée, le plug-in tente automatiquement de les résoudre:

    • Data Transfer Process in error state: le plug-in supprime la requête précédente.

    • Chaîne de processus à l'état rouge avec l'erreur previous request status has not been set : le plug-in supprime la requête bloquante après avoir obtenu l'ID de requête dans le journal de la chaîne de processus, puis tente d'exécuter le PC.

    • Process Chain Status Notification Time Time (in minutes) (M, O) : attend le temps donné, en minutes, que la chaîne de traitement termine la préproduction des données et invite le pipeline à lancer l'extraction. Si vous spécifiez 0 ou si vous laissez ce champ vide, la valeur par défaut est de 10 minutes.

    • Process Chain (M): nom de la chaîne de processus SAP. Exemple :PC_RFC

    Si vous désactivez la chaîne de processus avec l'option Non, les propriétés suivantes sont activées:

    • Open Hub Destination (M): ouvrez la destination du hub à lire.
    • ID de requête (M,O): identifiant de demande pour le processus de transfert de données déjà exécuté.

Certificats

  • SAP Logon Username (M): nom d'utilisateur SAP Recommandé: Si le nom d'utilisateur de l'ouverture de session SAP change régulièrement, utilisez une macro.
  • SAP Logon Password (M): mot de passe de l'utilisateur SAP. Recommandé: Pour les valeurs sensibles telles que Mot de passe utilisateur, utilisez des macros sécurisées.

Détails de SAP JCo

  • ID du projet GCP (M): ID du projet Google Cloud, qui identifie de manière unique un projet. Il est disponible dans le tableau de bord de la console Google Cloud.
  • Chemin d'accès GCS de la bibliothèque SAP JCo (M): chemin d'accès Cloud Storage contenant les fichiers de bibliothèque SAP JCo importés par l'utilisateur.
  • Get Schema (Obtenir un schéma) : cliquez sur cette option si vous souhaitez que le plug-in génère un schéma basé sur les métadonnées de SAP, avec un mappage automatique des types de données SAP sur les types de données Cloud Data Fusion correspondants. Cela est identique à celui du bouton Validate (Valider).

Pour en savoir plus sur les certificats clients, consultez la page Utiliser des certificats clients X.509 sur le serveur d'applications SAP NetWeaver pour ABAP.

Avancé

  • Nombre de divisions à générer (M, O): le nombre de divisions est utilisé pour partitionner les données d'entrée. Plus le nombre de partitions augmente, plus le niveau de parallélisme est élevé, mais cela nécessite davantage de ressources et de surcharge. Dans le cas d'un système SAP sur site, si la valeur n'est pas spécifiée dans l'interface utilisateur, les divisions représentent 50% des processus de travail de la boîte de dialogue disponibles dans SAP. Sinon, les divisions sont optimisées entre les processus spécifiés par l'utilisateur et 50% des processus de travail disponibles.

    Recommandé: laissez la propriété vide, à moins que vous ne connaissiez vos paramètres système SAP.

  • Autres propriétés de connexion SAP (M, O): définissez des propriétés SAP JCo supplémentaires qui remplacent les valeurs par défaut de SAP JCo. Par exemple, la définition de jco.destination.pool_capacity = 10 remplace la capacité par défaut du pool de connexions.

    Le tableau suivant répertorie les propriétés SAP JCo compatibles:

    Propriété Description
    jco.destination.peak_limit Nombre maximal de connexions actives pouvant être créées simultanément pour une destination.
    jco.destination.pool_capacity Nombre maximal de connexions inactives maintenues ouvertes par la destination. La valeur 0 signifie qu'il n'y a pas de pooling de connexions, c'est-à-dire que les connexions sont fermées après chaque requête.
    jco.destination.expiration_time Temps dans ms au-delà duquel les connexions détenues par le pool interne peuvent être fermées.
    jco.destination.expiration_check_period Intervalle dans ms avec lequel le thread de vérification du délai avant expiration vérifie les connexions du pool pour déterminer leur expiration.
    jco.destination.max_get_client_time Délai maximal d'attente d'une connexion dans ms, si le nombre maximal de connexions autorisé est alloué par l'application.

Comportement des modes d'extraction de données

Le mode d'extraction des données est contrôlé via les paramètres du processus de transfert de données. Le comportement est différent lorsque vous utilisez une chaîne de processus ou une destination de hub ouvert.

Lors de l'utilisation d'une chaîne de processus

Les paramètres au niveau du processus de transfert de données déterminent si un chargement complet ou delta est effectué. L'ID de requête arrive sous forme de notification de SAP envoyée au plug-in. Le plug-in lit les données des paquets associés à cet ID de requête unique.

Si vous utilisez Open Hub Destination sans ID de requête

Chargement complet: la première exécution du pipeline permet d'obtenir tous les ID de requête disponibles dans la table Open Hub. Le plug-in lit les données des paquets associées à ces ID de requête.

Charge delta: exécuter le même pipeline pour la prochaine fois récupère tous les ID de requête delta disponibles, après le dernier ID de requête récupéré. Le plug-in lit les données des paquets associées à ces ID de requête.

Lorsque vous utilisez Open Hub Destination avec un ID de requête

Chargement complet: si vous exécutez le pipeline pour la première fois, tous les ID de requête disponibles suivants sont supérieurs à l'ID de requête spécifié. Le plug-in lit les données des paquets associés à ces ID de requête.

Delta charge: exécuter le même pipeline pour la prochaine fois récupère tous les ID de requête delta disponibles, après le dernier ID de requête récupéré. Le plug-in lit les données de paquets associées à ces ID de requête.

Mappage des types de données

Le tableau suivant montre la correspondance entre les types de données utilisés dans SAP BW et Cloud Data Fusion.

Type de données BW Type ABAP Description (SAP) Type de données Cloud Data Fusion
Numérique
INT1 b Entier à 1 octet integer
INT2 s Entier à 2 octets integer
INT4 i Entier à 4 octets integer
INT8 8 Entier à 8 octets long
DÉC p Nombre compressé au format BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Valeur à virgule flottante décimale, 8 octets, IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Valeur à virgule flottante décimale 16 octets IEEE 754r decimal
FLTP f Nombre à virgule flottante binaire double
Caractère
CHAR
LCHR		 c Chaîne de caractères string
SSTRING
GEOM_EWKB		 string Chaîne de caractères string
STRING string Chaîne de caractères CLOB bytes
NUMC
ACCP		 n Texte numérique string
Byte
RAW
LRAW		 x Données binaires bytes
RAWSTRING xstring BLOB de chaîne d'octets bytes
Date/Heure
DATS d Date date
TIMS t Temps time
TIMESTAMP utcl Horodatage
Utclong		 timestamp

Validation

Cliquez sur Validate (Valider) ou Get Schema (Obtenir le schéma).

Le plug-in valide les propriétés et génère un schéma basé sur les métadonnées de SAP. Il mappe automatiquement les types de données SAP aux types de données Cloud Data Fusion correspondants.

Exécuter un pipeline de données

  1. Après avoir déployé le pipeline, cliquez sur Configurer.
  2. Sélectionnez Ressources.
  3. Si nécessaire, modifiez le processeur d'exécuteur et la mémoire en fonction de la taille globale des données et du nombre de transformations utilisées dans le pipeline.
  4. Cliquez sur Enregistrer.
  5. Pour démarrer le pipeline de données, cliquez sur Exécuter.

Optimiser les performances

Optimiser la configuration du plug-in

Utilisez les propriétés suivantes pour des performances optimales lorsque vous exécutez le pipeline:

  • Nombre de divisions à générer dans les propriétés du plug-in Cloud Data Fusion: permet de contrôler directement le parallélisme du côté de Cloud Data Fusion. Le moteur d'exécution crée le nombre spécifié de partitions et de connexions SAP lors de l'extraction des enregistrements de la table. Il est recommandé d'utiliser des valeurs comprises entre 8 et 16, mais vous pouvez augmenter jusqu'à 32 ou 64 avec la configuration appropriée côté SAP, en allouant les ressources de mémoire appropriées pour les processus de travail dans SAP.

    Si la valeur est 0 ou qu'elle n'est pas renseignée (recommandé), le système choisit automatiquement une valeur appropriée en fonction du nombre de processus de travail SAP disponibles, des enregistrements à extraire et de la taille du package.

  • Package Size (Taille du package) dans les propriétés du processus de transfert de données BW: contrôle le nombre d'enregistrements de données présents dans un package de données individuel. La valeur par défaut est 50,000. L'augmentation de cette valeur peut améliorer les performances, mais la charge des ressources est plus élevée. Si vous utilisez déjà des valeurs plus élevées, réduisez-les pour améliorer la parallélisation de l'extraction.

Paramètres de ressources Cloud Data Fusion

Recommandé: utilisez un processeur et 4 Go de mémoire par exécuteur. Cette valeur s'applique à chaque processus d'exécution. Définissez ces valeurs dans la boîte de dialogue Configure > Resources (Configurer > Ressources).

Paramètres du cluster Dataproc

Recommandé: allouez au moins un nombre total de processeurs aux nœuds de calcul, supérieur au nombre de divisions prévu. Consultez la section Configuration du plug-in.

Par exemple, si vous avez 16 divisions, définissez 20 processeurs ou plus au total sur tous les nœuds de calcul. Une surcharge de 4 processeurs est nécessaire pour la coordination.

Recommandé: Utilisez un cluster Dataproc persistant pour réduire l'environnement d'exécution du pipeline de données. Cela élimine l'étape de provisionnement, qui peut prendre quelques minutes ou plus. Définissez ce paramètre dans la section de configuration de Compute Engine.

Informations relatives à l'assistance

Produits et versions SAP compatibles

Sources acceptées :

  • SAP NW BW 7.5 et versions ultérieures
  • SAP BW4HANA 2.0 SP9 (pour inclure l'API Open Hub Destination ; les versions précédentes de BW4HANA ne sont pas compatibles avec l'API Open Hub Destination)

Prise en charge de la connexion à équilibrage de charge SAP (serveur de messages)

La connexion SAP à équilibrage de charge (serveur de messages) est compatible avec l'extraction basée sur la destination Open Hub, lorsqu'aucun serveur RFC n'est utilisé.

La connexion à équilibrage de charge SAP (serveur de messages) n'est pas compatible avec l'extraction basée sur la chaîne de processus. La raison est une limitation SAP lors de l'envoi de notifications data ready au système client, ce qui nécessite d'enregistrer le serveur RFC (écouteur de plug-ins) sur chaque serveur SAP dans l'environnement BW, ce qui augmente l'encombrement du connecteur et peut affecter les performances SAP et l'utilisation des ressources. Pour en savoir plus, consultez la note SAP 2572564 (connexion à l'assistance SAP requise pour l'affichage).

Modèles de déploiement SAP compatibles

Le plug-in est testé avec des serveurs SAP déployés sur Google Cloud.

Objets SAP compatibles

Sources de données pour la destination Open Hub: InfoProviders (InfoObject, InfoCube, objet DataStore, objet Advanced Data Store, fournisseur composite)

Chaînes de traitement pour exécuter automatiquement le processus de transfert de données dans la destination Open Hub.

Licence distincte permettant d'utiliser Oracle HTTP Server afin d'extraire des données de SAP

Vous n'avez pas besoin d'une licence distincte pour utiliser Oracle HTTP Server (OHS) afin d'extraire des données de SAP. Toutefois, contactez votre représentant SAP pour connaître votre contrat et votre cas d'utilisation spécifiques.

Débit de plug-in attendu

Pour un environnement configuré conformément aux consignes de la section Optimiser les performances, le plug-in peut extraire environ 38 Go par heure. Les performances réelles peuvent varier en fonction de la charge système ou du trafic réseau de Cloud Data Fusion et SAP.

Étapes suivantes