Source de lot SAP BW Open Hub

Ce guide explique comment déployer, configurer et exécuter des pipelines de données qui utilisent le plug-in SAP BW Open Hub Batch Source. Vous pouvez utiliser SAP en tant que source pour les extractions de données par lots et basées sur les modifications incrémentielles dans Cloud Data Fusion via le service BW Open Hub.

Ce plug-in permet l'intégration groupée de données issues d'applications SAP avec Cloud Data Fusion. Vous pouvez configurer et exécuter des transferts groupés de données à partir de sources de données SAP sans aucun codage.

Pour connaître les applications et objets SAP compatibles avec l'extraction, consultez les informations d'assistance. Pour en savoir plus sur l'exécution de SAP sur Google Cloud, consultez la présentation de SAP sur Google Cloud.

Objectifs

  • Configurez le système SAP BW.
  • Déployez le plug-in dans votre environnement Cloud Data Fusion.
  • Téléchargez le transport SAP à partir de Cloud Data Fusion et installez-le dans SAP.
  • Utilisez Cloud Data Fusion et SAP BW Open Hub Batch Source pour créer des pipelines de données afin d'intégrer des données SAP.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants:

  • Créer des pipelines dans Cloud Data Fusion
  • Configurer des systèmes SAP BW ou BW4HANA

Rôles utilisateur

Les tâches de cette page sont effectuées par des personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d’utilisateur Description
Administrateur Google Cloud Les utilisateurs auxquels ce rôle est attribué sont des administrateurs de compte Google Cloud.
Utilisateur Cloud Data Fusion Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Ils disposent au minimum du rôle Lecteur Data Fusion ( roles/datafusion.viewer). Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP Les utilisateurs auxquels ce rôle est attribué sont les administrateurs du système SAP. Ils ont accès à la page de téléchargement du logiciel à partir du site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Prérequis pour SAP BW

Vous avez besoin de SAP HANA Studio pour créer et modifier des processus de transfert de données et des chaînes de processus.

Conditions préalables à Cloud Data Fusion

  • Un réseau VPC est requis pour la création d'une instance Cloud Data Fusion.
  • Une instance Cloud Data Fusion, version 6.8.0 ou ultérieure, n'importe quelle édition, est requise.
  • Les rôles requis doivent être accordés au compte de service attribué à l'instance Cloud Data Fusion. Pour en savoir plus, consultez la page Accorder l'autorisation de l'utilisateur du compte de service.
  • Vous devez utiliser une connexion d'appairage entre votre VPC et le réseau VPC partagé de Google.

Configurer le système SAP BW

La source SAP BW Open Hub Batch utilise un module de fonction distante (RFM), qui doit être installé sur chaque serveur SAP où les données sont extraites. Ce RFM est fourni en tant que transport SAP.

Pour configurer votre système SAP, procédez comme suit :

  1. L'utilisateur Cloud Data Fusion doit télécharger le fichier ZIP contenant le transport SAP et le fournir à l'administrateur SAP. Pour en savoir plus, consultez Configurer Cloud Data Fusion.
  2. L'administrateur SAP doit importer le transport SAP dans le système SAP et vérifier les objets créés. Pour en savoir plus, consultez la section Installer le transport SAP.
  3. Facultatif: l'utilisateur SAP peut modifier les objets d'autorisation standards SAP du rôle /GOOG/BWOH_CDF_AUTH fourni en fonction des règles de sécurité de son organisation.

Installer les fichiers de transport SAP

Pour concevoir et exécuter des pipelines de données dans Cloud Data Fusion, les composants SAP sont fournis dans des fichiers de transport SAP, qui sont archivés dans un fichier ZIP. Le téléchargement est disponible lorsque vous déployez le plug-in dans le hub Cloud Data Fusion.

Pour installer le transport SAP, procédez comme suit :

Étape 1 : Importer les fichiers de requête de transport

  1. Connectez-vous au système d'exploitation de l'instance SAP.
  2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès du dossier DIR_TRANS. Le chemin d'accès est généralement /usr/sap/trans/.
  3. Copiez les fichiers cofile dans le dossier DIR_TRANS/cofiles.
  4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
  5. Définissez l'utilisateur et le groupe de données et de cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport de l'une des façons suivantes :

Option 1 : Importer les fichiers de requête de transport à l'aide du système de gestion des transports SAP
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.
  2. Saisissez le code STMS de la transaction.
  3. Cliquez sur Présentation > Importations.
  4. Dans la colonne Queue (File d'attente), double-cliquez sur le SID actuel.
  5. Cliquez sur Extras > Autres requêtes > Ajouter.
  6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
  7. Sélectionnez la demande de transport dans la file d'attente d'importation, puis cliquez sur Demander > Importer.
  8. Saisissez le numéro client.

  9. Dans l'onglet Options, sélectionnez Écraser les versions d'origine et Ignorer la version de composant non valide.

    (Facultatif) Sélectionnez Laisser des requêtes de transport en file d'attente pour une importation ultérieure. Les requêtes sont alors importées à nouveau dans le bon ordre lors de la prochaine importation de toutes les requêtes. Cette option est utile si vous devez effectuer des importations préliminaires pour des requêtes individuelles.

  10. Cliquez sur Continuer.

  11. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et PFCG.

Option 2 : Importer les fichiers de requête de transport au niveau du système d'exploitation
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.

  2. Ajoutez les requêtes appropriées au tampon d'importation:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Par exemple : tp addtobuffer BW1K900054 DD1

  3. Importez les requêtes de transport:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Remplacez NNN par le numéro client. Exemple :

    tp import BW1K900054 DD1 client=100 U1238

  4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et PFCG.

Autorisations SAP requises

Pour exécuter un pipeline de données dans Cloud Data Fusion, vous avez besoin d'un utilisateur SAP. L'utilisateur SAP doit être de type Communications ou Dialog. Pour éviter d'utiliser les ressources de dialogue SAP, le type Communications est recommandé. L'administrateur SAP peut créer des utilisateurs à l'aide du code de transaction SAP SU01.

Des autorisations SAP sont requises pour configurer le connecteur pour SAP. Les objets d'autorisation SAP spécifiques au connecteur sont expédiés dans la requête de transport. Importez le transport du rôle d'autorisation comme décrit dans la section Installer le transport SAP pour intégrer le rôle dans votre système et générer le rôle à partir du code de transaction PFCG.

Pour les objets d'autorisation SAP standards, votre organisation gère les autorisations avec son propre mécanisme de sécurité. Vous pouvez gérer des objets d'autorisation en fonction des règles de sécurité de votre organisation.

Créer une chaîne de processus (PC) et un processus de transfert de données (DTP)

La création d'une chaîne de processus et d'un processus de transfert de données nécessite des compétences et des connaissances supplémentaires.

Concepts de base

Pour créer ou modifier un PC et un DTP, utilisez SAP HANA Studio.

Compétences préalables

  • Vous avez utilisé des transformations pour définir le flux de données entre la source et l'objet cible.
  • Vous connaissez bien les concepts de base de BW et de HANA, tels que les objets DataStore (DSO), les transformations de données, les infocubes, l'optimisation des requêtes, la modélisation HANA et les fonctionnalités de la base de données HANA à l'aide de HANA Studio. Pour en savoir plus sur ces concepts, consultez les tutoriels SAP sur BW et HANA.

Type d'extraction

Il existe deux modes d'extraction de données pour un processus de transfert de données : "Full" et "Delta".

  • Full (Complet) : sélectionne toutes les données disponibles dans la source en fonction des conditions de filtrage mentionnées dans le DTP. Si la source de données est l'un des InfoProviders suivants, seul le mode d'extraction complète est disponible:

    • InfoObjects
    • InfoSets
    • Objets DataStore pour la mise à jour directe

  • Delta: contrairement à InfoPackage, le transfert Delta à l'aide d'un DTP ne nécessite pas d'initialisation explicite. Lorsqu'un DTP est exécuté pour la première fois avec le mode d'extraction Delta, toutes les requêtes existantes jusqu'au moment de l'extraction sont récupérées à partir de la source, puis le delta est automatiquement initialisé.

    Les options suivantes sont disponibles pour un DTP avec le mode d'extraction Delta:

    • Ne recevoir la delta qu'une seule fois
    • Obtenir toutes les nouvelles demandes de données par demande
    • Récupérer jusqu'à ce qu'il n'y ait plus de nouvelles données

Taille du package: nombre d'enregistrements de données présents dans un package de données individuel. La valeur par défaut est 50,000.

Créer une chaîne de processus

Pour créer une chaîne de processus (PC), utilisez la transaction RSPC dans l'interface utilisateur graphique de SAP. Définissez un processus de démarrage, puis ajoutez les étapes du processus et le DTP. Pour en savoir plus, consultez la documentation SAP sur la création de chaînes de processus.

Plusieurs options sont disponibles dans HANA Studio pour surveiller et administrer les PC. Pour en savoir plus, consultez la section Opérations de la chaîne de processus SAP BW/4HANA.

Créer un processus de transfert de données à l'aide d'une chaîne de processus

Accédez à la vue Planification de la chaîne de processus que vous souhaitez utiliser pour le processus de transfert de données. Dans la vue Planification, vous pouvez créer le DTP à l'aide de HANA Studio. Pour en savoir plus, consultez la documentation SAP sur la création d'un processus de transfert de données.

Pour en savoir plus sur les options de configuration, consultez Tout sur le processus de transfert de données (DTP) – SAP BW 7.

Connexion RFC

Pour avertir le système de rappel, tel que le plug-in SAP BW Open Hub Batch Source, que les données sont disponibles, la chaîne de processus doit être mise à jour pour utiliser une destination RFC:

  1. Dans SM59, créez une connexion RFC de type Connexions TCP/IP pour avertir le système cible à partir de BW une fois la charge de données terminée dans BI.

  2. Assurez-vous que l'ID de programme est configuré dans la connexion RFC en double-cliquant dessus. L'ID de programme doit être unique pour chaque destination RFC afin d'éviter les conflits d'écouteur d'exécution.

  3. Utilisez la connexion TCP/IP nouvellement créée dans la chaîne de traitement pour envoyer une notification afin qu'une tâche par lot Cloud Data Fusion soit terminée. Le nom de la chaîne de processus n'est pas sensible à la casse. Il doit être spécifié correctement en majuscules dans le processus d'intégration de bout en bout.

Afficher les journaux des chaînes de processus et des processus de transfert de données

  1. Accédez au code T : RSPC, puis cliquez sur Chaînes de processus.

  2. Cliquez avec le bouton droit sur la chaîne de processus pour laquelle vous souhaitez afficher les journaux, puis cliquez sur Afficher les journaux.

Configurer le cluster Dataproc lorsque vous utilisez la chaîne de traitement

Pour activer la communication via le serveur RFC, vous devez ajouter les entrées de port de la passerelle SAP dans le fichier /etc/services des nœuds du cluster Dataproc. Il est recommandé d'utiliser un init action, le script à exécuter lorsque le cluster est initialisé. Pour en savoir plus, consultez la section Actions d'initialisation.

Créez un fichier de script et enregistrez-le dans un bucket Cloud Storage. L'exemple suivant montre le contenu du fichier de script:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Dans l'exemple précédent, notez les points suivants:

  • Les entrées se présentent sous la forme sapgwxx 33xx/tcp, où XX correspond au numéro de l'instance SAP.

  • Les ports des instances SAP 00 à 04 sont ajoutés.

Suivez les étapes ci-dessous si vous utilisez un cluster Dataproc éphémère, persistant nouvellement créé ou persistant existant.

Cluster Dataproc éphémère

Si vous utilisez un cluster Dataproc éphémère, ajoutez le chemin d'accès au script init aux propriétés du cluster:

  1. Dans le moniteur de tâches, sur la page du pipeline dans Cloud Data Fusion, cliquez sur Configurer.
  2. Sélectionnez le profil de calcul, puis cliquez sur Personnaliser.
  3. Sous Paramètres avancés, dans le champ Actions d'initialisation, saisissez le chemin d'accès au script init.

Nouveau cluster Dataproc persistant

Si vous utilisez un cluster Dataproc persistant nouvellement créé, utilisez le script init dans la commande gcloud pour créer le cluster. Exemple :

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster Dataproc persistant existant

Si vous utilisez un cluster Dataproc persistant existant, procédez comme suit:

Si le cluster a déjà été créé sans utiliser le script init, ajoutez les entrées manuellement dans les nœuds maître et de calcul du cluster Dataproc.

  1. Connectez-vous en SSH au nœud maître et au nœud de cluster.
  2. Connectez-vous à l'ID utilisateur racine.
  3. Accédez à /etc/ et ouvrez le fichier /etc/services dans un éditeur VI.
  4. Ajoutez l'entrée sapgwxx 33xx/tcp. Remplacez xx par votre numéro d'instance SAP.
  5. Enregistrez le fichier /etc/services.

Configurer Cloud Data Fusion

Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP. Pour les instances privées, configurez l'appairage de réseaux. Une fois l'appairage de réseaux établi avec le projet hébergeant les systèmes SAP, aucune configuration supplémentaire n'est requise pour la connexion à votre instance Cloud Data Fusion. Le système SAP et l'instance Cloud Data Fusion doivent se trouver dans le même projet.

Procédure à suivre pour les utilisateurs de Cloud Data Fusion

  1. Accédez aux détails de l'instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.

      Accéder à la page "Instances"

  2. Vérifiez que l'instance a été mise à niveau vers la version 6.8.0 ou ultérieure. Si l'instance utilise une version antérieure, vous devez la mettre à niveau.
  3. Ouvrez l'instance. Lorsque l'interface utilisateur de Cloud Data Fusion s'ouvre, cliquez sur Hub.
  4. Sélectionnez l'onglet SAP > SAP BW. Si l'onglet SAP n'est pas visible, consultez la section Résoudre les problèmes d'intégration de SAP.
  5. Cliquez sur Déployer le plug-in SAP BW. Le plug-in apparaît dans le menu Source de la page Studio.

Procédure pour les administrateurs SAP et Google Cloud

L'administrateur SAP télécharge les artefacts JCo suivants à partir du site d'assistance SAP et les transmet à l' Google Cloud administrateur.

  • Une plate-forme indépendante (sapjco3.jar)
  • Une plate-forme dépendante (libsapjco3.so sur Unix)

Pour télécharger les fichiers, procédez comme suit :

  1. Accédez à la page Connecteurs SAP.
  2. Cliquez sur SAP Java Connector/Tools and services (Connecteur Java SAP/Outils et services). Vous pouvez sélectionner des liens spécifiques à la plate-forme pour le téléchargement.

  3. Sélectionnez la plate-forme sur laquelle votre instance Cloud Data Fusion s'exécute :

    1. Si vous utilisez des images Google Cloud standards pour les VM de votre cluster, ce qui est l'option par défaut pour Cloud Data Fusion, sélectionnez Linux pour les processeurs compatibles Intel 64 bits x86.
    2. Si vous utilisez une image personnalisée, sélectionnez la plate-forme correspondante.

  4. L' Google Cloud administrateur doit copier les fichiers JCo dans un bucket Cloud Storage lisible. Indiquez le chemin d'accès au bucket à l'utilisateur Cloud Data Fusion pour qu'il le saisisse dans la propriété de plug-in correspondante dans Cloud Data Fusion: Chemin d'accès GCS de la bibliothèque SAP JCo. Consultez la section Configurer le plug-in.

  5. L' Google Cloud administrateur doit accorder un accès en lecture aux deux fichiers au compte de service Cloud Data Fusion pour l'environnement de conception et au compte de service Dataproc pour l'environnement d'exécution. Pour en savoir plus, consultez la page Comptes de service Cloud Data Fusion.

Configurer le plug-in

Le plug-in SAP BW Open Hub Batch Source lit le contenu d'une source de données SAP.

Pour filtrer les enregistrements, vous pouvez configurer les propriétés suivantes pour la source de lot Open Hub SAP BW.

Les indicateurs suivants sont utilisés pour définir les champs:

  • (M): indique que les macros sont acceptées pour le champ concerné
  • (O): champ facultatif

Libellé: libellé du plug-in sur le canevas.

De base

Dans la liste de propriétés suivante, (M) signifie que l'option est compatible avec les macros, qui peuvent être utilisées pour gérer les connexions SAP de manière centralisée. Par exemple, vous pouvez utiliser des macros pour les propriétés de connexion et définir les valeurs au moment de l'exécution à l'aide de paramètres d'exécution ou d'un plug-in Argument Setter.

  • Nom de référence: nom utilisé pour identifier de manière unique cette source pour la traçabilité et l'annotation de métadonnées.

  • Utiliser la connexion (boutons Marche/Arrêt): indique si une connexion existante doit être utilisée (voir Gérer les connexions). Si vous choisissez d'utiliser une connexion existante, vous n'avez pas besoin de fournir d'informations de connexion SAP.

  • Connexion (parcourir les connexions): choisissez la connexion existante à utiliser. Vous pouvez également utiliser la fonction de macro ${conn(connection-name)}.

  • Client SAP (M): client SAP à utiliser. Exemple :100

  • Langage SAP (M): langage de connexion SAP. Exemple :EN

  • Type de connexion: type de connexion SAP (direct ou équilibrage de charge). Les connexions équilibrées ne sont pas compatibles avec l'extraction basée sur la chaîne de processus. Pour en savoir plus, consultez Informations d'assistance.

    La sélection d'un type de connexion modifie les champs disponibles.

    Pour une connexion directe, les champs suivants sont disponibles:

    • Hôte de serveur d'application SAP (M): nom ou adresse IP du serveur SAP.
    • Numéro de système SAP (M): numéro de système SAP. Exemple :00
    • Routeur SAP (M, O): chaîne du routeur.

    Pour une connexion à équilibrage de charge, les champs suivants sont disponibles:

    • Hôte de serveur de messages SAP (M): nom d'hôte ou adresse IP du message SAP.
    • Service de serveur de messages ou numéro de port SAP (M): service de serveur de messages ou numéro de port SAP. Exemple :sapms02
    • ID système SAP (SID) (M): ID système SAP. Exemple :N75
    • Nom du groupe d'ouvertures de session SAP (M): nom du groupe d'ouvertures de session SAP. Exemple :PUBLIC

  • Utiliser la chaîne de processus (M): ce champ contient deux options.

    Si vous activez la chaîne de traitement à l'aide de l'option Oui, les propriétés suivantes sont activées:

    • Résoudre automatiquement les erreurs PC et DTP: contrôle le comportement lorsqu'une exécution précédemment échouée est identifiée. Lorsqu'il est désactivé, le plug-in échoue dans le pipeline avec des erreurs pertinentes. Lorsqu'il est activé (par défaut), le plug-in vérifie la chaîne de processus et l'état du processus de transfert de données dans SAP. Si l'une des erreurs suivantes est détectée, le plug-in tente automatiquement de la résoudre:

    • Data Transfer Process in error state: le plug-in supprime la requête précédente.

    • Chaîne de processus en état rouge avec erreur previous request status has not been set : le plug-in supprime la requête bloquante après avoir obtenu l'ID de requête dans le journal de la chaîne de processus, puis tente d'exécuter le PC.

    • Temps d'attente de la notification d'état de la chaîne de processus (en minutes) (M, O) : attend le temps indiqué (en minutes) pour que la chaîne de processus termine le prédéploiement des données et informe le pipeline de commencer l'extraction. Si vous spécifiez 0 ou le laissez vide, la valeur est considérée comme 10 minutes, ce qui est la valeur par défaut.

    • Chaîne de processus (M): nom de la chaîne de processus SAP. Exemple :PC_RFC

    Si vous désactivez la chaîne de processus à l'aide de l'option Non, les propriétés suivantes sont activées:

    • Open Hub Destination (M): nom de la destination Open Hub à lire.
    • ID de requête (M,O): ID de requête du processus de transfert de données déjà exécuté.

Identifiants

  • Nom d'utilisateur de connexion SAP (M): nom d'utilisateur SAP. Recommandé: Si le nom d'utilisateur de connexion SAP change régulièrement, utilisez une macro.
  • Mot de passe d'ouverture de session SAP (M): mot de passe utilisateur SAP. Recommandé: Pour les valeurs sensibles telles que le mot de passe utilisateur, utilisez des macros sécurisées.

Détails de SAP JCo

  • ID de projet GCP (M): ID de projet Google Cloud , qui identifie un projet de manière unique. Vous le trouverez sur le tableau de bord de la console Google Cloud.
  • Chemin d'accès GCS de la bibliothèque SAP JCo (M): chemin d'accès à Cloud Storage contenant les fichiers de bibliothèque SAP JCo importés par l'utilisateur.
  • Obtenir le schéma: cliquez sur ce bouton si vous souhaitez que le plug-in génère un schéma basé sur les métadonnées de SAP, avec mappage automatique des types de données SAP sur les types de données Cloud Data Fusion correspondants. La fonctionnalité est identique à celle du bouton Valider.

Pour en savoir plus sur les certificats client, consultez Utiliser des certificats client X.509 sur le serveur d'application SAP NetWeaver pour ABAP.

Avancé

  • Number of Splits to Generate (Nombre de divisions à générer) (M, O): le nombre de divisions permet de partitionner les données d'entrée. Plus il y a de partitions, plus le niveau de parallélisme est élevé, mais plus les ressources et les frais généraux sont importants. Dans le cas d'un système SAP sur site, si la valeur n'est pas spécifiée dans l'UI, les divisions représentent 50% des processus de travail de boîte de dialogue disponibles dans SAP. Sinon, les fractionnements sont optimisés entre la valeur spécifiée par l'utilisateur et 50% des processus de travail disponibles.

    Recommandé: Laissez la propriété vide, sauf si vous connaissez les paramètres de votre système SAP.

  • Propriétés de connexion SAP supplémentaires (M, O): définissez des propriétés SAP JCo supplémentaires qui remplacent les valeurs par défaut de SAP JCo. Par exemple, la valeur jco.destination.pool_capacity = 10 remplace la capacité de pool de connexions par défaut.

    Le tableau suivant répertorie les propriétés SAP JCo compatibles:

Propriété Description
jco.destination.peak_limit Nombre maximal de connexions actives pouvant être créées simultanément pour une destination.
jco.destination.pool_capacity Nombre maximal de connexions inactives maintenues ouvertes par la destination. Une valeur de 0 entraîne l'absence de pool de connexions, c'est-à-dire que les connexions sont fermées après chaque requête.
jco.destination.expiration_time Heure en ms après laquelle les connexions détenues par le pool interne peuvent être fermées.
jco.destination.expiration_check_period Intervalle dans ms avec lequel le thread de vérification du délai avant expiration vérifie l'expiration des connexions dans le pool.
jco.destination.max_get_client_time Durée maximale en ms pour attendre une connexion, si le nombre maximal de connexions autorisé est alloué par l'application.

Comportement des modes d'extraction de données

Le mode d'extraction de données est contrôlé via les paramètres du processus de transfert de données. Le comportement est différent lorsque vous utilisez une chaîne de processus par rapport à une destination de hub ouvert.

Lorsque vous utilisez une chaîne de processus

Les paramètres au niveau du processus de transfert de données déterminent si une charge complète ou delta est effectuée. L'ID de requête est envoyé par notification de SAP au plug-in. Le plug-in lit les données de paquet associées à cet ID de requête unique.

Lorsque vous utilisez la destination Open Hub sans ID de requête

Charge complète: l'exécution du pipeline pour la première fois récupère tous les ID de requête disponibles dans le tableau Open Hub. Le plug-in lit les données de paquet associées à ces ID de requête.

Charge delta: l'exécution du même pipeline la prochaine fois récupère tous les ID de requête delta disponibles, après le dernier ID de requête récupéré. Le plug-in lit les données de paquet associées à ces ID de requête.

Lorsque vous utilisez la destination Open Hub avec l'ID de requête

Charge complète: l'exécution du pipeline pour la première fois récupère tous les ID de requête disponibles suivants supérieurs à l'ID de requête spécifié. Le plug-in lit les données de paquet associées à ces ID de requête.

Charge delta: l'exécution du même pipeline la prochaine fois récupère tous les ID de requête delta disponibles, après le dernier ID de requête récupéré. Le plug-in lit les données de paquet associées à ces ID de requête.

Mappage des types de données

Le tableau suivant présente le mappage entre les types de données utilisés dans SAP BW et Cloud Data Fusion.

Type de données BW Type ABAP Description (SAP) Type de données Cloud Data Fusion
Numérique
INT1 b Entier à 1 octet integer
INT2 s Entier à 2 octets integer
INT4 i Entier à 4 octets integer
INT8 8 Entier à 8 octets long
DÉC p Nombre compressé au format BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Virgule flottante décimale 8 octets IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Virgule flottante décimale 16 octets IEEE 754r decimal
FLTP f Nombre à virgule flottante binaire double
Caractère
CHAR
LCHR		 c Chaîne de caractères string
SSTRING
GEOM_EWKB		 string Chaîne de caractères string
STRING string Chaîne de caractères CLOB bytes
NUMC
ACCP		 n Texte numérique string
Byte
RAW
LRAW		 x Données binaires bytes
RAWSTRING xstring BLOB de chaîne d'octets bytes
Date/Heure
DATS d Date date
TIMS t Heure time
TIMESTAMP utcl Code temporel
Utclong		 timestamp

Validation

Cliquez sur Valider ou Obtenir un schéma.

Le plug-in valide les propriétés et génère un schéma basé sur les métadonnées de SAP. Il mappe automatiquement les types de données SAP sur les types de données Cloud Data Fusion correspondants.

Exécuter un pipeline de données

  1. Après avoir déployé le pipeline, cliquez sur Configurer.
  2. Sélectionnez Ressources.
  3. Si nécessaire, modifiez le processeur d'exécuteur et la mémoire en fonction de la taille globale des données et du nombre de transformations utilisées dans le pipeline.
  4. Cliquez sur Enregistrer.
  5. Pour démarrer le pipeline de données, cliquez sur Exécuter.

Optimiser les performances

Optimiser la configuration du plug-in

Utilisez les propriétés suivantes pour des performances optimales lorsque vous exécutez le pipeline:

  • Number of Splits to Generate (Nombre de divisions à générer) dans les propriétés du plug-in Cloud Data Fusion: cette commande contrôle directement le parallélisme côté Cloud Data Fusion. Le moteur d'exécution crée le nombre de partitions et de connexions SAP spécifié lors de l'extraction des enregistrements de la table. Les valeurs comprises entre 8 et 16 sont recommandées, mais vous pouvez augmenter jusqu'à 32 ou 64 avec la configuration appropriée côté SAP, en allouant les ressources de mémoire appropriées pour les processus de travail dans SAP.

    Si la valeur est 0 ou est vide (recommandé), le système choisit automatiquement une valeur appropriée en fonction du nombre de processus de travail SAP disponibles, des enregistrements à extraire et de la taille du package.

  • Taille du package dans les propriétés du processus de transfert de données BW: ce paramètre contrôle le nombre d'enregistrements de données présents dans un package de données individuel. La valeur par défaut est 50,000. Augmenter cette valeur peut améliorer les performances, mais augmenter la charge de ressources. Si vous utilisez déjà des valeurs plus élevées, réduisez-les pour permettre une meilleure parallélisation de l'extraction.

Paramètres de ressources Cloud Data Fusion

Recommandé: Utilisez un processeur et 4 Go de mémoire par exécuteur. Cette valeur s'applique à chaque processus d'exécuteur. Définissez ces valeurs dans la boîte de dialogue Configurer > Ressources.

Paramètres du cluster Dataproc

Recommandé: attribuez au minimum un nombre total de processeurs sur les nœuds de calcul supérieur au nombre souhaité de divisions. Consultez la section Configuration du plug-in.

Par exemple, si vous avez 16 partitions, définissez au moins 20 processeurs au total pour l'ensemble des nœuds de calcul. 4 processeurs principaux sont utilisés pour la coordination.

Recommandé: Utilisez un cluster Dataproc persistant pour réduire le temps d'exécution du pipeline de données. Cette opération élimine l'étape de provisionnement, qui peut prendre quelques minutes ou plus. Définissez ce paramètre dans la section de configuration de Compute Engine.

Informations relatives à l'assistance

Produits et versions SAP compatibles

Sources acceptées :

  • SAP NW BW 7.5 et versions ultérieures
  • SAP BW4HANA 2.0 SP9 (pour inclure l'API Open Hub Destination ; les versions antérieures de BW4HANA ne sont pas compatibles avec l'API Open Hub Destination)

Prise en charge de la connexion SAP à équilibrage de charge (serveur de messagerie)

La connexion SAP à équilibrage de charge (serveur de messagerie) est compatible avec l'extraction basée sur la destination Open Hub, où un serveur RFC n'est pas utilisé.

La connexion SAP à équilibrage de charge (serveur de messagerie) n'est pas compatible avec l'extraction basée sur la chaîne de processus. La raison en est une limitation SAP lors de la fourniture d'une notification data ready au système client, ce qui nécessite d'enregistrer le serveur RFC (écouteur de plug-in) sur chaque serveur SAP de l'environnement BW, ce qui augmente l'empreinte du connecteur et peut avoir un impact sur les performances et l'utilisation des ressources SAP. Pour en savoir plus, consultez la note SAP 2572564 (connexion à l'assistance SAP requise pour l'afficher).

Modèles de déploiement SAP compatibles

Le plug-in est testé avec des serveurs SAP déployés sur Google Cloud.

Objets SAP compatibles

Sources de données pour la destination Open Hub: InfoProviders (InfoObject, InfoCube, objet DataStore, objet DataStore avancé, fournisseur composite)

Chaînes de processus pour exécuter automatiquement le processus de transfert de données dans la destination Open Hub.

Licence distincte pour utiliser Oracle HTTP Server afin d'extraire des données de SAP

Vous n'avez pas besoin d'une licence distincte pour utiliser Oracle HTTP Server (OHS) pour extraire des données de SAP. Toutefois, vérifiez auprès de votre représentant SAP votre contrat et votre cas d'utilisation spécifiques.

Débit du plug-in attendu

Pour un environnement configuré conformément aux consignes de la section Optimiser les performances, le plug-in peut extraire environ 38 Go par heure. Les performances réelles peuvent varier en fonction de la charge du système Cloud Data Fusion et SAP, ou du trafic réseau.

Étape suivante