Source par lot SAP BW Open Hub

Ce guide explique comment déployer, configurer et exécuter des pipelines de données qui utilisent le plug-in SAP BW Open Hub Batch Source. Vous pouvez utiliser SAP comme source pour l'extraction de données par lot et delta dans Cloud Data Fusion via Service Hub BW Open Hub :

Ce plug-in permet l'intégration groupée de données issues d'applications SAP avec Cloud Data Fusion. Vous pouvez configurer et exécuter des transferts de données groupés DataSources SAP sans aucun codage.

Pour en savoir plus sur les applications et objets SAP compatibles avec l'extraction, consultez Informations sur l'assistance. Pour en savoir plus sur l'exécution de SAP sur Google Cloud, consultez la présentation de SAP sur Google Cloud.

Objectifs

  • Configurez le système SAP BW.
  • Déployez le plug-in dans votre environnement Cloud Data Fusion.
  • Téléchargez le transport SAP à partir de Cloud Data Fusion et installez-le dans SAP.
  • Utilisez Cloud Data Fusion et SAP BW Open Hub Batch Source pour créer des pipelines de données afin d'intégrer des données SAP.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants :

  • Créer des pipelines dans Cloud Data Fusion
  • Configurer des systèmes SAP BW ou BW4HANA

Rôles utilisateur

Les tâches de cette page sont effectuées par les personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d'utilisateur Description
Administrateur Google Cloud Les utilisateurs affectés à ce rôle sont des administrateurs de comptes Google Cloud.
Utilisateur Cloud Data Fusion Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Le rôle Lecteur de Data Fusion (roles/datafusion.viewer) leur est accordé au minimum. Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP Les utilisateurs affectés à ce rôle sont les administrateurs du système SAP. Ils ont accès au téléchargement du logiciel depuis le site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Prérequis pour SAP BW

Vous avez besoin de SAP HANA Studio pour créer et modifier les processus et processus de transfert de données Chaînes.

Prérequis pour Cloud Data Fusion

  • Un réseau VPC est requis pour la création d'une instance Cloud Data Fusion.
  • Une instance Cloud Data Fusion, version 6.8.0 ou ultérieure, n'importe quelle édition, est requise.
  • Les rôles requis doivent être accordés au compte de service attribué à l'instance Cloud Data Fusion. Pour en savoir plus, consultez la page Accorder l'autorisation de l'utilisateur du compte de service.
  • Vous devez utiliser une connexion d'appairage entre votre VPC via le réseau VPC partagé de Google.

Configurer le système SAP BW

La source SAP BW Open Hub Batch utilise un module de fonction distante (RFM), qui doit être installé sur chaque serveur SAP où les données sont extraites. Ce RFM est envoyé sous forme de transport SAP.

Pour configurer votre système SAP, procédez comme suit :

  1. L'utilisateur Cloud Data Fusion doit télécharger le fichier ZIP contenant le transport SAP et le fournir à l'administrateur SAP. Pour en savoir plus, consultez Configurer Cloud Data Fusion.
  2. L'administrateur SAP doit importer le transport SAP dans le système SAP et vérifier les objets créés. Pour en savoir plus, consultez la section Installer le transport SAP.
  3. Facultatif : l'utilisateur SAP peut modifier les objets d'autorisation standards SAP du rôle /GOOG/BWOH_CDF_AUTH fourni en fonction des règles de sécurité de son organisation.

Installer les fichiers de transport SAP

Pour concevoir et exécuter des pipelines de données dans Cloud Data Fusion, le les composants sont fournis dans des fichiers de transport SAP, qui sont archivés dans un . Le téléchargement est disponible lorsque vous déployez le plug-in dans le hub Cloud Data Fusion.

Télécharger le fichier ZIP du transport SAP BW OH

Les ID de requête de transport SAP et les fichiers associés sont fournis dans les tableau:

Transport SAP

ID de transport Fichier cofile Fichier de données Contenu
BW1K900054 K900054.BW1 R900054.BW1 Connecteur Cloud Data Fusion BWOH version 1.0
Modules de fonction :
/GOOG/BWOH_GET_PC_LOG
/GOOG/BWOH_GET_PRO_CHA_DETAILS
/GOOG/BWOH_API_OHS_ETL_READ
/GOOG/BWOH_GET_PC_RUNS
/GOOG/BWOH_SET_LAST_RUN
/GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055 K900055.BW1 R900055.BW1 Rôle d'autorisation /GOOG/BWOH_CDF_AUTH

Pour installer le transport SAP, procédez comme suit :

Étape 1 : Importer les fichiers de requête de transport

  1. Connectez-vous au système d'exploitation de l'instance SAP.
  2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès au dossier DIR_TRANS. En règle générale, le chemin d'accès est /usr/sap/trans/.
  3. Copiez les cofiles dans le dossier DIR_TRANS/cofiles.
  4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
  5. Définissez l'utilisateur et le groupe de données et le cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport de l'une des façons suivantes :

Option 1 : Importer les fichiers de requête de transport à l'aide du système de gestion des transports SAP
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.
  2. Saisissez le code STMS de la transaction.
  3. Cliquez sur Présentation > Importations.
  4. Dans la colonne Queue (File d'attente), double-cliquez sur le SID actuel.
  5. Cliquez sur Extras > Autres requêtes > Ajouter.
  6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
  7. Sélectionnez la demande de transport dans la file d'attente d'importation, puis cliquez sur Demander > Importer.
  8. Saisissez le numéro client.

  9. Dans l'onglet Options, sélectionnez Écraser les versions d'origine et Ignorer la version de composant non valide.

    (Facultatif) Sélectionnez Laisser des requêtes de transport en file d'attente pour une importation ultérieure. Les requêtes sont alors réimportées dans le bon ordre lors de la prochaine importation de toutes les requêtes. Cette option est utile si vous devez effectuer des importations préliminaires pour des requêtes individuelles.

  10. Cliquez sur Continuer.

  11. Vérifier que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et PFCG.

Option 2 : Importer les fichiers de requête de transport au niveau du système d'exploitation
  1. Connectez-vous au système SAP en tant qu'administrateur SAP.

  2. Ajoutez les requêtes appropriées au tampon d'importation:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Par exemple : tp addtobuffer BW1K900054 DD1

  3. Importez les requêtes de transport:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Remplacez NNN par le numéro client. Exemple :

    tp import BW1K900054 DD1 client=100 U1238

  4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et PFCG.

Autorisations SAP requises

Pour exécuter un pipeline de données dans Cloud Data Fusion, vous avez besoin d'un utilisateur SAP. L'utilisateur SAP doit être de type Communications ou Dialog. Pour éviter d'utiliser les ressources de dialogue SAP, le type Communications est recommandé. L'administrateur SAP peut créer des utilisateurs à l'aide du code de transaction SAP SU01.

Des autorisations SAP sont requises pour configurer le connecteur pour SAP. Les objets d'autorisation SAP spécifiques au connecteur sont fournis Demande de transport. Importez le transport du rôle d'autorisation comme décrit dans la section Installer le transport SAP pour intégrer le rôle dans votre système et générer le rôle à partir du code de transaction PFCG.

Pour les objets d'autorisation SAP standards, votre organisation gère les autorisations avec son propre mécanisme de sécurité. Vous pouvez gérer des objets d'autorisation en fonction des règles de sécurité de votre organisation.

Créer une chaîne de processus (CP) et un processus de transfert de données (PDT)

La création d'une chaîne de processus et d'un processus de transfert de données nécessite des compétences et des connaissances supplémentaires.

Concepts de base

Pour créer ou modifier un PC et un DTP, utilisez SAP HANA Studio.

Compétences préalables

  • Vous avez utilisé des transformations pour définir le flux de données entre la source et l'objet cible.
  • Vous connaissez bien les concepts de base de BW et de HANA, tels que les objets DataStore (DSO), les transformations de données, les infocubes, l'optimisation des requêtes, la modélisation HANA et les fonctionnalités de la base de données HANA à l'aide de HANA Studio. Pour en savoir plus sur ces concepts, consultez les tutoriels SAP sur BW et HANA.

Type d'extraction

Il existe deux modes d'extraction de données pour un processus de transfert de données : et Delta.

  • Complet: cette option sélectionne toutes les données disponibles dans la source en fonction du filtre les conditions mentionnées dans le DTP. Si la source de données est l'un des InfoProviders suivants, seul le mode d'extraction complète est disponible :

    • InfoObjects
    • InfoSets
    • Objets DataStore pour une mise à jour directe

  • Delta: contrairement à InfoPackage, le transfert delta à l'aide d'un DTP ne nécessite pas une initialisation explicite. Lorsqu'un DTP est exécuté avec l'extraction Delta pour la première fois, toutes les requêtes existantes jusqu'au moment de l'extraction sont récupéré à partir de la source, puis delta est automatiquement initialisé.

    Les options suivantes sont disponibles pour un DTP avec le mode d'extraction Delta :

    • Obtenir Delta une seule fois
    • Obtenir toutes les nouvelles demandes de données sur demande
    • Récupérer les données avant qu'il ne soit trop tard

Taille du package: il s'agit du nombre d'enregistrements de données présents dans un paquet de données. La valeur par défaut est 50,000.

Créer une chaîne de processus

Pour créer une chaîne de processus (PC), utilisez la transaction RSPC dans l'IUG de SAP. Définissez un processus de démarrage, puis ajoutez les étapes du processus et le DTP. Pour plus d'informations, consultez la documentation SAP Créer des chaînes de processus.

Plusieurs options sont disponibles dans HANA Studio pour surveiller et administrer les PC. Pour en savoir plus, consultez la section Opérations de la chaîne de processus SAP BW/4HANA.

Créer un processus de transfert de données à l’aide d’une chaîne de processus

Accédez à la vue Planification de la chaîne de processus que vous souhaitez utiliser pour le processus de transfert de données. Dans la vue Planning, vous pouvez créer le DTP à l'aide de HANA Studio. Pour en savoir plus, consultez la documentation SAP Création d'un processus de transfert de données

Pour en savoir plus sur les options de configuration, consultez Tout sur le processus de transfert de données (DTP) – SAP BW 7.

Connexion RFC

Pour avertir le système de rappel, tel que le plug-in SAP BW Open Hub Batch Source, que les données sont disponibles, la chaîne de processus doit être mise à jour pour utiliser une destination RFC :

  1. Dans SM59, créez une connexion RFC de type Connexions TCP/IP pour avertir le système cible à partir de BW une fois la charge de données terminée dans BI.

  2. Assurez-vous que l'ID de programme est configuré dans la connexion RFC en double-cliquant dessus. L'ID de programme doit être unique pour chaque destination RFC afin d'éviter les conflits d'écouteurs d'exécution.

  3. Utilisez la connexion TCP/IP nouvellement créée dans la chaîne de processus pour envoyer pour qu'un job par lot Cloud Data Fusion soit terminé. Le nom de la chaîne de processus n'est pas sensible à la casse. Il doit être spécifié correctement dans en majuscules pendant le processus d'intégration de bout en bout.

Afficher les journaux des chaînes de processus et des processus de transfert de données

  1. Accédez au code T RSPC, puis cliquez sur Chaînes de processus.

  2. Effectuez un clic droit sur la chaîne de processus pour laquelle vous souhaitez afficher les journaux, puis cliquez sur Afficher les journaux.

Configurer le cluster Dataproc lorsque vous utilisez la chaîne de traitement

Pour activer la communication via le serveur RFC, vous devez ajouter les entrées de port de la passerelle SAP dans le fichier /etc/services des nœuds du cluster Dataproc. Il est recommandé d'utiliser un init action, script à exécuter lorsque le cluster est initialisé. Pour plus d'informations, consultez la section Actions d'initialisation.

Créez un fichier de script et enregistrez-le dans un bucket Cloud Storage. L'exemple suivant montre le contenu du fichier de script :

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Dans l'exemple précédent, notez les points suivants :

  • Les entrées se présentent sous la forme sapgwxx 33xx/tcp, où XX correspond au numéro de l'instance SAP.

  • Les ports des instances SAP 00 à 04 sont ajoutés.

Procédez comme suit si vous utilisez une application éphémère ou que vous venez de créer ou un cluster Dataproc persistant existant.

Cluster Dataproc éphémère

Si vous utilisez un cluster Dataproc éphémère, ajoutez le chemin d'accès au script init aux propriétés du cluster :

  1. Dans le moniteur de tâches, sur la page du pipeline dans Cloud Data Fusion, cliquez sur Configurer.
  2. Sélectionnez le profil de calcul, puis cliquez sur Personnaliser.
  3. Sous Paramètres avancés, dans le champ Actions d'initialisation, saisissez le chemin d'accès au script init.

Nouveau cluster Dataproc persistant

Si vous utilisez un cluster Dataproc persistant que vous venez de créer, utilisez la commande init dans la commande gcloud pour créer le cluster. Exemple :

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster Dataproc persistant existant

Si vous utilisez un cluster Dataproc persistant existant, procédez comme suit :

Si le cluster a déjà été créé sans utiliser le script init, puis ajoutez les entrées manuellement dans les nœuds maîtres et les nœuds de calcul cluster Dataproc.

  1. Connectez-vous en SSH au nœud maître et au nœud de cluster.
  2. Connectez-vous à l'ID utilisateur racine.
  3. Accédez à /etc/ et ouvrez le fichier /etc/services dans un éditeur VI.
  4. Ajoutez l'entrée sapgwxx 33xx/tcp. Remplacez xx par votre instance SAP. numéro.
  5. Enregistrez le fichier /etc/services.

Configurer Cloud Data Fusion

Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP. Pour les instances privées, configurez l'appairage de réseaux. Une fois l'appairage réseau établi avec le projet dans lequel les systèmes SAP sont aucune configuration supplémentaire n'est requise pour se connecter Instance Cloud Data Fusion. Le système SAP et Cloud Data Fusion doivent se trouver dans le même projet.

Procédure pour les utilisateurs de Cloud Data Fusion

  1. Accédez aux détails de l'instance :

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.

      Accéder à la page "Instances"

  2. Vérifiez que l'instance a été mise à niveau vers la version 6.8.0 ou une version ultérieure. Si s'il s'agit d'une version antérieure, vous devez la mettre à niveau.
  3. Ouvrez l'instance. Lorsque l'interface utilisateur de Cloud Data Fusion s'ouvre, cliquez sur Hub.
  4. Sélectionnez l'onglet SAP &gt; SAP BW. Si l'onglet SAP n'est pas visible, consultez la section Résoudre les problèmes d'intégration de SAP.
  5. Cliquez sur Déployer le plug-in SAP BW. Le plug-in apparaît dans le menu Source de la page Studio.

Procédure pour les administrateurs SAP et Google Cloud

L'administrateur SAP télécharge les artefacts JCo suivants à partir du site d'assistance SAP et les transmet à l'administrateur Google Cloud.

  • Une plate-forme indépendante (sapjco3.jar)
  • Une plate-forme dépendante (libsapjco3.so sur Unix)

Pour télécharger les fichiers, procédez comme suit :

  1. Accédez à la page Connecteurs SAP.
  2. Cliquez sur SAP Java Connector/Tools and services (Connecteur Java SAP/Outils et services). Vous pouvez sélectionner des liens spécifiques à la plate-forme pour le téléchargement.

  3. Sélectionnez la plate-forme sur laquelle votre instance Cloud Data Fusion s'exécute :

    1. Si vous utilisez des images Google Cloud standards pour les VM de votre (paramètre par défaut pour Cloud Data Fusion), sélectionnez Linux pour les processeurs compatibles Intel 64 bits x86.
    2. Si vous utilisez une image personnalisée, sélectionnez la plate-forme correspondante.

  4. L'administrateur Google Cloud doit copier les fichiers JCo dans un fichier bucket Cloud Storage. Indiquez le chemin d'accès au bucket utilisateur Cloud Data Fusion pour le saisir dans la propriété de plug-in correspondante dans Cloud Data Fusion: chemin d'accès GCS à la bibliothèque SAP JCo. Consultez la section Configurer le plug-in.

  5. L'administrateur Google Cloud doit accorder un accès en lecture aux deux fichiers au compte de service Cloud Data Fusion pour l'environnement de conception et au compte de service Dataproc pour l'environnement d'exécution. Pour en savoir plus, consultez Comptes de service Cloud Data Fusion

Configurer le plug-in

Le plug-in SAP BW Open Hub Batch Source lit le contenu d'une source de données SAP.

Pour filtrer les enregistrements, vous pouvez configurer les propriétés suivantes pour le paramètre SAP BW Open Hub Batch Source.

Les indicateurs suivants sont utilisés pour définir les champs:

  • (M) : indique que les macros sont acceptées pour le champ concerné
  • (O): champ facultatif

Libellé: libellé du plug-in sur le canevas.

De base

Dans la liste de propriétés suivante, (M) signifie que l'option prend en charge les macros, et ils peuvent être utilisés pour gérer de manière centralisée les connexions SAP. Par exemple : Vous pouvez utiliser des macros pour les propriétés de connexion et définir les valeurs au moment de l'exécution. à l'aide de paramètres d'exécution ou d'un plug-in Argument Setter.

  • Reference Name (Nom de référence) : nom permettant d'identifier de manière unique cette source pour la traçabilité et l'annotation des métadonnées.

  • Utiliser la connexion (bouton Activé/Désactivé): indique si une connexion existante doit être utilisée (voir Gérer les connexions). Si vous choisissez d'utiliser une connexion existante, vous n'avez pas besoin de fournir les détails de la connexion.

  • Connexion (parcourir les connexions) : choisissez la connexion existante à utiliser. Vous pouvez également utiliser la fonction de macro ${conn(connection-name)}.

  • Client SAP (M) : client SAP à utiliser. Exemple :100

  • SAP Language (M): langage d'ouverture de session SAP. Exemple :EN

  • Connection Type (Type de connexion) : type de connexion SAP (directe ou équilibrage de charge). Les connexions équilibrées ne sont pas compatibles avec l'extraction basée sur la chaîne de processus. Pour en savoir plus, consultez Informations d'assistance.

    La sélection d'un type de connexion modifie les champs disponibles.

    Pour une connexion directe, les champs suivants sont disponibles :

    • Hôte de serveur d'application SAP (M) : nom ou adresse IP du serveur SAP.
    • SAP System Number (Numéro de système SAP) (M): numéro de système SAP. Exemple :00
    • Routeur SAP (M, O): chaîne du routeur.

    Pour une connexion à équilibrage de charge, les champs suivants sont disponibles :

    • Hôte de serveur de messages SAP (M) : nom d'hôte ou adresse IP du message SAP.
    • Service de serveur de messages ou numéro de port SAP (M) : service de serveur de messages ou numéro de port SAP. Exemple :sapms02
    • ID système SAP (SID) (M) : ID système SAP. Exemple :N75
    • Nom du groupe d'ouvertures de session SAP (M) : nom du groupe d'ouvertures de session SAP. Exemple :PUBLIC

  • Utiliser la chaîne de processus (M) : ce champ contient deux options.

    Si vous activez Process Chain en utilisant l'option Yes, les éléments suivants sont activées:

    • Résoudre automatiquement les erreurs PC et DTP : contrôle le comportement lorsqu'une exécution précédemment échouée est identifiée. Lorsqu'il est désactivé, le plug-in échoue dans le pipeline avec des erreurs pertinentes. Lorsqu'il est activé (par défaut), le plug-in vérifie la chaîne de processus et l'état du processus de transfert de données dans SAP. Si l'une des valeurs les erreurs suivantes sont identifiées, le plug-in tente automatiquement de les résoudre:

    • Data Transfer Process in error state: le plug-in supprime la requête précédente.

    • Traiter la chaîne à l'état rouge avec l'erreur previous request status has not been set: Le plug-in supprime la requête bloquante après avoir obtenu l'ID de requête. à partir du journal de la chaîne de processus, puis tente d'exécuter le PC.

    • Temps d'attente de la notification d'état de la chaîne de processus (en minutes) (M, O) : attend le temps indiqué (en minutes) pour que la chaîne de processus termine le prédéploiement des données et informe le pipeline de commencer l'extraction. Si vous spécifiez 0 ou laissez ce champ vide, la valeur est considérée comme étant de 10 minutes, ce qui est la valeur par défaut.

    • Process Chain (M): nom de la chaîne de processus SAP. Exemple :PC_RFC

    Si vous désactivez la chaîne de processus à l'aide de l'option Non, les propriétés suivantes sont activées :

    • Open Hub Destination (M): ouvrez le nom de la destination du hub à lire.
    • ID de requête (M,O) : ID de requête du processus de transfert de données déjà exécuté.

Identifiants

  • SAP Logon Username (M): nom d'utilisateur SAP. Recommandé: Si le nom d'utilisateur d'ouverture de session SAP change régulièrement, utilisez un macro.
  • SAP Logon Password (Mot de passe d'ouverture de session SAP) (M): mot de passe utilisateur SAP. Recommandé: Pour les valeurs sensibles comme le mot de passe utilisateur, utilisez macros sécurisées

Détails de SAP JCo

  • GCP Project ID (ID de projet GCP) (M) : ID de projet Google Cloud, qui identifie un projet de manière unique. Vous le trouverez dans le tableau de bord, console Google Cloud.
  • Chemin d'accès GCS de la bibliothèque SAP JCo (M) : chemin d'accès à Cloud Storage contenant les fichiers de bibliothèque SAP JCo importés par l'utilisateur.
  • Obtenir un schéma: cliquez sur cette option si vous souhaitez que le plug-in génère un schéma. basé sur les métadonnées de SAP, avec mappage automatique des types de données SAP aux types de données Cloud Data Fusion correspondants. La fonctionnalité est identique à celle du bouton Valider.

Pour en savoir plus sur les certificats client, consultez Utiliser des certificats client X.509 sur le serveur d'application SAP NetWeaver pour ABAP.

Avancé

  • Nombre de divisions à générer (M, O): le nombre de divisions est utilisé pour partitionner les données d'entrée. Un plus grand nombre de partitions augmente le niveau de parallélisme, mais nécessite davantage de ressources et de frais généraux. Dans le cas d'une solution SAP sur site Si la valeur n'est pas spécifiée dans l'interface utilisateur, les temps de répartition représentent 50 % de boîte de dialogue disponibles dans SAP. Sinon, les fractionnements sont optimisés entre la valeur spécifiée par l'utilisateur et 50 % des processus de travail disponibles.

    Recommandé : Laissez la propriété vide, sauf si vous connaissez les paramètres de votre système SAP.

  • Propriétés de connexion SAP supplémentaires (M, O) : définissez des propriétés SAP JCo supplémentaires qui remplacent les valeurs par défaut de SAP JCo. Par exemple : Le fait de définir jco.destination.pool_capacity = 10 remplace la connexion par défaut la capacité du pool.

    Le tableau suivant répertorie les propriétés SAP JCo compatibles:

    Propriété Description
    jco.destination.peak_limit Nombre maximal de connexions actives pouvant être créées simultanément pour une destination.
    jco.destination.pool_capacity Nombre maximal de connexions inactives laissées ouvertes par la destination. Une valeur de 0 a pour effet qu'il n'y a pas de regroupement des connexions, c'est-à-dire que les connexions seront fermées après chaque requête.
    jco.destination.expiration_time Heure en ms après laquelle les connexions détenues par le pool interne peuvent être fermées.
    jco.destination.expiration_check_period Intervalle dans ms avec lequel le thread du vérificateur de délai avant expiration se vérifie les connexions du pool pour l'expiration.
    jco.destination.max_get_client_time Durée maximale en ms pour attendre une connexion, si le nombre maximal de connexions autorisé est alloué par l'application.

Comportement des modes d'extraction de données

Le mode d'extraction des données est contrôlé via le processus de transfert de données paramètres. Le comportement est différent lorsque vous utilisez une chaîne de processus par rapport à une destination de hub ouvert.

Lorsque vous utilisez une chaîne de processus

Les paramètres au niveau du processus de transfert de données déterminent si une charge complète ou delta est effectuée. L'ID de requête est envoyé par notification de SAP au plug-in. Le plug-in lit les données des paquets associées à cet ID de requête unique.

Lorsque vous utilisez une destination de hub ouvert sans ID de requête

Chargement complet: lorsque vous exécutez le pipeline pour la première fois, vous obtenez toutes les dans la table Open Hub. Le plug-in lit les données de paquet associées à ces ID de requête.

Charge delta : l'exécution du même pipeline la prochaine fois récupère tous les ID de requête delta disponibles, après le dernier ID de requête récupéré. Le plug-in lit les données de paquet associées à ces ID de requête.

Lorsque vous utilisez une destination de hub ouvert avec un ID de requête

Charge complète : l'exécution du pipeline pour la première fois récupère tous les ID de requête disponibles suivants supérieurs à l'ID de requête spécifié. Le plug-in lit les données de paquet associées à ces ID de requête.

Charge delta: exécuter le même pipeline pour la prochaine fois récupère tous les ID de requête delta disponibles, après le dernier ID de requête récupérée. Le plug-in lit les données de paquet associées à ces ID de requête.

Mappage des types de données

Le tableau suivant présente le mappage entre les types de données utilisés dans SAP BW et Cloud Data Fusion.

Type de données BW Type ABAP Description (SAP) Type de données Cloud Data Fusion
Numérique
INT1 b Entier à 1 octet integer
INT2 s Entier à 2 octets integer
INT4 i Entier à 4 octets integer
INT8 8 Entier à 8 octets long
DÉC p Nombre compressé au format BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a IEEE 754r, format décimal à virgule flottante 8 octets decimal
DF34_DEC
DF34_RAW		 e Virgule flottante décimale 16 octets IEEE 754r decimal
FLTP f Nombre à virgule flottante binaire double
Caractère
CHAR
LCHR		 c Chaîne de caractères string
CHAÎNE
GEOM_EWKB		 string Chaîne de caractères string
STRING string Chaîne de caractères CLOB bytes
NUMC
ACCP		 n Texte numérique string
Byte
RAW
LRAW		 x Données binaires bytes
RAWSTRING xstring BLOB de chaîne d'octets bytes
Date/Heure
DATS d Date date
TIMS t Heure time
TIMESTAMP utcl Code temporel
Utclong		 timestamp

Validation

Cliquez sur Valider ou Obtenir un schéma.

Le plug-in valide les propriétés et génère un schéma basé sur les métadonnées de SAP. Il mappe automatiquement les types de données SAP aux Types de données Cloud Data Fusion.

Exécuter un pipeline de données

  1. Après avoir déployé le pipeline, cliquez sur Configurer.
  2. Sélectionnez Ressources.
  3. Si nécessaire, modifiez le processeur d'exécuteur et la mémoire en fonction de la taille globale des données et du nombre de transformations utilisées dans le pipeline.
  4. Cliquez sur Enregistrer.
  5. Pour démarrer le pipeline de données, cliquez sur Exécuter.

Optimiser les performances

Optimiser la configuration du plug-in

Utilisez les propriétés suivantes pour optimiser les performances lorsque vous exécutez la pipeline:

  • Number of Splits to Generate (Nombre de divisions à générer) dans le plug-in Cloud Data Fusion : contrôle directement le parallélisme sur le Côté Cloud Data Fusion. Le moteur d'exécution crée le nombre de partitions et de connexions SAP spécifié lors de l'extraction des enregistrements de la table. Les valeurs comprises entre 8 et 16 sont recommandées, mais vous pouvez augmenter jusqu'à 32 ou 64 avec la configuration appropriée côté SAP, en allouant les ressources de mémoire appropriées pour les processus de travail dans SAP.

    Si la valeur est 0 ou est vide (recommandé), le système choisit automatiquement une valeur appropriée en fonction du nombre de processus de travail SAP disponibles, des enregistrements à extraire et de la taille du package.

  • Taille de paquet dans les propriétés du processus de transfert de données BW : paramètre qui contrôle le nombre d'enregistrements de données présents dans un paquet de données individuel. La valeur par défaut est 50,000. L'augmentation de cette valeur peut générer de meilleures performances, mais une charge de ressources plus élevée. Si vous utilisez déjà des valeurs plus élevées, réduisez-la à pour un meilleur chargement en parallèle de l'extraction.

Paramètres de ressources Cloud Data Fusion

Recommandé : Utilisez 1 processeur et 4 Go de mémoire par exécuteur. Cette valeur s’applique à chaque processus d’exécuteur. Définissez ces valeurs dans la boîte de dialogue Configurer > Ressources.

Paramètres du cluster Dataproc

Recommandé: Allouez au moins un total de processeurs aux nœuds de calcul, selon un nombre supérieur que le nombre de divisions souhaité. Voir Configuration du plug-in.

Par exemple, si vous avez 16 partitions, définissez au moins 20 processeurs au total pour l'ensemble des nœuds de calcul. 4 processeurs principaux sont utilisés pour la coordination.

Recommandé: Utilisez un cluster Dataproc persistant pour réduire de l'environnement d'exécution du pipeline de données. Cela élimine l'étape de provisionnement, qui peut prendre quelques minutes ou plus. Définissez ce paramètre dans la section de configuration de Compute Engine.

Informations relatives à l'assistance

Produits et versions SAP compatibles

Sources acceptées :

  • SAP NW BW 7.5 et versions ultérieures
  • SAP BW4HANA 2.0 SP9 (pour inclure l'API Open Hub Destination ; les versions antérieures de BW4HANA ne sont pas compatibles avec l'API Open Hub Destination)

Prise en charge de la connexion SAP à équilibrage de charge (serveur de messagerie)

La connexion à équilibrage de charge SAP (serveur de message) est compatible avec Open Hub Extraction basée sur la destination, lorsqu'aucun serveur RFC n'est utilisé

La connexion à équilibrage de charge SAP (serveur de message) n'est pas compatible avec ce processus à partir d'une chaîne d'extraction. La raison en est une limitation SAP lors de la fourniture d'une notification data ready au système client, ce qui nécessite d'enregistrer le serveur RFC (écouteur de plug-in) sur chaque serveur SAP de l'environnement BW, ce qui augmente l'empreinte du connecteur et peut avoir un impact sur les performances et l'utilisation des ressources SAP. Pour en savoir plus, consultez Note SAP 2572564 (connexion à l'assistance SAP requise pour afficher).

Modèles de déploiement SAP compatibles

Le plug-in est testé avec des serveurs SAP déployés sur Google Cloud.

Objets SAP compatibles

Sources de données pour la destination de hub ouvert: InfoProviders (InfoObject, InfoCube, objet DataStore, objet DataStore avancé, fournisseur composite)

Chaînes de processus pour exécuter automatiquement le processus de transfert de données en Open Source Destination du hub.

Licence distincte pour utiliser le serveur HTTP Oracle afin d'extraire les données de SAP

Vous n'avez pas besoin d'une licence distincte pour utiliser Oracle HTTP Server (OHS) pour extraire des données de SAP, Toutefois, adressez-vous à votre représentant SAP un contrat et un cas d'utilisation spécifiques.

Débit attendu du plug-in

Pour un environnement configuré conformément aux consignes de l'article Optimisez les performances, le plug-in peut extraire 38 Go par heure. Les performances réelles peuvent varier en fonction de la charge du système Cloud Data Fusion et SAP, ou du trafic réseau.

Étape suivante