Source de lot SAP ODP

Cette page fournit des conseils sur la configuration du plug-in SAP ODP dans Cloud Data Fusion.

Le plug-in SAP ODP permet l'intégration groupée de données issues d'applications SAP avec BigQuery ou d'autres systèmes cibles compatibles à l'aide de Cloud Data Fusion. Voici les principales fonctionnalités du plug-in :

Versions logicielles compatibles

Logiciel Versions
SAP S4/HANA SAP S4/HANA 1909 et versions ultérieures
SAP ECC SAP ERP6 NW 7.31 SP16 et versions ultérieures
SAP JCo SAP JCo version 3.0.20 et versions ultérieures
Cloud Data Fusion 6.3 et versions ultérieures

Pour en savoir plus sur SAP sur Google Cloud, consultez la présentation de SAP sur Google Cloud.

Avant de commencer

Configurez les systèmes et services suivants utilisés par le plug-in SAP ODP :

  1. Configurez le système SAP ERP. Ce processus comprend les étapes suivantes :
    • Installez les fichiers de transport SAP.
    • Configurez les autorisations et les rôles SAP requis.
    • Configurez le connecteur Java SAP.

  2. Déployez le plug-in ODP dans Cloud Data Fusion.

    • Important : Choisissez une version du plug-in compatible avec la version de Cloud Data Fusion.
    • Si vous mettez à niveau la version de votre instance ou de votre plug-in Cloud Data Fusion, évaluez l'impact des modifications sur le champ d'application fonctionnel et les performances du pipeline.

  3. Établissez une connectivité RFC entre Cloud Data Fusion et SAP.

    • Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP.
    • Pour les instances privées, configurez l'appairage de réseaux VPC.
    • Le système SAP et l'instance Cloud Data Fusion doivent se trouver dans le même projet.

Configurer le plug-in

  1. Accédez à l'interface Web de Cloud Data Fusion, puis cliquez sur Studio.
  2. Vérifiez que Pipeline de données - lot est sélectionné (et non Temps réel).
  3. Dans le menu Source, cliquez sur SapODP. Le nœud SAP ODP s'affiche dans votre pipeline.
  4. Pour configurer la source, accédez au nœud SAP ODP et cliquez sur Propriétés.

  5. Saisissez les propriétés suivantes. Pour obtenir la liste complète, consultez Propriétés.

    1. Saisissez un libellé pour le nœud SAP ODP (par exemple, SAP ODP tables).

    2. Saisissez les informations de connexion. Vous pouvez configurer une nouvelle connexion ponctuelle ou une connexion existante réutilisable.

      Nouvelle connexion

      Pour ajouter une connexion ponctuelle à SAP, procédez comme suit :

      1. Laissez l'option Utiliser la connexion désactivée.

      2. Dans la section Connexion, saisissez les informations suivantes du compte SAP dans les champs correspondants :

        1. Dans le champ Nom de la référence, saisissez un nom pour la connexion qui identifie cette source pour l'ascendance.
        2. Dans le champ Client SAP, saisissez le nom du client d'une instance ou d'un environnement spécifique dans SAP. Un administrateur SAP peut fournir le nom du client.
        3. Dans le champ Langage SAP, saisissez un langage de connexion SAP. La valeur par défaut est EN (anglais).

        4. Sélectionnez l'un des types de connexion suivants.

          • Directement (via le serveur d'application SAP) Si vous choisissez ce type par défaut, saisissez des informations dans les champs suivants : Hôte de serveur d'application SAP, Numéro du système SAP et Routeur SAP.
          • Équilibré (via le serveur de messages SAP) Si vous choisissez ce type, saisissez des informations dans les champs suivants : Hôte de serveur de messages SAP, Service de serveur de messages ou numéro de port SAP, ID système SAP (SID) et Nom du groupe de connexion SAP.

        5. Dans le champ Contexte, sélectionnez le type de source de données que vous utilisez.

        6. Dans le champ Nom de la source SAP ODP, saisissez le nom de la source de données que vous utilisez.

        7. Dans le champ Type d'extraction, sélectionnez le type d'extraction de données. La valeur par défaut est Complète (toutes les données).

        8. Fournissez les identifiants SAP : demandez à l'administrateur SAP le nom d'utilisateur de connexion SAP et le mot de passe.

        9. Dans le champ Chemin d'accès Cloud Storage de la bibliothèque JCo, saisissez le chemin d'accès SAP Java Connector (SAP JCo) dans Cloud Storage qui contient les fichiers de bibliothèque SAP JCo que vous avez importés.

        10. Pour générer un schéma basé sur les métadonnées de SAP qui mappe les types de données SAP sur les types de données Cloud Data Fusion correspondants, cliquez sur Obtenir le schéma. Pour en savoir plus, consultez Mappages des types de données.

        11. Facultatif : pour optimiser la charge d'ingestion depuis SAP, saisissez des informations dans les champs suivants :

          1. Dans le champ Nom d'abonné SAP ODP, identifiez l'abonné pour l'extraction de données à partir d'une source de données valide.
          2. Les options de filtrage vous permettent d'extraire des enregistrements en fonction de conditions de sélection.
          3. Dans le champ Nombre de divisions, vous pouvez créer des partitions pour extraire les enregistrements de données en parallèle, ce qui améliore les performances. Le nombre de fractionnements peut avoir une incidence sur les processus de travail SAP et doit être sélectionné avec soin.
          4. Dans le champ Taille du package, spécifiez le nombre d'enregistrements à extraire dans un seul appel réseau SAP. La taille du package a un impact sur les performances et les ressources disponibles. Vous devez donc la sélectionner avec soin.

      Connexion réutilisable

      Pour réutiliser une connexion existante, procédez comme suit :

      1. Activez l'option Utiliser la connexion.
      2. Cliquez sur Parcourir les connexions.

      3. Cliquez sur le nom de la connexion.

      Si aucune connexion n'existe, procédez comme suit pour en créer une réutilisable :

      1. Cliquez sur Ajouter une connexion> SapOdp.
      2. Sur la page Créer une connexion SapOdp qui s'ouvre, saisissez un nom et une description pour la connexion.
      3. Dans le champ Client SAP, saisissez le nom du client d'une instance ou d'un environnement spécifique dans SAP. Un administrateur SAP peut fournir le nom du client.
      4. Dans le champ Langage SAP, saisissez un langage de connexion SAP. La valeur par défaut est EN (anglais).

      5. Sélectionnez l'un des types de connexion suivants.

        • Directement (via le serveur d'application SAP) Si vous choisissez ce type par défaut, saisissez des informations dans les champs suivants : Hôte de serveur d'application SAP, Numéro de système SAP et Routeur SAP.
        • Équilibré (via le serveur de messages SAP) Si vous choisissez ce type, saisissez des informations dans les champs suivants : Hôte de serveur de messages SAP, Service de serveur de messages ou numéro de port SAP, ID système SAP (SID) et Nom du groupe d'ouvertures de session SAP.

      6. Dans le nom de la source SAP ODP, saisissez le nom de la source de données ODP provenant de SAP.

      7. Fournissez les identifiants SAP : demandez à l'administrateur SAP les valeurs Nom d'utilisateur de connexion SAP et Mot de passe.

      8. Dans le champ Chemin d'accès Cloud Storage de la bibliothèque JCo, saisissez le chemin d'accès SAP Java Connector (SAP JCo) dans Cloud Storage contenant les fichiers de bibliothèque SAP JCo que vous avez importés.

      9. Dans le champ Temps d'attente, saisissez le temps d'attente (en secondes) avant la prochaine tentative (par exemple, 60).

      10. Dans le champ Nombre de tentatives, saisissez le nombre maximal de nouvelles tentatives (par exemple, 3).

      11. Facultatif : Dans le champ Propriétés de connexion SAP supplémentaires, saisissez les paires clé/valeur qui doivent remplacer les valeurs par défaut de SAP JCo.

      12. Cliquez sur Créer.

Propriétés

Propriété Macro activée Propriété requise Description
Label Non Oui Nom du nœud dans votre pipeline de données.
Utiliser la connexion Non Non Utilisez une connexion réutilisable. Si une connexion est utilisée, vous n'avez pas besoin de fournir les identifiants. Pour en savoir plus, consultez Gérer les connexions.
Nom Non Oui Nom de la connexion réutilisable.
Client SAP Oui Oui Instance ou environnement spécifique dans un système SAP.
Langue SAP Oui Oui Langue dans laquelle l'interface utilisateur et les données SAP sont affichées et traitées.
Type de connexion Non Oui Type de connexion SAP : Direct ou Équilibrage de charge.
Hôte du serveur d'applications SAP Oui Non Pour le type de connexion Direct uniquement, ce nom d'hôte provient du serveur d'application SAP, qui sert de couche intermédiaire entre les clients SAP (tels que l'interface Web SAP, les navigateurs Web ou les applications mobiles) et la base de données sous-jacente.
Numéro de système SAP Oui Non Pour le type de connexion Direct uniquement, ce nombre correspond à l'identifiant unique attribué à chaque système SAP. Par exemple, 00.
Routeur SAP Oui Non Pour le type de connexion Direct uniquement, il s'agit de la chaîne de routeur pour le serveur proxy, qui fournit un canal sécurisé pour la communication entre les systèmes SAP et les clients ou partenaires externes.
Hôte du serveur de messages SAP Oui Non Pour le type de connexion Équilibrage de charge uniquement, il s'agit du nom de l'hôte, qui facilite l'équilibrage de charge sur plusieurs serveurs d'application dans SAP.
Service de serveur de messages ou numéro de port SAP Oui Non Pour le type de connexion Équilibrage de charge uniquement, il s'agit du port réseau sur lequel le serveur de messagerie SAP écoute les connexions entrantes des clients SAP et des serveurs d'applications dans SAP.
ID système SAP (SID) Oui Non Pour le type de connexion Équilibrage de charge uniquement, cet ID est attribué à chaque système SAP.
Nom du groupe d'ouverture de session SAP Oui Non Nom du regroupement logique ou de la configuration de plusieurs serveurs d'application SAP. La valeur par défaut est PUBLIC.
Type d'objet N/A N/A Les types d'objets acceptés sont DataSources/Extractors ou ABAP Core Data Services.
Nom de la source SAP ODP Oui Oui Nom de la source de données SAP ou de la vue CDS (par exemple, 2LIS_02_ITM).
Type d'extraction Oui Oui Le plug-in accepte les deux types d'extraction de données suivants :
  • Complet (toutes les données) : extrait toutes les données disponibles.
  • Synchronisation (sélection automatique basée sur l'exécution précédente) : détermine si le mode complet, delta (incrémentiel) ou de récupération (récupération des données à partir de la dernière exécution) doit être exécuté en fonction du type et de l'état de l'exécution précédente, tous deux disponibles dans SAP. L'opération extrait l'ensemble des données lors de l'exécution initiale du pipeline (ODP en mode F) et les modifie lors des exécutions ultérieures du pipeline (ODP en mode D ou R).
Nom d'utilisateur de connexion SAP Oui Oui Nom d'utilisateur pour SAP
Recommandation : Si le nom d'utilisateur change régulièrement, utilisez une macro.
Mot de passe de connexion SAP Oui Oui Mot de passe SAP.
Recommandation : utilisez des macros sécurisées.
ID du projet GCP Oui Oui ID du projetGoogle Cloud .
Chemin d'accès GCS de la bibliothèque SAP JCo Oui Oui Chemin d'accès à Cloud Storage où vous avez importé les fichiers de bibliothèque SAP JCo.
Obtenir le schéma N/A N/A Le plug-in génère un schéma basé sur les métadonnées de SAP, qui mappe les types de données SAP sur les types de données Cloud Data Fusion correspondants. Consultez Mappage des types de données.
Nom de l'abonné SAP ODP Oui Oui Abonné ODP pour l'extraction de données à partir d'une source de données ou d'une vue CDS SAP valides. Il doit comporter les éléments suivants :
  • 32 caractères maximum, sans espaces
  • Ne contenir que des valeurs comprises entre a et z, entre A et Z, entre 0 et 9, _ ou /
  • Unique pour différents pipelines qui extraient des données à partir de la même source de données SAP
Si le champ est laissé vide, Cloud Data Fusion génère un ID en combinant l'ID du projet, l'espace de noms et les noms des pipelines. Vous pouvez réutiliser un abonnement précédent, par exemple celui créé par un outil tiers.
Temps d'attente Oui Non Cette propriété permet aux ingénieurs des données de sélectionner un temps d'attente approprié après chaque appel réseau de Cloud Data Fusion à SAP.
Nombre de nouvelles tentatives Oui Non Nombre de tentatives de nouvelle tentative lors de l'attente de la fin de l'appel réseau.
Options de filtrage (égal à) Oui Non Valeur qu'un champ doit avoir pour être lu.
Les options de filtre sont des listes de noms de champs de métadonnées et des paires de valeurs associées. Elles définissent la condition de filtre à appliquer lors de la lecture de données à partir d'une source de données SAP. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Il doit être de type simple (ni ARRAY, ni RECORD, ni UNION). Exemple d'utilisation :
Nom du champ : MTART
Valeur : FERT
Options de filtrage (plage) Oui Non Les limites inférieure et supérieure de la plage dans laquelle la valeur d'un champ doit être lue.
Les options de filtre sont des listes de noms de champs de métadonnées et des paires de valeurs associées. Elles définissent la condition de filtre à appliquer lors de la lecture de données à partir d'une source de données SAP. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. La plage se présente comme suit : low (faible) ET high (élevé). Exemple d'utilisation :
Nom du champ : ERDAT
Valeur faible : 2023-11-01
Valeur élevée : 2023-11-30
Options de filtrage (inférieur ou égal) Oui Non Valeur à laquelle un champ doit être inférieur ou égal.
Les options de filtre sont des listes de noms de champs de métadonnées et des paires de valeurs associées. Elles définissent la condition de filtre à appliquer lors de la lecture de données à partir d'une source de données SAP. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Il doit être de type simple (ni ARRAY, ni RECORD, ni UNION). Exemple d'utilisation :
Nom du champ : MATNR
Valeur : 10008
Options de filtrage (supérieur ou égal) Oui Non Valeur à partir de laquelle un champ doit être supérieur pour être lu.
Les options de filtre sont des listes de noms de champs de métadonnées et des paires de valeurs associées. Elles définissent la condition de filtre à appliquer lors de la lecture de données à partir d'une source de données SAP. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Il doit être de type simple (ni ARRAY, ni RECORD, ni UNION). Exemple d'utilisation :
Nom du champ : MATNR
Valeur : 10008
Options de filtrage (différent de) Oui Non Définit la valeur à laquelle un champ ne doit pas être égal pour être lu.
Les options de filtre sont des listes de noms de champs de métadonnées et des paires de valeurs associées. Elles définissent la condition de filtre à appliquer lors de la lecture de données à partir d'une source de données SAP. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Il doit être de type simple (ni ARRAY, ni RECORD, ni UNION). Exemple d'utilisation :
Nom du champ : MTART
Valeur : FERT
Nombre de divisions à générer Oui Non Crée des partitions permettant d'extraire les enregistrements en parallèle.
Le moteur d'exécution crée le nombre de partitions spécifié (et les connexions SAP) lors de l'extraction des enregistrements.
Soyez prudent lorsque vous augmentez cette valeur, car elle augmente le nombre de connexions simultanées avec SAP.
Recommandation : planifiez les connexions SAP pour chaque pipeline et le nombre total de pipelines exécutés simultanément.
Si la valeur est définie sur 0 ou n'est pas renseignée, Cloud Data Fusion choisit une valeur appropriée en fonction du nombre d'exécuteurs disponibles, du nombre d'enregistrements à extraire et de la taille du package.
Taille du package (en Ko) Oui Non Nombre d'enregistrements à extraire dans un seul appel réseau SAP. Il s'agit du nombre d'enregistrements que SAP met en mémoire tampon lors de chaque appel d'extraction de réseau.
Soyez prudent lorsque vous définissez cette propriété. Si plusieurs pipelines de données extraient des données, cela peut augmenter l'utilisation de la mémoire et entraîner des échecs imputables à des erreurs Out of memory.
  • Saisissez un nombre entier positif.
  • Si le champ est défini sur 0 ou n'est pas renseigné, le plug-in utilise une valeur standard de 70 000 ou une valeur calculée de manière appropriée.
  • Si le pipeline de données échoue en raison d'erreurs Out of memory, réduisez la taille du package ou augmentez la mémoire disponible pour vos processus de travail SAP.
Propriétés de connexion SAP supplémentaires Oui Non Définissez des propriétés SAP JCo supplémentaires pour remplacer les valeurs par défaut de SAP JCo. Par exemple, la définition de jco.destination.pool_capacity = 10 remplace la capacité du pool de connexions par défaut.

Mappages des types de données

Le tableau suivant répertorie les types de données SAP avec les types Cloud Data Fusion correspondants.

Type de données SAP Type ABAP SAP description Type de données Cloud Data Fusion
INT1 (numérique) b Entier à 1 octet int
INT2 (numérique) s Entier à 2 octets int
INT4 (numérique) i Entier à 4 octets int
INT8 (numérique) 8 Entier à 8 octets long
DEC (numérique) p Nombre compressé au format BCD (DEC) decimal
DF16_DEC, DF16_RAW (numérique) a Virgule flottante décimale 8 octets IEEE 754r double
DF34_DEC, DF34_RAW (numérique) e Virgule flottante décimale 16 octets IEEE 754r double
FLTP (numérique) f Nombre à virgule flottante binaire double
CHAR, LCHR (caractère) c Chaîne de caractères chaîne
SSTRING, GEOM_EWKB (caractère) chaîne Chaîne de caractères chaîne
STRING (caractère) chaîne Chaîne de caractères CLOB bytes
NUMC, ACCP (caractère) n Texte numérique chaîne
RAW, LRAW (octet) x Données binaires bytes
RAWSTRING (octet) xstring BLOB de chaîne d'octets bytes
DATS (date/heure) j Date date
TIMS (date/heure) t Heure temps
TIMS (date/heure) utcl Utclong), TimeStamp timestamp

Limites

Pour vous assurer que les pipelines sont correctement définis et exécutés, examinez les limites suivantes des plug-ins :

  • Les tailles de package supérieures à 50 000 ne sont pas acceptées.
  • Les sources de données qui ne sont pas compatibles avec l'extraction delta échouent en mode "Synchroniser".
  • Dans une source de données personnalisée, si la taille du package n'est pas gérée, le pipeline échoue lors des extractions de données volumineuses.

Cas d'utilisation

Deux contextes d'extraction sont acceptés :

  • Sources de données ou extracteurs (SAPI)
  • Contexte ODP ABAP CDS (ABAP_CDS)

Le plug-in ODP est compatible avec les sources de données standards et personnalisées suivantes pour les deux contextes :

Source de données ODP Contexte Extraction complète Extraction delta
SAP Standard pré-livré SAPI Compatible Compatible
Personnalisé (Z*) SAPI Compatible Compatible
SAP Standard pre delivered ABAP_CDS Compatible Compatible
Personnalisé (Z*) ABAP_CDS Compatible Compatible

Étapes suivantes