Source de lot SAP ODP

Cette page fournit des conseils sur la configuration du plug-in SAP ODP dans Cloud Data Fusion.

La SAP ODP permet d'intégrer des données de manière groupée à partir d'applications SAP BigQuery ou d'autres systèmes cibles compatibles utilisant Cloud Data Fusion. Le plug-in offre les fonctionnalités clés suivantes:

Versions logicielles compatibles

Logiciel Versions
SAP S4/HANA SAP S4/HANA 1909 et versions ultérieures
SAP ECC SAP ERP6 NW 7.31 SP16 et versions ultérieures
SAP JCo SAP JCo version 3.0.20 et versions ultérieures
Cloud Data Fusion 6.3 et versions ultérieures

Pour en savoir plus sur SAP sur Google Cloud, consultez la présentation de SAP sur Google Cloud.

Avant de commencer

Configurez les systèmes et services suivants qui sont utilisés par le plug-in SAP ODP:

  1. Configurez le système SAP ERP. Ce processus comprend les étapes suivantes :
    • Installez les fichiers de transport SAP.
    • Configurez les autorisations et les rôles SAP requis.
    • Configurez le connecteur SAP Java.

  2. Déployez le plug-in ODP dans Cloud Data Fusion.

    • Important : Choisissez une version de plug-in compatible avec la version de Cloud Data Fusion.
    • Si vous mettez à niveau la version de votre instance ou de votre plug-in Cloud Data Fusion, évaluez l'impact des modifications sur la portée fonctionnelle et les performances du pipeline.

  3. Établissez une connectivité RFC entre Cloud Data Fusion et SAP.

    • Assurez-vous que la communication est activée entre l'instance Cloud Data Fusion et le serveur SAP.
    • Pour les instances privées, configurez Appairage de réseaux VPC.
    • Le système SAP et l'instance Cloud Data Fusion doivent tous deux dans le même projet.

Configurer le plug-in

  1. Accéder à l'interface Web de Cloud Data Fusion puis cliquez sur Studio.
  2. Vérifiez que Pipeline de données – lot est sélectionné (et non Temps réel).
  3. Dans le menu Source, cliquez sur SapODP. Le nœud SAP ODP s'affiche dans votre pipeline.
  4. Pour configurer la source, accédez au nœud SAP ODP et cliquez sur Propriétés :

  5. Saisissez les propriétés suivantes. Pour obtenir la liste complète, consultez Propriétés :

    1. Saisissez un libellé pour le nœud SAP ODP, par Exemple : SAP ODP tables.

    2. Saisissez les informations de connexion. Vous pouvez configurer une connexion ponctuelle ou une connexion existante réutilisable.

      Nouvelle connexion

      Pour ajouter une connexion ponctuelle à SAP, procédez comme suit :

      1. Laissez l'option Utiliser la connexion désactivée.

      2. Dans la section Connexion, saisissez les informations suivantes du compte SAP dans les champs suivants :

        1. Dans le champ Nom de la référence, saisissez un nom pour la connexion qui identifie cette source pour la lignée.
        2. Dans le champ Client SAP, saisissez le nom du client une instance ou un environnement spécifique au sein de SAP. Un administrateur SAP peut fournir le nom du client.
        3. Dans le champ SAP language (Langue SAP), saisissez une langue d'ouverture de session SAP. La valeur par défaut est EN (Anglais).

        4. Sélectionnez l'un des types de connexion suivants.

          • Direct (via le serveur d'applications SAP) : Si vous choisissez ce type par défaut, saisissez les informations dans les champs suivants : Hôte de serveur d'application SAP, Numéro de système SAP et Routeur SAP.
          • Équilibrage de charge (via le serveur de messages SAP) Si vous choisissez ce type, renseignez les champs suivants: SAP Message Server host (Hôte de serveur de messages SAP), service de serveur de messages SAP ou numéro de port, ID système SAP (SID) et ouverture de session SAP nom du groupe.

        5. Dans le champ Context (Contexte), sélectionnez le type de source de données que vous utilisez.

        6. Dans le champ Nom de la source ODP SAP, saisissez le nom de la source de données que vous utilisez.

        7. Dans le champ Type d'extraction, sélectionnez le type de données. l'extraction de caractéristiques. La valeur par défaut est Complet (toutes les données).

        8. Fournissez les identifiants SAP : demandez à l'administrateur SAP le nom d'utilisateur de connexion SAP et le mot de passe.

        9. Dans le champ Chemin d'accès Cloud Storage de la bibliothèque JCo, saisissez le chemin d'accès du connecteur Java SAP (SAP JCo) dans Cloud Storage qui contient les fichiers de bibliothèque SAP JCo que vous avez importés.

        10. Générer un schéma basé sur les métadonnées de SAP qui mappe Types de données SAP aux données Cloud Data Fusion correspondantes cliquez sur Obtenir un schéma. Pour en savoir plus, consultez la section Données les mappages de types de données.

        11. Facultatif : pour optimiser la charge d'ingestion à partir de SAP, saisissez les informations dans les champs suivants :

          1. Dans le champ Nom d'abonné SAP ODP, identifiez le pour extraire les données d'un serveur Source de données.
          2. Les options de filtrage vous permettent d'extraire des enregistrements en fonction de conditions de sélection.
          3. Dans le champ Number of splits (Nombre de divisions), vous pouvez créer des partitions pour extraire les enregistrements de données en parallèle, ce qui améliore les performances. Le nombre de fractionnements peut avoir une incidence sur les processus de travail SAP et doit être sélectionné avec soin.
          4. Dans le champ Taille du package, spécifiez le nombre d'enregistrements à extraire dans un seul appel réseau SAP. La taille du package a un impact sur les performances et les ressources disponibles. Elle doit donc être sélectionnée avec soin.

      Connexion réutilisable

      Pour réutiliser une connexion existante, procédez comme suit:

      1. Activez l'option Utiliser la connexion.
      2. Cliquez sur Parcourir les connexions.

      3. Cliquez sur le nom de la connexion.

      Si aucune connexion n'existe, procédez comme suit pour en créer une réutilisable :

      1. Cliquez sur Ajouter une connexion > SapOdp.
      2. Sur la page Créer une connexion SapOdp qui s'ouvre, saisissez un nom et une description de la connexion.
      3. Dans le champ Client SAP, saisissez le nom du client une instance ou un environnement spécifique dans SAP. Un administrateur SAP peut fournir le nom du client.
      4. Dans le champ SAP language (Langue SAP), saisissez une langue d'ouverture de session SAP. La valeur par défaut est EN (anglais).

      5. Sélectionnez l'un des types de connexion suivants.

        • Direct (via le serveur d'applications SAP) Si vous choisissez ce type par défaut, saisissez les informations dans les champs suivants : Hôte de serveur d'application SAP, Numéro de système SAP et Routeur SAP.
        • Équilibrage de charge (via le serveur de messagerie SAP). Si vous choisissez ce type, renseignez les champs suivants: SAP Message Server host (Hôte de serveur de messages SAP), service de serveur de messages SAP ou numéro de port, ID système SAP (SID) et ouverture de session SAP nom du groupe.

      6. Dans le champ "Nom de la source SAP ODP", saisissez le nom de la source de données ODP SAP.

      7. Fournissez les identifiants SAP : demandez à l'administrateur SAP les valeurs Nom d'utilisateur pour la connexion SAP et Mot de passe.

      8. Dans le champ JCo Library Cloud Storage path (Chemin d'accès à la bibliothèque JCo Cloud Storage), saisissez le Chemin d'accès au connecteur Java (SAP JCo) dans Cloud Storage qui contient les fichiers de la bibliothèque SAP JCo que vous avez importés.

      9. Dans le champ Temps d'attente, saisissez un délai d'attente (en secondes). avant la prochaine nouvelle tentative (par exemple, 60).

      10. Dans le champ Nombre de nouvelles tentatives, saisissez le nombre maximal de de nouvelles tentatives (par exemple, 3).

      11. Facultatif : dans le champ Propriétés de connexion SAP supplémentaires, saisissez les paires clé-valeur qui doivent remplacer les valeurs par défaut de SAP JCo.

      12. Cliquez sur Créer.

Propriétés

Propriété Macro activée Propriété obligatoire Description
Label Non Oui Nom du nœud de votre pipeline de données.
Utiliser la connexion Non Non Utilisez une connexion réutilisable. Si une connexion est utilisée, vous n'avez pas besoin de fournir les identifiants. Pour en savoir plus, consultez la page Gérer les connexions.
Nom Non Oui Nom de la connexion réutilisable.
Client SAP Oui Oui Instance ou environnement spécifique d'un système SAP.
Langage SAP Oui Oui Langue dans laquelle l'interface utilisateur et les données SAP sont affichées et traitées.
Type de connexion Non Oui Le type de connexion SAP: Direct ou Load équilibrés.
Hôte du serveur d'applications SAP Oui Non Pour le type de connexion Direct uniquement, ce nom d'hôte provient du serveur d'application SAP, qui sert de couche middleware entre les clients SAP (tels que l'interface Web SAP, les navigateurs Web ou les applications mobiles) et la base de données sous-jacente.
Numéro de système SAP Oui Non Pour le type de connexion Direct uniquement, ce nombre correspond au un identifiant unique attribué à chaque système SAP. Par exemple, 00.
Routeur SAP Oui Non Pour le type de connexion Direct uniquement, il s'agit du routeur. pour le serveur proxy, qui fournit un canal sécurisé la communication entre les systèmes SAP et les clients ou partenaires externes.
Hôte du serveur de messages SAP Oui Non Pour le type de connexion Équilibrage de charge uniquement, il s'agit de la le nom de l'hôte, ce qui facilite l'équilibrage de charge entre plusieurs d'applications Web dans SAP.
Service ou numéro de port du serveur de messages SAP Oui Non Pour le type de connexion Équilibrage de charge uniquement, il s'agit de la port réseau sur lequel le serveur de messagerie SAP écoute les connexions entrantes depuis les clients et serveurs d'applications SAP.
ID système SAP (SID) Oui Non Pour le type de connexion Équilibrage de charge uniquement, cet ID est est attribué à chaque système SAP.
Nom du groupe d'ouverture de session SAP Oui Non Nom du regroupement ou de la configuration logique de plusieurs SAP serveurs d'applications. La valeur par défaut est PUBLIC.
Type d'objet N/A N/A Types d'objets compatibles: DataSources/Extractors, ou Services principaux de données ABAP.
Nom de la source SAP ODP Oui Oui Nom de la source de données SAP ou de la vue CDS (par exemple, 2LIS_02_ITM).
Type d'extraction Oui Oui Le plug-in accepte les deux types d'extraction de données suivants:
  • Complet (toutes les données) : extrait toutes les données disponibles.
  • Synchronisation (sélection automatique basée sur les exécution): détermine si la valeur est complète, delta (incrémentiel) ou de récupération (récupération des données de la dernière exécution) doit être exécuté, le type et l'état d'exécution précédents disponibles dans SAP. Il extrait de données complètes lors de l'exécution initiale du pipeline (mode ODP F) et les modifications des données dans les exécutions de pipeline ultérieures (modes ODP D, R).
Nom d'utilisateur d'ouverture de session SAP Oui Oui Nom d'utilisateur pour SAP
Recommandé : Si le nom d'utilisateur change régulièrement, utilisez une macro.
Mot de passe de connexion SAP Oui Oui Mot de passe SAP.
Recommandation : utilisez des macros sécurisées.
ID de projet GCP Oui Oui ID de projet Google Cloud
Chemin d'accès GCS à la bibliothèque SAP JCo Oui Oui Chemin d'accès à Cloud Storage sur lequel vous avez importé le fichier SAP JCo les fichiers de bibliothèque.
Obtenir le schéma N/A N/A Le plug-in génère un schéma basé sur les métadonnées de SAP, qui mappe les types de données SAP sur les types de données Cloud Data Fusion correspondants. Consultez la section Mappage des types de données.
Nom de l'abonné SAP ODP Oui Oui Abonnement ODP pour l'extraction de données à partir d'une source de données SAP ou d'une vue CDS valide. Il doit comporter les éléments suivants:
  • 32 caractères maximum, sans espaces
  • Ne contenir que a à z, A à Z, 0 à 9, _ ou /
  • Unique pour différents pipelines qui extraient des données à partir de la même source de données SAP
Si ce champ est laissé vide, Cloud Data Fusion génère un ID à l'aide d'une combinaison de l'ID du projet, de l'espace de noms et des noms de pipeline. Vous pouvez réutiliser un abonnement précédent, tel qu'un abonnement créé par un tiers .
Temps d'attente Oui Non Cette propriété permet aux ingénieurs de données de sélectionner un temps d'attente approprié après chaque appel réseau de Cloud Data Fusion vers SAP.
Nombre de nouvelles tentatives Oui Non Nombre de tentatives de nouvelle tentative en attendant la fin de l'appel réseau.
Options de filtrage (égal à) Oui Non La valeur d'un champ doit être lue.
Les options de filtre sont des listes de noms de champs de métadonnées et de leurs paires de valeurs. Ils définissent la condition de filtre à appliquer lors de la lecture de données à partir d'un serveur SAP Source de données. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Elle doit être d'un un type simple (autres que ARRAY, RECORD ou UNION). Exemple d'utilisation:
Nom du champ: MTART
Valeur: FERT
Options de filtrage (plage) Oui Non Les limites inférieure et supérieure définissent la valeur qu'un champ doit avoir pour être lu.
Les options de filtre sont des listes de noms de champs de métadonnées et de leurs paires de valeurs. Ils définissent la condition de filtre à appliquer lors de la lecture de données à partir d'un serveur SAP Source de données. Seuls les enregistrements qui remplissent les conditions sont extraits.
La clé de filtre correspond à un champ du schéma. La plage se présente comme suit : low (faible) ET high (élevé). Exemple d'utilisation:
Nom du champ: ERDAT
Valeur la plus faible: 2023-11-01
Valeur élevée: 2023-11-30
Options de filtrage (inférieure ou égale) Oui Non Valeur à laquelle un champ doit être inférieur ou égal.
Les options de filtre sont des listes de noms de champs de métadonnées et de leurs paires de valeurs. Elles définissent la condition de filtre à appliquer lors de la lecture de données à partir d'une source de données SAP. Seuls les enregistrements qui remplissent les conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Elle doit être d'un un type simple (autres que ARRAY, RECORD ou UNION). Exemple d'utilisation:
Nom du champ: MATNR
Valeur: 10008
Options de filtrage (supérieur égal à) Oui Non Valeur qu'un champ doit être supérieur à pour être lu.
Les options de filtre sont des listes de noms de champs de métadonnées et de leurs paires de valeurs. Ils définissent la condition de filtre à appliquer lors de la lecture de données à partir d'un serveur SAP Source de données. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Elle doit être d'un un type simple (autres que ARRAY, RECORD ou UNION). Exemple d'utilisation:
Nom du champ: MATNR
Valeur: 10008
Options de filtrage (pas les mêmes) Oui Non Définit la valeur à laquelle un champ ne doit pas être égal pour être lu.
Les options de filtrage sont des listes de noms de champs de métadonnées et de leurs paires de valeurs. Elles définissent la condition de filtre à appliquer lors de la lecture de données à partir d'une source de données SAP. Seuls les enregistrements correspondant aux conditions sont extraits.
La clé de filtre correspond à un champ du schéma. Il doit être de type simple (pas ARRAY, RECORD ou UNION). Exemple d'utilisation :
Nom du champ : MTART
Valeur : FERT
Nombre de divisions à générer Oui Non Crée des partitions permettant d'extraire les enregistrements en parallèle.
Le moteur d'exécution crée le nombre de partitions spécifié connexions) lors de l'extraction des enregistrements.
Soyez prudent lorsque vous augmentez cette valeur, car elle augmente la valeur des connexions simultanées avec SAP.
Recommandation: prévoyez les connexions SAP pour chaque élément pipeline et le nombre total de pipelines exécutés simultanément.
Si la valeur est 0 ou n'est pas renseignée, Cloud Data Fusion choisit une valeur appropriée, en fonction du nombre d'exécuteurs disponibles, des enregistrements à extraire et de la taille du package.
Taille du package (en Ko) Oui Non Nombre d'enregistrements à extraire en un seul appel réseau SAP. Il est le nombre d'enregistrements mis en mémoire tampon par SAP en mémoire lors de chaque réseau .
Soyez prudent lorsque vous définissez cette propriété. Si plusieurs pipelines de données extraient des données, cela peut augmenter l'utilisation de la mémoire et entraîner des échecs imputables à des erreurs Out of memory.
  • Saisissez un nombre entier positif.
  • Si la valeur est 0 ou n'est pas renseignée, le plug-in utilise une valeur standard de 70 000. une valeur correctement calculée.
  • Si le pipeline de données échoue en raison d'erreurs Out of memory, réduisez la taille du package ou augmentez la mémoire disponible pour vos processus de travail SAP.
Propriétés de connexion SAP supplémentaires Oui Non Définissez des propriétés SAP JCo supplémentaires pour remplacer les valeurs par défaut de SAP JCo. Par exemple, la valeur jco.destination.pool_capacity = 10 remplace la capacité par défaut du pool de connexions.

Mappages des types de données

Le tableau suivant liste les types de données SAP avec les types Cloud Data Fusion correspondants.

Type de données SAP Type ABAP SAP description Type de données Cloud Data Fusion
INT1 (numérique) b Entier à 1 octet entier
INT2 (numérique) s Entier à 2 octets entier
INT4 (numérique) i Entier à 4 octets entier
INT8 (numérique) 8 Entier à 8 octets long
DEC (numérique) p Nombre compressé au format BCD (DEC) decimal
DF16_DEC, DF16_RAW (numérique) a Virgule flottante décimale 8 octets IEEE 754r double
DF34_DEC, DF34_RAW (numérique) e Virgule flottante décimale 16 octets IEEE 754r double
FLTP (numérique) f Nombre à virgule flottante binaire double
CHAR, LCHR (caractère) c Chaîne de caractères chaîne
SSTRING, GEOM_EWKB (caractère) chaîne Chaîne de caractères chaîne
STRING (caractère) chaîne Chaîne de caractères CLOB bytes
NUMC, ACCP (caractère) n Texte numérique chaîne
RAW, LRAW (octet) x Données binaires bytes
RAWSTRING (octet) xstring BLOB de chaîne d'octets bytes
DATS (date/heure) d Date date
TIMS (date/heure) t Heure temps
TIMS (date/heure) utcl Utclong), code temporel timestamp

Limites

Pour vous assurer que les pipelines sont correctement définis et exécutés, consultez les limites du plug-in suivantes :

  • Les tailles de paquets supérieures à 50 000 octets ne sont pas acceptées.
  • Les sources de données qui ne sont pas compatibles avec l'extraction delta échouent en mode "Sync" (Synchronisation).
  • Dans une source de données personnalisée, si la taille du package n'est pas gérée, le pipeline échoue lors d'extractions de données volumineuses.

Cas d'utilisation

Deux contextes d'extraction sont acceptés:

  • Sources de données ou extracteurs (SAPI)
  • Contexte ODP CDS ABAP (ABAP_CDS)

Le plug-in ODP est compatible avec les sources de données standards et personnalisées suivantes pour les deux contextes :

Source de données ODP Contexte Extraction complète Extraction delta
SAP Standard pré-livré SAPI Compatible Compatible
Personnalisé (Z*) SAPI Compatible Compatible
SAP Standard pré-livré ABAP_CDS Compatible Compatible
Personnalisé (Z*) ABAP_CDS Compatible Compatible

Étape suivante