Source de réplication SAP SLT

Cette page explique comment activer la réplication en temps réel des données des applications SAP vers Google Cloud à l'aide de SAP Landscape Transformation (SLT). Le contenu s'applique aux plug-ins SAP SLT Replication et SAP SLT No RFC Replication, qui sont disponibles dans Cloud Data Fusion Hub. Il présente les configurations permettant d'effectuer les opérations suivantes dans SAP Source System, SLT, Cloud Storage et Cloud Data Fusion:

  • Transférez des métadonnées et des données de table SAP vers Google Cloud à l'aide de SAP SLT.
  • Créer une tâche de réplication Cloud Data Fusion qui lit les données à partir d'un bucket Cloud Storage

SAP SLT Replication vous permet de répliquer vos données en continu et en temps réel à partir de sources SAP vers BigQuery. Vous pouvez configurer et exécuter des transferts de données à partir de systèmes SAP sans aucun codage.

Le processus de réplication SLT de Cloud Data Fusion est le suivant:

  1. Les données proviennent d'un système source SAP.
  2. Le SLT suit et lit les données, puis les transfère vers Cloud Storage.
  3. Cloud Data Fusion extrait les données du bucket de stockage et les écrit dans BigQuery.

Vous pouvez transférer des données à partir de systèmes SAP compatibles, y compris les systèmes SAP hébergés dans Google Cloud.

Pour en savoir plus, consultez la page Présentation de SAP sur Google Cloud et les informations sur l'assistance.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants :

  • Créer des pipelines dans Cloud Data Fusion
  • Gestion des accès avec IAM
  • Configurer SAP Cloud et les systèmes de progiciels de gestion intégrés (ERP) sur site

Les administrateurs et les utilisateurs qui effectuent les configurations

Les tâches de cette page sont effectuées par les personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d'utilisateur Description
Administrateur Google Cloud Les utilisateurs affectés à ce rôle sont des administrateurs de comptes Google Cloud.
Utilisateur Cloud Data Fusion Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Le rôle Lecteur de Data Fusion (roles/datafusion.viewer) leur est accordé au minimum. Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP Les utilisateurs affectés à ce rôle sont les administrateurs du système SAP. Ils ont accès au téléchargement du logiciel depuis le site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Opérations de réplication compatibles

Le plug-in SAP SLT Replication prend en charge les opérations suivantes:

Modélisation des données: toutes les opérations de modélisation des données (enregistrement insert, delete et update) sont compatibles avec ce plug-in.

Définition des données: comme décrit dans la note SAP 2055599 (connexion à l'assistance SAP requise pour afficher), il existe des limites quant aux modifications de la structure de la table système source qui sont répliquées automatiquement par SLT. Certaines opérations de définition de données ne sont pas compatibles avec le plug-in (vous devez les propager manuellement).

  • Compatible :
    • Ajouter un champ non-clé (après avoir apporté des modifications dans SE11, activer la table à l'aide de SE14)
  • Éléments non compatibles :
    • Champ "Ajouter/Supprimer une clé"
    • Supprimer le champ non clé
    • Modifier les types de données

Exigences SAP

Les éléments suivants sont requis dans votre système SAP:

  • Votre serveur SLT 2011 SP17 ou une version ultérieure est installé sur le système SAP source (intégré) ou en tant que système de hub SLT dédié dédié.
  • Votre système SAP source est SAP ECC ou SAP S/4HANA, compatible avec DMIS 2011 SP17 ou une version ultérieure, telle que DMIS 2018, DMIS 2020.
  • Votre module complémentaire d'interface utilisateur SAP doit être compatible avec votre version de SAP NetWeaver.

  • Votre formule d'assistance prend en charge la classe /UI2/CL_JSON PL 12 ou ultérieure. Sinon, implémentez la dernière note SAP pour la classe /UI2/CL_JSON corrections en fonction de la version du module complémentaire de votre interface utilisateur, telle que la note SAP 2798102 pour PL12.

  • La sécurité suivante est en place:

Exigences de Cloud Data Fusion

  • Vous avez besoin d'une instance Cloud Data Fusion version 6.4.0 ou ultérieure, n'importe quelle édition.
  • Le compte de service attribué à l'instance Cloud Data Fusion dispose des rôles requis (consultez la section Accorder l'autorisation d'utilisateur à un compte de service).
  • L'appairage de VPC est requis pour les instances Cloud Data Fusion privées.

Exigences de Google Cloud

Créer le bucket de stockage

Avant de créer un job de réplication SLT, créez le bucket Cloud Storage. La tâche transfère les données dans le bucket et actualise le bucket de préproduction toutes les cinq minutes. Lorsque vous exécutez la tâche, Cloud Data Fusion lit les données dans le bucket de stockage et les écrit dans BigQuery.

Si SLT est installé sur Google Cloud

Le serveur SLT doit être autorisé à créer et à modifier des objets Cloud Storage dans le bucket que vous avez créé.

Accordez au minimum les rôles suivants au compte de service:

Si SLT n'est pas installé sur Google Cloud

Installez Cloud VPN ou Cloud Interconnect entre la VM SAP et Google Cloud pour autoriser la connexion à un point de terminaison de métadonnées interne (consultez la section Configurer l'accès privé à Google pour les hôtes sur site).

Si les métadonnées internes ne peuvent pas être mappées:

  • Installez la Google Cloud CLI en fonction du système d'exploitation de l'infrastructure sur laquelle SLT s'exécute.

  • Créez un compte de service dans le projet Google Cloud où Cloud Storage est activé.

  • Sur le système d'exploitation SLT, autorisez l'accès à Google Cloud à l'aide d'un compte de service.

  • Créer une clé API pour le compte de service et autoriser le champ d'application associé à Cloud Storage.

  • Importez la clé API dans la gcloud CLI installée précédemment à l'aide de la CLI.

  • Pour activer la commande de gcloud CLI qui imprime le jeton d'accès, configurez la commande du système d'exploitation SAP dans l'outil de transaction SM69 du système SLT.

L'administrateur SAP configure la commande du système d'exploitation, SM69, qui récupère un jeton d'accès à partir de Google Cloud.

Créez un script pour imprimer un jeton d'accès et configurez une commande du système d'exploitation SAP pour appeler le script en tant qu'utilisateur <sid>adm à partir de l'hôte SAP LT Replication Server.

Linux

Pour créer une commande de système d'exploitation, procédez comme suit:

  1. Sur l'hôte SAP LT Replication Server, dans un répertoire accessible à <sid>adm, créez un script bash contenant les lignes suivantes:

    PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  2. À l'aide de l'interface utilisateur SAP, créez une commande pour le système d'exploitation externe:

    1. Saisissez la transaction SM69.
    2. Cliquez sur Créer.
    3. Dans la section Command (Commande) du panneau External Command (Commande externe), saisissez le nom de la commande, par exemple ZGOOGLE_CDF_TOKEN.

    4. Dans la section Définition :

      1. Dans le champ Commande du système d'exploitation, saisissez sh comme extension de fichier de script.

      2. Dans le champ Paramètres pour la commande de système d'exploitation, saisissez :

        /PATH_TO_SCRIPT/FILE_NAME.sh

    5. Cliquez sur Enregistrer.

    6. Pour tester le script, cliquez sur Exécuter.

    7. Cliquez à nouveau sur Exécuter.

    Un jeton Google Cloud est renvoyé et affiché en bas du panneau de l'interface utilisateur SAP.

Windows

À l'aide de l'interface utilisateur SAP, créez une commande de système d'exploitation externe:

  1. Saisissez la transaction SM69.
  2. Cliquez sur Créer.
  3. Dans la section Command (Commande) du panneau External Command (Commande externe), saisissez le nom de la commande, par exemple ZGOOGLE_CDF_TOKEN.

  4. Dans la section Définition :

    1. Dans le champ Commande de système d'exploitation, saisissez cmd /c.

    2. Dans le champ Paramètres pour la commande de système d'exploitation, saisissez :

      gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  5. Cliquez sur Enregistrer.

  6. Pour tester le script, cliquez sur Exécuter.

  7. Cliquez à nouveau sur Exécuter.

Un jeton Google Cloud est renvoyé et affiché en bas du panneau de l'interface utilisateur SAP.

Exigences concernant le format SLT

La configuration du connecteur SLT doit être la suivante:

  • Le connecteur est compatible avec SAP ECC NW 7.02, DMIS 2011 SP17 et versions ultérieures.
  • Configurer une connexion RFC ou à une base de données entre le SLT et le système Cloud Storage
  • Configurez les certificats SSL :
    • Téléchargez les certificats CA suivants à partir du dépôt Google Trust Services :
      • GTS Root R1
      • GTS CA 1C3
    • Dans l'interface utilisateur SAP, utilisez la transaction STRUST pour importer les certificats racine et subordonnés dans le dossier SSL Client (Standard) PSE.
  • Le gestionnaire de communication Internet (ICM) doit être configuré pour HTTPS. Assurez-vous que les ports HTTP et HTTPS sont gérés et activés dans le système SAP SLT. Pour vérifier si c'est le cas, utilisez le code de transaction SMICM > Services.
  • Activez l'accès aux API Google Cloud sur la VM sur laquelle le système SAP SLT est hébergé. Cela permet une communication privée entre les services Google Cloud sans routage via l'Internet public.
  • Assurez-vous que le réseau peut gérer le volume et la vitesse requis pour le transfert de données entre l'infrastructure SAP et Cloud Storage. Pour une installation réussie, nous vous recommandons d'utiliser Cloud VPN et/ou Cloud Interconnect. Le débit de l'API de diffusion dépend des quotas client qui ont été attribués à votre projet Cloud Storage.

Configurer le serveur de réplication SLT

L'utilisateur SAP effectue les étapes suivantes.

Dans les étapes suivantes, vous connectez le serveur SLT au système source et au bucket dans Cloud Storage, en spécifiant le système source, les tables de données à répliquer et le bucket de stockage cible.

Configurer le SDK Google ABAP

Pour configurer le SLT pour la réplication des données (une fois par instance Cloud Data Fusion), procédez comme suit:

  1. Pour configurer le connecteur SLT, l'utilisateur SAP saisit les informations suivantes sur l'écran de configuration (Transaction SAP /GOOG/CDF_SETTINGS) concernant la clé de compte de service Google Cloud pour le transfert de données vers Cloud Storage. Configurez les propriétés suivantes dans la table /GOOG/CDF_CLT_KY à l'aide de la transaction SE16 et notez cette clé:

    • NOM: nom de votre clé de compte de service (par exemple, CDFSLT)
    • SERVICE ACCOUNT NAME: nom du compte de service IAM
    • SCOPE: champ d'application du compte de service
    • PROJECT ID (ID DU PROJET) : ID de votre projet Google Cloud
    • Facultatif: Commande OS EXT: n'utilisez ce champ que si SLT n'est pas installé sur Google Cloud.

    • CLASSE D'AUTHENTIFICATION: si la commande du système d'exploitation est configurée dans la table /GOOG/CDF_CLT_KY, utilisez la valeur fixe: /GOOG/CDF_CL_GCP_AUTH.

    • TOKEN REFRESH SEC: durée d'actualisation du jeton d'autorisation

Saisissez les détails de la clé de compte de service

Configurer la réplication

Créez une configuration de réplication dans le code de transaction: LTRC.

  • Avant de procéder à la configuration du protocole LTRC, assurez-vous que la connexion RFC entre le SLT et le système SAP source est établie.
  • Pour une configuration SLT, plusieurs tables SAP peuvent être attribuées pour la réplication.

  1. Accédez au code de transaction LTRC, puis cliquez sur New Configuration (Nouvelle configuration).

    Saisissez les détails de la clé de compte de service

  2. Renseignez les champs Configuration Name (Nom de la configuration) et Description (Description), puis cliquez sur Next (Suivant).

  3. Spécifiez la connexion RFC du système source SAP, puis cliquez sur Next (Suivant).

    Spécifier les détails de la connexion RFC du système source

  4. Dans "Target System Connection Details" (Détails de la connexion système cible), sélectionnez Other (Autre).

  5. Développez le champ Scenario for RFC Communication (Scénario pour la communication RFC), sélectionnez SLT SDK (SDK SLT), puis cliquez sur Next (Suivant).

  6. Accédez à la fenêtre Specify Transfer Settings (Spécifier les paramètres de transfert) et saisissez le nom de l'application: ZGOOGLE_CDF.

    Spécifier les paramètres de transfert

  7. Renseignez les champs Nombre de tâches de transfert de données, Nombre de tâches de chargement initial et Nombre de tâches de calcul. Pour en savoir plus sur les performances, consultez le guide d'optimisation des performances de SAP LT Replication Server.

  8. Cliquez sur Temps réel > Suivant.

  9. Vérifiez la configuration, puis cliquez sur Enregistrer. Notez l'ID de transfert en masse pour les étapes suivantes.

    Enregistrez la configuration et notez l&#39;ID du transfert de masse

  10. Pour conserver l'ID de transfert de masse et les détails de la table SAP, exécutez la transaction SAP: /GOOG/CDF_SETTINGS.

  11. Cliquez sur Exécuter ou appuyez sur F8.

  12. Créez une entrée en cliquant sur l'icône d'ajout de ligne.

    1. Saisissez l'ID de transfert en masse, la clé de transfert en masse, le nom de la clé GCP et le bucket GCS cible. Cochez la case Is Active (Est actif), puis enregistrez les modifications.

      Saisir les détails du transfert en masse

  13. Sélectionnez la configuration dans la colonne Configuration Name (Nom de la configuration), puis cliquez sur Data Provisioning (Provisionnement des données).

    Sélectionner le provisionnement des données

  14. (Facultatif) Personnalisez le nom du tableau et des champs.

    1. Cliquez sur Noms personnalisés, puis enregistrez.

    2. Cliquez sur Affichage.

    3. Créez une entrée en cliquant sur les boutons Ajouter une ligne ou Créer.

    4. Saisissez le nom de la table SAP et le nom de la table externe à utiliser dans BigQuery, puis enregistrez les modifications.

    5. Cliquez sur le bouton Afficher dans la colonne Afficher les champs pour conserver le mappage des champs de la table.

    6. Une page s'ouvre avec des suggestions de mappage. Facultatif: Modifiez le nom du champ temporaire et la description du champ, puis enregistrez les mappages.

  15. Accédez à la transaction LTRC.

  16. Sélectionnez la valeur dans la colonne Configuration Name (Nom de la configuration), puis cliquez sur Data Provisioning (Provisionnement des données).

  17. Saisissez le nom de la table dans le champ Nom de la table dans la base de données et sélectionnez le scénario de réplication.

    Sélectionner le scénario de réplication

  18. Cliquez sur Exécuter. Cette opération déclenche la mise en œuvre du SDK SLT et commence à transférer les données vers le bucket cible dans Cloud Storage.

Installer les fichiers de transport SAP

Pour concevoir et exécuter des tâches de réplication dans Cloud Data Fusion, les composants SAP sont fournis sous forme de fichiers de transport SAP archivés dans un fichier ZIP. Le téléchargement est disponible lorsque vous déployez le plug-in dans Cloud Data Fusion Hub.

Télécharger le fichier ZIP du transport SAP SLT

Les ID de requête de transport SAP et les fichiers associés sont fournis dans le tableau suivant:

ID de transport Fichier cofile Fichier de données Contenus
ED1K900520 K900520.ED1 R900520.ED1 Implémentation de SAP BADI ES_IUUC_REPL_RUNTIME_OLO_EXIT
ED1K900337 K900337.ED1 R900337.ED1 Rôle d'autorisation /GOOG/SLT_CDF_AUTH

Pour installer les transports SAP, procédez comme suit:

Étape 1 : Importer les fichiers de requête de transport

  1. Connectez-vous au système d'exploitation de l'instance SAP.
  2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès au dossier DIR_TRANS. En règle générale, le chemin d'accès est /usr/sap/trans/.
  3. Copiez les cofiles dans le dossier DIR_TRANS/cofiles.
  4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
  5. Définissez l'utilisateur et le groupe de données et le cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport à l'aide du système de gestion du transport SAP ou du système d'exploitation:

Système de gestion du transport SAP

  1. Connectez-vous au système SAP en tant qu'administrateur SAP.
  2. Saisissez le code STMS de la transaction.
  3. Cliquez sur Présentation > Importations.
  4. Dans la colonne Queue (File d'attente), double-cliquez sur le SID actuel.
  5. Cliquez sur Extras > Autres requêtes > Ajouter.
  6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
  7. Sélectionnez la demande de transport dans la file d'attente d'importation, puis cliquez sur Demander > Importer.
  8. Saisissez le numéro client.

  9. Dans l'onglet Options, sélectionnez Écraser les versions d'origine et Ignorer la version de composant non valide (si disponible).

    Facultatif: Pour réimporter les transports ultérieurement, cliquez sur Laisser les requêtes de transport dans la file d'attente pour une importation ultérieure et Réimporter les requêtes de transport. Cela est utile pour les mises à niveau du système SAP et les restaurations de sauvegarde.

  10. Cliquez sur Continuer.

  11. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide de transactions telles que SE80 et PFCG.

Système d'exploitation

  1. Connectez-vous au système SAP en tant qu'administrateur SAP.

  2. Ajoutez des requêtes au tampon d'importation:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Par exemple : tp addtobuffer IB1K903958 DD1

  3. Importez les requêtes de transport:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Remplacez NNN par le numéro client. Exemple : tp import IB1K903958 DD1 client=800 U1238.

  4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et PFCG.

Autorisations SAP requises

Pour exécuter un pipeline de données dans Cloud Data Fusion, vous avez besoin d'un utilisateur SAP. L'utilisateur SAP doit être de type "Communications" ou "Boîte de dialogue". Pour empêcher l'utilisation des ressources de boîte de dialogue SAP, le type "Communications" est recommandé. Les utilisateurs peuvent être créés par l'administrateur SAP à l'aide du code de transaction SAP SU01.

Des autorisations SAP sont requises pour gérer et configurer le connecteur pour SAP, une combinaison d'objets d'autorisation de connecteur SAP standard et nouveaux. Vous gérez les objets d'autorisation en fonction des règles de sécurité de votre organisation. La liste suivante décrit certaines autorisations importantes requises pour le connecteur:

  • Objet d'autorisation: l'objet d'autorisation ZGOOGCDFMT est envoyé dans le cadre du rôle de requête de transport.

  • Créer un rôle: créez un rôle à l'aide du code de transaction PFCG.

    Créer un rôle à l&#39;aide d&#39;un code de transaction SAP

  • Pour les objets d'autorisation SAP standards, votre organisation gère les autorisations avec son propre mécanisme de sécurité.

  • Pour les objets d'autorisation personnalisée, indiquez des valeurs dans les champs d'autorisation de l'objet d'autorisation ZGOOGCDFMT.

  • Pour un contrôle des accès précis, ZGOOGCDFMT fournit une autorisation basée sur des groupes d'autorisation. Les utilisateurs disposant d'un accès complet, partiel ou inexistant aux groupes d'autorisation reçoivent l'accès en fonction du groupe d'autorisation attribué dans leur rôle.

  • /GOOG/SLT_CDF_AUTH: rôle avec accès à tous les groupes d'autorisation. Pour restreindre l'accès spécifique à un groupe d'autorisation particulier, conservez le FICDF du groupe d'autorisation dans la configuration.

Créer une destination RFC pour la source

Avant de commencer la configuration, assurez-vous que la connexion RFC est établie entre la source et la destination.

  1. Accédez au code de transaction SM59.

  2. Cliquez sur Create > Connection Type 3 (ABAP Connection) (Créer > Type de connexion > Connexion ABAP).

    Créer un code de transaction

  3. Dans la fenêtre Technical Settings (Paramètres techniques), saisissez les détails de la destination RFC.

  4. Cliquez sur l'onglet Connexion et sécurité pour gérer les identifiants RFC (utilisateur et mot de passe RFC).

  5. Cliquez sur Enregistrer.

  6. Cliquez sur Test de connexion. Si le test est concluant, vous pouvez continuer.

  7. Vérifiez que le test d'autorisation RFC aboutit.

  8. Cliquez sur Utilitaires > Test > Test d'autorisation.

Configurer le plug-in

Pour configurer le plug-in, déployez-le à partir du hub, créez un job de réplication, puis configurez la source et la cible en procédant comme suit.

Déployer le plug-in dans Cloud Data Fusion

L'utilisateur Cloud Data Fusion effectue les étapes suivantes.

Avant de pouvoir exécuter la tâche de réplication Cloud Data Fusion, déployez le plug-in SAP SLT Replication:

  1. Accédez à votre instance:

    1. Dans la console Google Cloud, accédez à la page Instances de Cloud Data Fusion.

      Accéder à la page "Instances"

    2. Activez la réplication dans une instance nouvelle ou existante:

      • Pour créer une instance, cliquez sur Créer une instance, saisissez un nom d'instance, cliquez sur Ajouter des accélérateurs, cochez la case Réplication, puis cliquez sur Enregistrer.
      • Pour une instance existante, consultez la section Activer la réplication sur une instance existante.

    3. Cliquez sur Afficher l'instance pour ouvrir l'instance dans l'interface Web de Cloud Data Fusion.

  2. Cliquez sur Hub.

  3. Accédez à l'onglet SAP, cliquez sur SAP SLT, puis sur SAP SLT Replication Plugin ou SAP SLT No RFC Replication Plugin.

  4. Cliquez sur Déployer.

Créer un job de réplication

Le plug-in SAP SLT Replication lit le contenu des tables SAP à l'aide d'un bucket de préproduction de l'API Cloud Storage.

Pour créer un job de réplication pour votre transfert de données, procédez comme suit:

  1. Dans votre instance ouverte Cloud Data Fusion, cliquez sur Accueil > Réplication > Créer une tâche de réplication. Si vous ne voyez pas d'option Réplication, activez la réplication pour l'instance.

  2. Saisissez un nom et une description uniques pour la tâche de réplication.

  3. Cliquez sur Suivant.

Configurer la source

  1. Configurez la source en saisissant des valeurs dans les champs suivants:

    • ID du projet: ID de votre projet Google Cloud (ce champ est prérempli)

    • Chemin d'accès GCS pour la réplication de données: chemin d'accès Cloud Storage contenant les données pour la réplication. Il doit s'agir du même chemin d'accès configuré dans les jobs SAP SLT. En interne, le chemin d'accès fourni est concaténé avec Mass Transfer ID et Source Table Name:

      Format : gs://<base-path>/<mass-transfer-id>/<source-table-name>

      Exemple : gs://slt_bucket/012/MARA

    • GUID: identifiant unique attribué à l'ID de transfert de masse SAP SLT.

    • ID de transfert en masse: l'ID de transfert groupé SLT est un identifiant unique attribué à la configuration dans SAP SLT.

    • SAP JCo Library Path (Chemin d'accès GCS de la bibliothèque SAP JCo) : chemin d'accès de stockage contenant les fichiers de la bibliothèque SAP JCo importés par l'utilisateur. Les bibliothèques SAP JCo peuvent être téléchargées à partir du portail d'assistance SAP. (Supprimé dans la version 0.10.0 du plug-in.)

    • SLT Server Host (Hôte du serveur SLT) : nom d'hôte ou adresse IP du serveur SLT (Supprimé dans la version 0.10.0 du plug-in.)

    • SAP System Number: numéro du système d'installation fourni par l'administrateur système (par exemple, 00). (Supprimé dans la version 0.10.0 du plug-in.)

    • Client SAP: client SAP à utiliser (par exemple, 100). (Supprimé dans la version 0.10.0 du plug-in.)

    • SAP Language (Langage SAP) : langage d'ouverture de session SAP (par exemple, EN). (Supprimé dans la version 0.10.0 du plug-in.)

    • SAP Logon Username (Nom d'utilisateur SAP d'ouverture de session) : nom d'utilisateur SAP. (Supprimé dans la version 0.10.0 du plug-in.)

      • Recommandation: Si le nom d'utilisateur d'ouverture de session SAP change régulièrement, utilisez une macro.

    • SAP Logon Password (M): mot de passe utilisateur SAP pour l'authentification de l'utilisateur

      • Recommandation: Utilisez des macros sécurisées pour les valeurs sensibles, telles que les mots de passe. (Supprimé dans la version 0.10.0 du plug-in.)

    • Suspendre la réplication SLT lorsque la tâche de réplication SLT est arrêtée: tente d'arrêter la tâche de réplication SLT (pour les tables concernées) lorsque la tâche de réplication Cloud Data Fusion s'arrête. Peut échouer si la tâche dans Cloud Data Fusion s'arrête de manière inattendue.

    • Répliquer les données existantes: indique s'il faut répliquer les données existantes des tables sources. Par défaut, les jobs répliquent les données existantes des tables sources. Si la valeur est false, toutes les données existantes dans les tables sources sont ignorées, et seules les modifications qui se produisent après le démarrage de la tâche sont répliquées.

    • Clé de compte de service: clé à utiliser lors de l'interaction avec Cloud Storage. Le compte de service doit être autorisé à écrire dans Cloud Storage. Lors de l'exécution sur une VM Google Cloud, ce paramètre doit être défini sur auto-detect pour utiliser le compte de service associé à la VM.

  2. Cliquez sur Suivant.

Configurer la cible

Pour écrire des données dans BigQuery, le plug-in nécessite un accès en écriture à BigQuery et à un bucket de préproduction. Les événements de modification sont d'abord écrits par lots de SLT vers Cloud Storage. Elles sont ensuite chargées dans des tables de préproduction dans BigQuery. Les modifications de la table de préproduction sont fusionnées avec la table cible finale à l'aide d'une requête de fusion BigQuery.

La table cible finale comprend toutes les colonnes d'origine de la table source, ainsi qu'une colonne _sequence_num supplémentaire. Le numéro de séquence permet de s'assurer que les données ne sont ni dupliquées, ni manquées dans les scénarios d'échec de l'instance répliquée.

  1. Configurez la source en saisissant des valeurs dans les champs suivants:

    • ID du projet: projet de l'ensemble de données BigQuery. Lors de l'exécution sur un cluster Dataproc, vous pouvez laisser ce champ vide, ce qui utilisera le projet du cluster.
    • Identifiants: consultez la section Identifiants.
    • Clé de compte de service: contenu de la clé de compte de service à utiliser lors des interactions avec Cloud Storage et BigQuery. Lors de l'exécution sur un cluster Dataproc, ce champ doit rester vide, car il utilise le compte de service du cluster.
    • Dataset Name (Nom de l'ensemble de données) : nom de l'ensemble de données à créer dans BigQuery. Il est facultatif et, par défaut, le nom de l'ensemble de données est identique au nom de la base de données source. Un nom valide ne doit contenir que des lettres, des chiffres et des traits de soulignement, et sa longueur maximale est de 1 024 caractères. Tous les caractères non valides sont remplacés par un trait de soulignement dans le nom final de l'ensemble de données, et tous les caractères qui dépassent la limite de longueur sont tronqués.
    • Encryption Key Name (Nom de la clé de chiffrement) : la clé de chiffrement gérée par le client (CMEK) qui permet de sécuriser les ressources créées par cette cible. Le nom de la clé de chiffrement doit respecter le format projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>.
    • Emplacement: l'emplacement dans lequel l'ensemble de données BigQuery et le bucket de préproduction Cloud Storage sont créés. Par exemple, us-east1 pour les buckets régionaux, us pour les buckets multirégionaux (consultez la section Emplacements). Cette valeur est ignorée si un bucket existant est spécifié, car le bucket de préproduction et l'ensemble de données BigQuery sont créés au même emplacement que ce bucket.

    • Staging Bucket: bucket dans lequel les événements de modification sont écrits avant d'être chargés dans des tables de préproduction. Les modifications sont écrites dans un répertoire contenant le nom et l'espace de noms de l'instance répliquée. Vous pouvez utiliser le même bucket en toute sécurité sur plusieurs instances répliquées de la même instance. Si des instances dupliquées le partagent entre plusieurs instances, assurez-vous que l'espace de noms et le nom sont uniques, sinon le comportement n'est pas défini. Le bucket doit se trouver dans le même emplacement que l'ensemble de données BigQuery. Si aucun bucket n'est fourni, un bucket est créé pour chaque tâche et nommé df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>.

    • Intervalle de chargement (secondes): délai d'attente (en secondes) avant le chargement d'un lot de données dans BigQuery.

    • Préfixe de la table de préproduction: les modifications sont d'abord écrites dans une table de préproduction avant d'être fusionnées dans la table finale. Les noms des tables de préproduction sont générés en ajoutant ce préfixe au nom de la table cible.

    • Exiger une intervention manuelle sur la suppression: indique si une action administrative manuelle est nécessaire pour supprimer des tables et des ensembles de données en cas de suppression d'une table ou d'une base de données. Lorsque ce paramètre est défini sur "true", le réplicateur ne supprime ni la table, ni l'ensemble Au lieu de cela, il échoue et effectue de nouvelles tentatives jusqu'à ce que la table ou l'ensemble de données n'existe pas. Si l'ensemble de données ou la table n'existe pas, aucune intervention manuelle n'est requise. L'événement est ignoré normalement.

    • Activer les suppressions réversibles: si cette règle est définie sur "true", lorsque la cible reçoit un événement de suppression, la colonne _is_deleted de l'enregistrement est définie sur true. Sinon, l'enregistrement est supprimé de la table BigQuery. Cette configuration est sans opération pour une source qui génère des événements dans le désordre, et les enregistrements sont toujours supprimés de façon réversible de la table BigQuery.

  2. Cliquez sur Suivant.

Identifiants

Si le plug-in est exécuté sur un cluster Dataproc, la clé du compte de service doit être définie sur "Détection automatique". Les identifiants sont automatiquement lus à partir de l'environnement de cluster.

Si le plug-in n'est pas exécuté sur un cluster Dataproc, le chemin d'accès à une clé de compte de service doit être fourni. La clé du compte de service est disponible sur la page IAM de la console Google Cloud. Assurez-vous que la clé de compte est autorisée à accéder à BigQuery. Le fichier de clé du compte de service doit être disponible sur chaque nœud de votre cluster et doit être lisible par tous les utilisateurs exécutant la tâche.

Limites

  • Les tables doivent avoir une clé primaire pour être répliquées.
  • Les opérations de changement de nom de table ne sont pas acceptées.
  • Les modifications de table sont partiellement prises en charge.
    • Une colonne existante ne pouvant pas avoir une valeur nulle peut être transformée en une colonne pouvant avoir une valeur nulle.
    • De nouvelles colonnes pouvant avoir une valeur nulle peuvent être ajoutées à une table existante.
    • Toute autre modification apportée au schéma de la table échouera.
    • Les modifications apportées à la clé primaire n'échouent pas, mais les données existantes ne sont pas réécrites pour respecter l'unicité de la nouvelle clé primaire.

Sélectionner des tables et des transformations

À l'étape Sélectionner des tables et des transformations, la liste des tables sélectionnées pour la réplication dans le système SLT s'affiche.

  1. Sélectionnez les tables à répliquer.
  2. Facultatif: sélectionnez des opérations de schéma supplémentaires, telles que Insertions, Mises à jour ou Suppressions.
  3. Pour afficher le schéma, cliquez sur Colonnes à répliquer pour une table.

  4. Facultatif: Pour renommer des colonnes dans le schéma, procédez comme suit:

    1. Lorsque le schéma est affiché, cliquez sur Transformer > Renommer.
    2. Dans le champ Renommer, saisissez un nouveau nom, puis cliquez sur Appliquer.
    3. Pour enregistrer le nouveau nom, cliquez sur Actualiser, puis Enregistrer.

  5. Cliquez sur Suivant.

Configurer les propriétés avancées (facultatif)

Si vous connaissez la quantité de données à répliquer en une heure, vous pouvez sélectionner l'option appropriée.

Examiner l'évaluation

L'étape Examiner l'évaluation recherche les problèmes de schéma, de fonctionnalités manquantes ou de connectivité qui surviennent pendant la réplication.

  1. Sur la page Review Assessment (Examiner l'évaluation), cliquez sur View mappings (Afficher les mappages).

    Si des problèmes surviennent, vous devez les résoudre avant de continuer.

  2. Facultatif: si vous avez renommé des colonnes lorsque vous avez sélectionné vos tables et vos transformations, vérifiez que les nouveaux noms sont corrects à cette étape.

  3. Cliquez sur Suivant.

Afficher le résumé et déployer le job de réplication

Sur la page Examiner les détails de la tâche de réplication, vérifiez les paramètres, puis cliquez sur Déployer la tâche de réplication.

Sélectionner un profil Compute Engine

  1. Après avoir déployé la tâche de réplication, cliquez sur Configurer à partir de n'importe quelle page de l'interface Web de Cloud Data Fusion.

  2. Sélectionnez le profil Compute Engine que vous souhaitez utiliser pour exécuter ce job de réplication.

  3. Cliquez sur Enregistrer.

    Sélectionnez un profil de calcul dans l&#39;interface Web de Cloud Data Fusion.

Démarrer le job de réplication

  • Pour exécuter le job de réplication, cliquez sur Start (Démarrer).

Démarrer le job de réplication dans l&#39;interface Web de Cloud Data Fusion

Facultatif: optimiser les performances

Par défaut, le plug-in est configuré pour des performances optimales. Pour en savoir plus, consultez la section Arguments d'exécution.

Les performances des communications SLT et Cloud Data Fusion dépendent des facteurs suivants:

  • SLT sur le système source par rapport à un système SLT central dédié (option privilégiée)
  • Traitement des tâches en arrière-plan sur le système SLT
  • Boîte de dialogue des processus de travail sur le système SAP source
  • Nombre de processus de tâches d'arrière-plan alloués à chaque ID de transfert de masse dans l'onglet LTRC Administration (Administration LTRC)
  • Paramètres LTRS
  • Matériel (processeur et mémoire) du système SLT
  • Base de données utilisée (par exemple, HANA, Sybase ou DB2)
  • La bande passante Internet (connectivité entre le système SAP et Google Cloud via Internet)
  • Utilisation préexistante (charge) sur le système
  • Nombre de colonnes du tableau. Avec plus de colonnes, la réplication devient lente et la latence peut augmenter.

Les types de lecture suivants dans les paramètres LTRS sont recommandés pour les chargements initiaux:

Système SLT Système source Type de table Type de lecture recommandé
[charge initiale]
SLT 3.0 autonome
[DMIS 2018_1_752 SP 2] 		S/4 HANA 1909 Transparente (petite/moyenne)
Transparente (grande)
Table de cluster		 1 calcul de plage
1 calcul de plage
4 file d'attente d'expéditeurs
SLT intégré
[S4CORE 104 HANA 1909]		 Non disponible Transparente (petite/moyenne)
Transparente (grande)
Table de cluster		 1 calcul de plage
1 calcul de plage
4 file d'attente d'expéditeurs
SLT 2.0 autonome
[DMIS 2011_1_731 SP 17]		 ECC NW 7.02 Transparente (petite/moyenne)
Transparente (grande)
Table de cluster		 5 file d'attente des expéditeurs
5 file d'attente des expéditeurs
4 File d'attente des expéditeurs
SLT intégré
[DMIS 2011_1_700 SP 17]		 Non disponible Transparente (petite/moyenne)
Transparente (grande)
Table de cluster		 5 file d'attente des expéditeurs
5 file d'attente des expéditeurs
4 File d'attente des expéditeurs
  • Pour la réplication, utilisez l'option "Aucune plage" pour améliorer les performances :
    • Les plages ne doivent être utilisées que lorsque des tâches en attente sont générées dans une table de journalisation avec une latence élevée.
    • Utiliser le calcul d'une seule plage: le type de lecture pour le chargement initial n'est pas recommandé dans le cas de systèmes SLT 2.0 et autres que HANA.
    • Utilisation d'un calcul d'une plage: le type de lecture pour le chargement initial peut entraîner des enregistrements en double dans BigQuery.
  • Les performances sont toujours meilleures lorsqu'un système SLT autonome est utilisé.
  • Un système SLT autonome est toujours recommandé si l'utilisation des ressources du système source est déjà élevée.

Arguments d'exécution

  • snapshot.thread.count: transmet le nombre de threads pour commencer à charger les données SNAPSHOT/INITIAL en parallèle. Par défaut, elle utilise le nombre de processeurs virtuels disponibles dans le cluster Dataproc sur lequel le job de réplication s'exécute.

    Recommandé: ne définissez ce paramètre que si vous avez besoin d'un contrôle précis sur le nombre de threads parallèles (par exemple, pour réduire l'utilisation sur le cluster).

  • poll.file.count: transmet le nombre de fichiers à interroger à partir du chemin d'accès Cloud Storage fourni dans le champ Chemin d'accès GCS pour la réplication de données de l'interface Web. Par défaut, la valeur est 500 par sondage. Elle peut toutefois être augmentée ou réduite en fonction de la configuration du cluster.

    Recommandé: ne définissez ce paramètre que si vous avez des exigences strictes concernant le délai de réplication. Des valeurs inférieures peuvent réduire le délai. Vous pouvez l'utiliser pour améliorer le débit (en cas d'absence de réponse, utilisez des valeurs supérieures à la valeur par défaut).

  • bad.files.base.path: transmet le chemin d'accès Cloud Storage de base où sont copiés tous les fichiers de données erronés ou défectueux détectés lors de la réplication. Cela est utile lorsque des exigences strictes s'appliquent à l'audit des données et qu'un emplacement spécifique doit être utilisé pour enregistrer les échecs de transfert.

    Par défaut, tous les fichiers défectueux sont copiés à partir du chemin d'accès Cloud Storage fourni dans le champ Chemin d'accès Cloud Storage pour la réplication des données de l'interface Web.

    • Modèle de chemin d'accès final aux fichiers de données défectueux :

      gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME

    • Exemple :

      gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8
ac0640fc83c/20220205_1901205168830_DATA_INIT.xml

    Les critères d'un fichier incorrect sont les suivants : un fichier XML corrompu ou non valide, des valeurs PK manquantes ou un problème de non-concordance des types de données de champ.

Informations relatives à l'assistance

Produits et versions SAP compatibles

  • Version SAP_BASIS 702, niveau SP 0016 et versions ultérieures.
  • SAP_ABA version 702, niveau SP 0016 et versions ultérieures.
  • Version DMIS 2011_1_700, niveau SP 0017 et versions ultérieures.

Versions SLT compatibles

Les SLT versions 2 et 3 sont compatibles.

Modèles de déploiement SAP compatibles

SLT en tant que système autonome ou intégré au système source.

Notes SAP à implémenter avant de commencer à utiliser le SLT

Si votre formule d'assistance n'inclut pas de corrections de classe /UI2/CL_JSON pour PL12 ou version ultérieure, implémentez la dernière note SAP sur les corrections de classe /UI2/CL_JSON, par exemple la note SAP 2798102 pour PL12.

Recommandation: implémentez les notes SAP recommandées par le rapport CNV_NOTE_ANALYZER_SLT en fonction de la condition du système central ou source. Pour en savoir plus, consultez la note SAP 3016862 (connexion SAP requise).

Si SAP est déjà configuré, aucune remarque supplémentaire ne doit être ajoutée. Pour les erreurs ou les problèmes spécifiques, consultez la note SAP centrale de la version de votre modèle de service.

Limites applicables au volume de données ou à la largeur des enregistrements

Aucune limite n'est définie pour le volume de données extraites et la largeur des enregistrements.

Débit attendu pour le plug-in SAP SLT Replication

Dans le cas d'un environnement configuré conformément aux consignes de la section Optimiser les performances, le plug-in peut extraire environ 13 Go par heure pour le chargement initial et 3 Go par heure pour la réplication (CDC). Les performances réelles peuvent varier en fonction de la charge système ou du trafic réseau de Cloud Data Fusion et de SAP.

Compatibilité avec l'extraction de delta SAP (données modifiées)

L'extraction delta SAP est prise en charge.

Obligatoire: Appairage de locataires pour les instances Cloud Data Fusion

L'appairage de locataires est requis lorsque l'instance Cloud Data Fusion est créée avec une adresse IP interne. Pour en savoir plus sur l'appairage de locataires, consultez la section Créer une instance privée.

Résoudre les problèmes

Le job de réplication ne cesse de redémarrer

Si le job de réplication continue de redémarrer automatiquement, augmentez la mémoire du cluster de la tâche de réplication et réexécutez-le.

Éléments en double dans le récepteur BigQuery

Si vous définissez le nombre de tâches parallèles dans les paramètres avancés du plug-in SAP SLT Replication, lorsque vos tables sont volumineuses, une erreur se produit, ce qui provoque des colonnes en double dans le récepteur BigQuery.

Pour éviter ce problème, supprimez les jobs parallèles pour charger des données.

Scénarios d'erreur

Le tableau suivant répertorie certains messages d'erreur courants (le texte entre guillemets sera remplacé par des valeurs réelles au moment de l'exécution):

ID du message Message Action recommandée
CDF_SAP_SLT_01402 Service account type is not defined for SERVICE_ACCT_NAME_FROM_UI. Assurez-vous que le chemin d'accès Cloud Storage fourni est correct.
CDF_SAP_SLT_01403 Service account key provided is not valid due to error: ROOT_CAUSE. Please provide a valid service account key for service account type : SERVICE_ACCT_NAME_FROM_UI. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées.
CDF_SAP_SLT_01404 Mass Transfer ID could not be found. Please ensure that it exists in given GCS Bucket. Vérifiez que l'ID de transfert de masse donné est au bon format.
CDF_SAP_SLT_01502 The specified data replication GCS path 'slt_to_cdf_bucket_1' or Mass Transfer ID '05C' could not be found. Please ensure that it exists in GCS. Assurez-vous que le chemin d'accès Cloud Storage fourni est correct.
CDF_SAP_SLT_01400 Metadata file not found. The META_INIT.json file is not present or file is present with invalid format. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées.
CDF_SAP_SLT_03408 Failed to start the event reader. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées.
CDF_SAP_SLT_03409 Error while processing TABLE_NAME file for source table gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME /FILE_NAME. Root cause: ROOT_CAUSE. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées.
CDF_SAP_SLT_03410 Failed to replicate data for source table TABLE_NAME from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/ TABLE_NAME/FILE_NAME. Root cause: ROOT_CAUSE. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées.
CDF_SAP_SLT_03411 Failed data replication for source table TABLE_NAME. Root cause: ROOT_CAUSE. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées.
CDF_SAP_SLT_03412 Failed to create target table for source table TABLE_NAME. Root cause: ROOT_CAUSE. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées.

Mappage des types de données

Le tableau suivant montre le mappage entre les types de données utilisés dans les applications SAP et Cloud Data Fusion.

Type de données SAP Type ABAP Description (SAP) Type de données Cloud Data Fusion
Numérique
INT1 b Entier à 1 octet int
INT2 s Entier à 2 octets int
INT4 i Entier à 4 octets int
INT8 8 Entier à 8 octets long
DÉC p Nombre compressé au format BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a IEEE 754r, 8 octets décimal à virgule flottante decimal
DF34_DEC
DF34_RAW		 e IEEE 754r décimal, 16 octets à virgule flottante decimal
FLTP f Nombre à virgule flottante binaire double
Caractère
CHAR
LCHR		 c Chaîne de caractères string
SSTRING
GEOM_EWKB		 chaîne Chaîne de caractères string
STRING
GEOM_EWKB		 chaîne Chaîne de caractères CLOB bytes
NUMC
ACCP		 n Texte numérique string
Byte
RAW
LRAW		 x Données binaires bytes
RAWSTRING xchaîne BLOB de chaîne d'octets bytes
Date/Heure
DATS d Date date
Tim t Temps time
TIMESTAMP utcl ( Utclong )
TimeStamp		 timestamp

Étapes suivantes