Source de réplication SAP SLT

Cette page explique comment activer la réplication en temps réel des données de SAP vers Google Cloud à l'aide de SAP Landscape Transformation (SLT). La s'applique aux ressources SAP SLT Replication et SAP SLT No RFC Replication qui sont disponibles dans Cloud Data Fusion Hub. Elle montre pour les configurations SAP Source System, SLT, Cloud Storage et Cloud Data Fusion pour effectuer les opérations suivantes:

  • Transférez des métadonnées et des données de table SAP vers Google Cloud à l'aide de SAP SLT.
  • Créez une tâche de réplication Cloud Data Fusion qui lit les données d'un bucket Cloud Storage.

SAP SLT Replication vous permet de répliquer vos données en continu et en temps réel à partir de sources SAP dans BigQuery. Vous pouvez configurer et exécuter des transferts de données depuis SAP des systèmes sans codage.

Le processus de réplication SLT de Cloud Data Fusion est le suivant:

  1. Les données proviennent d'un système source SAP.
  2. Le SLT suit et lit les données, puis les transfère vers Cloud Storage.
  3. Cloud Data Fusion extrait les données du bucket de stockage et les écrit dans BigQuery.

Vous pouvez transférer des données à partir de systèmes SAP compatibles, y compris des systèmes SAP hébergés dans Google Cloud.

Pour en savoir plus, consultez la présentation de SAP sur Google Cloud et les informations d'assistance.

Avant de commencer

Pour utiliser ce plug-in, vous devez connaître les domaines suivants :

  • Créer des pipelines dans Cloud Data Fusion
  • Gestion des accès avec IAM
  • Configurer SAP Cloud et les systèmes de progiciels de gestion intégrés (ERP) sur site

Les administrateurs et les utilisateurs qui effectuent les configurations

Les tâches de cette page sont effectuées par les personnes disposant des rôles suivants dans Google Cloud ou dans leur système SAP:

Type d'utilisateur Description
Administrateur Google Cloud Les utilisateurs affectés à ce rôle sont des administrateurs de comptes Google Cloud.
Utilisateur Cloud Data Fusion Les utilisateurs auxquels ce rôle est attribué sont autorisés à concevoir et à exécuter des pipelines de données. Le rôle Lecteur de Data Fusion (roles/datafusion.viewer) leur est accordé au minimum. Si vous utilisez le contrôle des accès basé sur les rôles, vous aurez peut-être besoin de rôles supplémentaires.
Administrateur SAP Les utilisateurs affectés à ce rôle sont les administrateurs du système SAP. Ils ont accès au téléchargement du logiciel depuis le site de service SAP. Il ne s'agit pas d'un rôle IAM.
Utilisateur SAP Les utilisateurs auxquels ce rôle est attribué sont autorisés à se connecter à un système SAP. Il ne s'agit pas d'un rôle IAM.

Opérations de réplication compatibles

Le plug-in SAP SLT Replication est compatible avec les opérations suivantes :

Modélisation des données: toutes les opérations de modélisation des données (enregistrement insert, delete et update) sont compatibles avec ce plug-in.

Définition des données: Tel que décrit dans Note SAP 2055599 (connexion à l'assistance SAP requise pour consulter), la source est limitée Les modifications de la structure d'une table système sont automatiquement répliquées par SLT. Certaines données les opérations de définition ne sont pas prises en charge par le plug-in (vous devez les propager).

  • Compatible :
    • Ajouter un champ non clé (après avoir effectué des modifications dans SE11, activez la table à l'aide de SE14)
  • Éléments non compatibles:
    • Champ "Ajouter/Supprimer une clé"
    • Supprimer le champ non clé
    • Modifier les types de données

Exigences concernant SAP

Les éléments suivants sont requis dans votre système SAP:

  • Le serveur SLT 2011 SP17 ou une version ultérieure est installé sur la source Système SAP (intégré) ou en tant que système de hub SLT dédié dédié.
  • Votre système SAP source est SAP ECC ou SAP S/4HANA, compatible avec DMIS 2011 SP17 ou version ultérieure, par exemple DMIS 2018, DMIS 2020
  • Votre module complémentaire d'interface utilisateur SAP doit être compatible avec votre version de SAP NetWeaver.

  • Votre formule d'assistance est compatible avec la classe /UI2/CL_JSON PL 12 ou une version ultérieure. Dans le cas contraire, implémentez la dernière note SAP pour la classe /UI2/CL_JSON corrections en fonction de la version de votre module complémentaire d'interface utilisateur, comme la note SAP 2798102 pour PL12.

  • La sécurité suivante est en place:

Exigences de Cloud Data Fusion

  • Vous avez besoin d'une instance Cloud Data Fusion version 6.4.0 ou ultérieure, édition.
  • Le compte de service attribué à l'instance Cloud Data Fusion disposant des rôles requis (consultez la section Accorder une autorisation utilisateur à un compte de service).
  • L'appairage de VPC est requis pour les instances Cloud Data Fusion privées.

Exigences de Google Cloud

Créer le bucket de stockage

Avant de créer un job de réplication SLT, Créer le bucket Cloud Storage La tâche transfère les données dans le bucket et actualise le bucket de préproduction toutes les cinq minutes. Lorsque vous exécutez la tâche, Cloud Data Fusion lit les données dans le et l'écrit dans BigQuery.

Si SLT est installé sur Google Cloud

Le serveur SLT doit être autorisé à créer et modifier Cloud Storage dans le bucket que vous avez créé.

Accordez au minimum les rôles suivants au compte de service:

Si SLT n'est pas installé sur Google Cloud

Installer Cloud VPN ou Cloud Interconnect entre la VM SAP et Google Cloud pour autoriser la connexion à un point de terminaison de métadonnées interne (consultez Configurer l'accès privé à Google pour les hôtes sur site

Si les métadonnées internes ne peuvent pas être mappées:

  • Installer la Google Cloud CLI en fonction du système d'exploitation de l'infrastructure sur lequel le SLT est exécuté.

  • Créez un compte de service dans le projet Google Cloud où Cloud Storage est activé.

  • Sur le système d'exploitation SLT, autoriser l'accès à Google Cloud avec un compte de service.

  • Créer une clé API pour le compte de service et autoriser champ d'application lié à Cloud Storage.

  • Importez la clé API dans la gcloud CLI installée précédemment à l'aide de la CLI.

  • Pour activer la commande gcloud CLI qui affiche le jeton d'accès, configurez SAP Operating System Command dans l'outil de transaction SM69 le système SLT.

L'administrateur SAP configure la commande du système d'exploitation, SM69, qui qui récupère un jeton d'accès depuis Google Cloud.

Créer un script pour imprimer un jeton d'accès et configurer un système d'exploitation SAP permettant d'appeler le script en tant qu'utilisateur <sid>adm à partir de SAP LT Replication Server hôte.

Linux

Pour créer une commande de système d'exploitation, procédez comme suit:

  1. Sur l'hôte SAP LT Replication Server, dans un répertoire accessible à <sid>adm, créez un script bash contenant les lignes suivantes:

    PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  2. À l'aide de l'interface utilisateur SAP, créez une commande pour le système d'exploitation externe:

    1. Saisissez la transaction SM69.
    2. Cliquez sur Créer.
    3. Dans la section Command (Commande) du panneau External Command (Commande externe), saisissez Nom de la commande, par exemple ZGOOGLE_CDF_TOKEN.

    4. Dans la section Définition :

      1. Dans le champ Commande du système d'exploitation, saisissez sh comme .

      2. Dans le champ Paramètres pour la commande de système d'exploitation, saisissez :

        /PATH_TO_SCRIPT/FILE_NAME.sh

    5. Cliquez sur Enregistrer.

    6. Pour tester le script, cliquez sur Exécuter.

    7. Cliquez à nouveau sur Exécuter.

    Un jeton Google Cloud est renvoyé et affiché au bas du panneau d'interface utilisateur de SAP.

Windows

À l'aide de l'interface utilisateur SAP, créez une commande de système d'exploitation externe:

  1. Saisissez la transaction SM69.
  2. Cliquez sur Créer.
  3. Dans la section Command (Commande) du panneau External Command (Commande externe), saisissez nom de la commande, par exemple ZGOOGLE_CDF_TOKEN.

  4. Dans la section Définition :

    1. Dans le champ Commande de système d'exploitation, saisissez cmd /c.

    2. Dans le champ Paramètres pour la commande de système d'exploitation, saisissez :

      gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  5. Cliquez sur Enregistrer.

  6. Pour tester le script, cliquez sur Exécuter.

  7. Cliquez à nouveau sur Exécuter.

Un jeton Google Cloud est renvoyé et affiché au bas du panneau d'interface utilisateur de SAP.

Exigences concernant le format SLT

La configuration du connecteur SLT doit être la suivante:

  • Le connecteur est compatible avec SAP ECC NW 7.02, DMIS 2011 SP17 et versions ultérieures.
  • Configurez une connexion RFC ou à une base de données entre le SLT et le Système Cloud Storage.
  • Configurez les certificats SSL :
    • Téléchargez les certificats CA suivants depuis le Dépôt Google Trust Services: <ph type="x-smartling-placeholder">
        </ph>
      • GTS Root R1
      • GTS CA 1C3
    • Dans l'interface utilisateur SAP, utilisez la transaction STRUST pour importer les deux les certificats racine et subordonnés dans le dossier SSL Client (Standard) PSE.
  • Le gestionnaire de communication Internet (ICM) doit être configuré pour HTTPS. Assurez-vous que les ports HTTP et HTTPS sont gérés et activés dans le système SAP SLT. Vous pouvez le vérifier à l'aide du code de transaction SMICM > Services.
  • Activez l'accès aux API Google Cloud sur la VM sur laquelle le service SAP SLT est hébergé. Cela permet une communication privée entre aux services Google Cloud sans routage via l'Internet public.
  • S'assurer que le réseau peut gérer le volume et la vitesse requis pour les données transfert entre l'infrastructure SAP et Cloud Storage. Pour une l'installation, Cloud VPN et/ou Cloud Interconnect sont recommandé. Le débit de l'API de traitement par flux dépend du quotas clients qui ont été attribués votre projet Cloud Storage.

Configurer le serveur de réplication SLT

L'utilisateur SAP effectue les étapes suivantes.

Dans les étapes suivantes, vous allez connecter le serveur SLT au système source et le dans Cloud Storage, en spécifiant le système source, les tables de données à répliquer, et le bucket de stockage cible.

Configurer le SDK Google ABAP

Pour configurer le SLT pour la réplication des données (une fois par Cloud Data Fusion) ), procédez comme suit:

  1. Pour configurer le connecteur SLT, l'utilisateur SAP saisit les informations suivantes sur la clé de compte de service Google Cloud pour le transfert de données vers Cloud Storage dans l'écran de configuration (transaction SAP /GOOG/CDF_SETTINGS). Configurez les éléments suivants : dans la table /GOOG/CDF_CLT_KY à l'aide de la transaction SE16 et notez cette clé:

    • NAME : nom de votre clé de compte de service (par exemple, CDFSLT)
    • SERVICE ACCOUNT NAME: nom du compte de service IAM
    • SCOPE: champ d'application du compte de service
    • PROJECT ID (ID DU PROJET) : ID de votre projet Google Cloud
    • Facultatif: Commande EXT OS: n'utilisez ce champ que si SLT n'est pas installé. sur Google Cloud

    • AUTH CLASS : si la commande de l'OS est configurée dans le tableau /GOOG/CDF_CLT_KY, utilisez la valeur fixe : /GOOG/CDF_CL_GCP_AUTH.

    • TOKEN REFRESH SEC: durée d'actualisation du jeton d'autorisation

Saisissez les informations sur la clé de compte de service.

Configurer la réplication

Créez une configuration de réplication dans le code de transaction: LTRC.

  • Avant de procéder à la configuration LTRC, assurez-vous que la connexion RFC entre le SLT et le système SAP source.
  • Pour une configuration SLT, plusieurs tables SAP peuvent être attribuées pour la réplication.

  1. Accédez au code de transaction LTRC, puis cliquez sur Nouvelle configuration.

    Saisissez les détails de la clé de compte de service

  2. Saisissez le nom de la configuration et la description, puis cliquez sur Suivant.

  3. Spécifiez la connexion RFC du système source SAP, puis cliquez sur Suivant.

    Spécifier les détails de la connexion RFC du système source

  4. Dans "Target System Connection Details" (Détails de la connexion au système cible), sélectionnez Other (Autre).

  5. Développez le champ Scenario for RFC Communication (Scénario pour la communication RFC), sélectionnez SLT SDK (SDK SLT), puis cliquez sur Suivant.

  6. Accédez à la fenêtre Specify Transfer Settings (Spécifier les paramètres de transfert), puis saisissez l'application. nom: ZGOOGLE_CDF.

    Spécifier les paramètres de transfert

  7. Renseignez les champs Nombre de jobs de transfert de données et Nombre de jobs de transfert initial Tâches et le nombre de tâches de calcul. Pour en savoir plus sur consultez le guide d'optimisation des performances de SAP LT Replication Server.

  8. Cliquez sur Temps réel &gt; Suivant.

  9. Vérifiez la configuration, puis cliquez sur Enregistrer. Notez l'ID de transfert de masse pour les étapes suivantes.

    Enregistrez la configuration et notez l&#39;ID du transfert de masse

  10. Pour conserver l'ID de transfert de masse et les détails de la table SAP, exécutez la commande transaction: /GOOG/CDF_SETTINGS.

  11. Cliquez sur Exécuter ou appuyez sur F8.

  12. Créez une entrée en cliquant sur l'icône d'ajout de ligne.

    1. Saisissez l'ID de transfert de masse, la clé de transfert de masse, le nom de la clé GCP et le bucket GCS cible. Cochez la case Est actif, puis enregistrez. les modifications.

      Saisir les détails du transfert en masse

  13. Sélectionnez la configuration dans la colonne Configuration Name (Nom de la configuration), puis cliquez sur Provisionnement des données.

    Sélectionner le provisionnement des données

  14. (Facultatif) Personnalisez le nom du tableau et des champs.

    1. Cliquez sur Noms personnalisés, puis enregistrez.

    2. Cliquez sur Affichage.

    3. Créez une entrée en cliquant sur les boutons Ajouter une ligne ou Créer.

    4. Saisissez le nom de la table SAP et le nom de la table externe à utiliser dans BigQuery et enregistrez les modifications.

    5. Cliquez sur le bouton Afficher dans la colonne Afficher les champs pour conserver le mappage des champs de la table.

    6. Une page s'ouvre avec des suggestions de mappage. Facultatif: modifiez le champ temporaire Nom et Description du champ, puis enregistrez les mappages.

  15. Accédez à la transaction LTRC.

  16. Sélectionnez la valeur dans la colonne Nom de la configuration, puis cliquez sur Provisionnement de données.

  17. Saisissez le nom de la table dans le champ Nom de la table dans la base de données et sélectionnez le de réplication.

    Sélectionner le scénario de réplication

  18. Cliquez sur Exécuter. Cela déclenche l'implémentation du SDK SLT et commence en transférant les données vers le bucket cible dans Cloud Storage.

Installer les fichiers de transport SAP

Pour concevoir et exécuter des jobs de réplication dans Cloud Data Fusion, l'API SAP les composants sont transmis sous forme de fichiers de transport SAP archivés dans un fichier ZIP. Le téléchargement est disponible lorsque vous déployez le plug-in dans le hub Cloud Data Fusion.

Télécharger le fichier ZIP du transport SAP SLT

Les ID de requête de transport SAP et les fichiers associés sont fournis dans les tableau:

ID de transport Fichier cofile Fichier de données Contenu
ED1K900520 K900520.ED1 R900520.ED1 Implémentation de SAP BADI ES_IUUC_REPL_RUNTIME_OLO_EXIT
ED1K900337 K900337.ED1 R900337.ED1 Rôle d'autorisation /GOOG/SLT_CDF_AUTH

Pour installer les transports SAP, procédez comme suit:

Étape 1 : Importer les fichiers de requête de transport

  1. Connectez-vous au système d'exploitation de l'instance SAP.
  2. Utilisez le code de transaction SAP AL11 pour obtenir le chemin d'accès au dossier DIR_TRANS. En règle générale, le chemin d'accès est /usr/sap/trans/.
  3. Copiez les cofiles dans le dossier DIR_TRANS/cofiles.
  4. Copiez les fichiers de données dans le dossier DIR_TRANS/data.
  5. Définissez l'utilisateur et le groupe de données et le cofichier sur <sid>adm et sapsys.

Étape 2 : Importer les fichiers de requête de transport

L'administrateur SAP peut importer les fichiers de requête de transport à l'aide du système de gestion des transports SAP ou du système d'exploitation :

Système de gestion du transport SAP

  1. Connectez-vous au système SAP en tant qu'administrateur SAP.
  2. Saisissez le code STMS de la transaction.
  3. Cliquez sur Présentation > Importations.
  4. Dans la colonne Queue (File d'attente), double-cliquez sur le SID actuel.
  5. Cliquez sur Extras > Autres requêtes > Ajouter.
  6. Sélectionnez l'ID de la requête de transport, puis cliquez sur Continuer.
  7. Sélectionnez la demande de transport dans la file d'attente d'importation, puis cliquez sur Demander > Importer.
  8. Saisissez le numéro client.

  9. Dans l'onglet Options, sélectionnez Écraser les versions d'origine et Ignorer la version de composant non valide (si disponible).

    Facultatif: Pour réimporter les transports ultérieurement, cliquez sur Laisser les requêtes Transports dans la file d'attente pour une importation ultérieure. Réimportez les requêtes de transport. Cette fonctionnalité est utile pour les mises à niveau du système SAP et les restaurations de sauvegarde.

  10. Cliquez sur Continuer.

  11. Vérifier que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide de transactions telles que SE80 et PFCG.

Système d'exploitation

  1. Connectez-vous au système SAP en tant qu'administrateur SAP.

  2. Ajoutez des requêtes au tampon d'importation:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Par exemple : tp addtobuffer IB1K903958 DD1

  3. Importez les requêtes de transport:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Remplacez NNN par le numéro client. Exemple : tp import IB1K903958 DD1 client=800 U1238.

  4. Vérifiez que le module de fonction et les rôles d'autorisation ont bien été importés à l'aide des transactions appropriées, telles que SE80 et PFCG.

Autorisations SAP requises

Pour exécuter un pipeline de données dans Cloud Data Fusion, vous avez besoin d'un utilisateur SAP. Le SAP l'utilisateur doit être de type Communications ou Boîte de dialogue. Boîte de dialogue "Empêcher l'utilisation de SAP" ressources, le type "Communications" est recommandé. L'administrateur SAP peut créer des utilisateurs à l'aide du code de transaction SAP SU01.

Des autorisations SAP sont requises pour gérer et configurer le connecteur pour SAP, une combinaison d'objets d'autorisation de connecteur SAP standard et nouveaux. Toi gérer les objets d'autorisation en fonction des stratégies de sécurité de votre organisation. La liste suivante décrit certaines autorisations importantes requises pour le connecteur :

  • Objet d'autorisation: l'objet d'autorisation ZGOOGCDFMT est expédié en tant que du rôle de requête de transport.

  • Créer un rôle: créez un rôle à l'aide du code de transaction PFCG.

    Créer un rôle à l&#39;aide d&#39;un code de transaction SAP

  • Pour les objets d'autorisation SAP standards, votre organisation gère les autorisations avec son propre mécanisme de sécurité.

  • Pour les objets d'autorisation personnalisée, indiquez des valeurs dans les champs d'autorisation. pour les objets d'autorisation ZGOOGCDFMT.

  • Pour un contrôle des accès précis, ZGOOGCDFMT fournit un groupe d'autorisation basée sur une autorisation. Les utilisateurs disposant d'un accès complet, partiel ou nul aux groupes d'autorisation sont autorisés en fonction du groupe d'autorisation attribué à leur rôle.

  • /GOOG/SLT_CDF_AUTH: rôle avec accès à tous les groupes d'autorisation. À restreindre l'accès spécifique à un groupe d'autorisations, le FICDF du groupe d’autorisation dans la configuration.

Créer une destination RFC pour la source

Avant de commencer la configuration, assurez-vous que la connexion RFC est établie entre la source et la destination.

  1. Accédez au code de transaction SM59.

  2. Cliquez sur Create &gt; Connection Type 3 (ABAP Connection) (Créer > Type de connexion > Connexion ABAP).

    Créer un code de transaction

  3. Dans la fenêtre Technical Settings (Paramètres techniques), saisissez les détails du document RFC. Destination.

  4. Cliquez sur l'onglet Logon and Security (Connexion et sécurité) pour gérer les identifiants RFC (RFC, l'utilisateur et le mot de passe).

  5. Cliquez sur Enregistrer.

  6. Cliquez sur Test de connexion. Si le test est concluant, vous pouvez continuer.

  7. Vérifiez que le test d'autorisation RFC aboutit.

  8. Cliquez sur Utilitaires &gt; Test &gt; Test d'autorisation.

Configurer le plug-in

Pour configurer le plug-in, déployez-le à partir du hub, créez un de votre job de réplication, et configurez la source et la cible avec la les étapes suivantes.

Déployer le plug-in dans Cloud Data Fusion

L'utilisateur Cloud Data Fusion effectue les étapes suivantes.

Avant d'exécuter le job de réplication Cloud Data Fusion, déployez plug-in SAP SLT Replication:

  1. Accédez à votre instance:

    1. Dans la console Google Cloud, accédez aux instances Cloud Data Fusion. .

      Accéder à la page "Instances"

    2. Activez la réplication dans une instance nouvelle ou existante:

      • Pour créer une instance, cliquez sur Créer une instance, puis saisissez une instance. cliquez sur Ajouter des accélérateurs, puis sélectionnez le paramètre Réplication puis cliquez sur Enregistrer.
      • Pour une instance existante, consultez Activez la réplication sur une instance existante.

    3. Cliquez sur Afficher l'instance pour ouvrir l'instance dans le Interface Web Cloud Data Fusion

  2. Cliquez sur Hub.

  3. Accédez à l'onglet SAP, cliquez sur SAP SLT, puis sur SAP SLT Replication". Plug-in ou SAP SLT No Replication Plugin.

  4. Cliquez sur Déployer.

Créer une tâche de réplication

Le plug-in SAP SLT Replication lit le contenu des tables SAP à l'aide d'un Bucket de préproduction de l'API Cloud Storage.

Pour créer un job de réplication pour votre transfert de données, procédez comme suit : étapes:

  1. Dans votre instance Cloud Data Fusion ouverte, cliquez sur Accueil > Réplication > Créer une tâche de réplication. Si l'option Replication (Réplication) n'est pas disponible, activez la réplication pour l'instance.

  2. Saisissez un nom et une description uniques pour le du job de réplication.

  3. Cliquez sur Suivant.

Configurer la source

  1. Configurez la source en saisissant des valeurs dans les champs suivants :

    • Project ID (ID du projet) : l'ID de votre projet Google Cloud (ce champ est préremplie)

    • Chemin d'accès GCS pour la réplication de données: chemin d'accès Cloud Storage que contient des données pour la réplication. Il doit s'agir du même chemin que celui configuré dans les tâches SAP SLT. En interne, le chemin d'accès fourni est concaténé avec Mass Transfer ID et Source Table Name:

      Format : gs://<base-path>/<mass-transfer-id>/<source-table-name>

      Exemple : gs://slt_bucket/012/MARA

    • GUID: identifiant unique attribué à SAP SLT Mass ID de transfert.

    • Mass Transfer ID (ID de transfert groupé) : l'ID de transfert groupé SLT est un identifiant unique. attribuée à la configuration dans SAP SLT.

    • SAP JCo Library GCS Path (Chemin d'accès GCS de la bibliothèque SAP JCo) : chemin d'accès au stockage contenant le chemin d'accès de fichiers de bibliothèque SAP JCo importés par l'utilisateur. Vous pouvez télécharger les bibliothèques JCo SAP à partir du portail d'assistance SAP. (Supprimé dans la version 0.10.0 du plug-in.)

    • SLT Server Host (Hôte du serveur SLT) : nom d'hôte ou adresse IP du serveur SLT (Supprimé dans plug-in version 0.10.0).

    • SAP System Number: numéro du système d'installation fourni par le système administrateur (par exemple, 00). (Supprimé dans la version 0.10.0 du plug-in.)

    • Client SAP : client SAP à utiliser (par exemple, 100). (Supprimé dans la version 0.10.0 du plug-in.)

    • SAP Language (Langage SAP) : langage d'ouverture de session SAP (par exemple, EN). (Supprimé dans plug-in version 0.10.0).

    • Nom d'utilisateur de connexion SAP : nom d'utilisateur SAP. (Supprimé dans la version 0.10.0 du plug-in.)

      • Recommandation: Si le nom d'utilisateur d'ouverture de session SAP change régulièrement, utilisez un .

    • SAP Logon Password (M): mot de passe utilisateur SAP pour l'authentification de l'utilisateur

      • Recommandation: utilisez des macros sécurisées pour les valeurs sensibles telles que mots de passe. (Supprimé dans la version 0.10.0 du plug-in.)

    • Suspendre la réplication SLT lorsque le job CDF s'arrête: tente d'arrêter le SLT. de réplication (pour les tables concernées) lorsque le La tâche de réplication Cloud Data Fusion s'arrête. Échec possible si la tâche dans Cloud Data Fusion s'arrête de manière inattendue.

    • Répliquer les données existantes: indique s'il faut répliquer les données existantes. à partir des tables sources. Par défaut, les tâches répliquent les données existantes des tables sources. Si la valeur est false, toutes les données existantes dans la source est ignoré, et seules les modifications qui se produisent après le démarrage du job sont répliquées.

    • Clé de compte de service: clé à utiliser lors de l'interaction avec Cloud Storage. Le compte de service doit être autorisé à écrire dans Cloud Storage. Lors de l'exécution sur une VM Google Cloud, doit être défini sur auto-detect pour utiliser le compte de service associé VM.

  2. Cliquez sur Suivant.

Configurer la cible

Pour écrire des données dans BigQuery, nécessite un accès en écriture à BigQuery bucket. Les événements de modification sont d'abord écrits par lots de SLT vers Cloud Storage. Elles sont ensuite chargées dans des tables de préproduction dans BigQuery. Les modifications de la table de préproduction sont fusionnées dans le la table cible finale à l'aide d'une requête de fusion BigQuery.

La table cible finale inclut toutes les colonnes d'origine de la table source plus une colonne _sequence_num supplémentaire. Le numéro de séquence assure que les données ne sont ni dupliquées, ni manquées dans les scénarios de défaillance du réplicateur.

  1. Configurez la source en saisissant des valeurs dans les champs suivants:

    • ID du projet: projet de l'ensemble de données BigQuery. Lors de l'exécution sur un cluster Dataproc, ce champ peut être laissé vide, ce qui utilisera le projet du cluster.
    • Identifiants: consultez la section Identifiants.
    • Clé de compte de service : contenu de la clé de compte de service à utiliser lors de l'interaction avec Cloud Storage et BigQuery. Quand ? en cours d'exécution sur un cluster Dataproc, ce champ doit rester vide. qui utilise le compte de service du cluster.
    • Dataset Name (Nom de l'ensemble de données) : nom de l'ensemble de données dans lequel créer le fichier dans BigQuery. Il est facultatif et, par défaut, le nom de l'ensemble de données est identique au nom de la base de données source. Un nom valide ne doit contenir que des lettres, les chiffres, les traits de soulignement et la longueur maximale sont de 1024 caractères. N'importe quelle valeur les caractères non valides seraient remplacés par des traits de soulignement dans le nom final de l'ensemble de données et les caractères qui dépassent la limite sont tronqués.
    • Encryption Key Name (Nom de la clé de chiffrement) : il s'agit de la clé de chiffrement gérée par le client (CMEK) utilisée pour pour sécuriser les ressources créées par cette cible. Le nom de la clé de chiffrement doit être au format projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>.
    • Emplacement: l'emplacement où se trouvent les ensembles de données BigQuery les buckets de préproduction Cloud Storage sont créés. Exemple : us-east1 pour les buckets régionaux, us pour les buckets multirégionaux (consultez Zones géographiques). Cette valeur est ignorée si un bucket existant est spécifié, car le bucket de préproduction et l'ensemble de données BigQuery sont créés au même emplacement que ce bucket.

    • Staging Bucket: bucket dans lequel les événements de modification sont écrits avant sont chargées dans des tables de préproduction. Les modifications sont écrites dans un répertoire contient le nom et l'espace de noms de l'instance répliquée. Vous pouvez utiliser le même bucket en toute sécurité sur plusieurs instances répliquées d'une même instance. Si elle est partagée par d'instances répliquées sur plusieurs instances, assurez-vous que l'espace de noms et le nom sont est unique, sinon le comportement n'est pas défini. Ce bucket doit se trouver dans le même bucket que l'ensemble de données BigQuery. S'il n'est pas fourni, une nouvelle est créé pour chaque job df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>

    • Intervalle de chargement (secondes): nombre de secondes d'attente avant le chargement d'un lot de données dans BigQuery.

    • Préfixe de la table de préproduction: les modifications sont d'abord écrites dans une table de préproduction avant fusionné avec la table finale. Les noms des tables de préproduction sont générés en ajoutant ce préfixe au nom de la table cible.

    • Exiger une intervention manuelle contre la chute: indique s'il faut exiger une intervention manuelle action administrative visant à supprimer des tables et des ensembles de données lorsqu'une table ou une suppression d'un événement de base de données. Lorsque ce paramètre est défini sur "true", supprimer une table ou un ensemble de données. À la place, il échoue et réessaie jusqu'à ce que la table ou l'ensemble de données n'existe plus. Si l'ensemble de données ou la table n'existe pas, une intervention manuelle est nécessaire. L'événement est ignoré normalement.

    • Activer les suppressions réversibles: si cette règle est définie sur "true", lorsqu'un événement de suppression est reçu par la cible, la colonne _is_deleted de l'enregistrement est définie sur true. Sinon, l'enregistrement est supprimé de la table BigQuery. Cette configuration est nulle pour une source qui génère des événements dans le désordre et les enregistrements sont toujours supprimés de façon réversible dans la table BigQuery.

  2. Cliquez sur Suivant.

Identifiants

Si le plug-in est exécuté sur un cluster Dataproc, le compte de service doit être définie sur « détection automatique ». Les identifiants sont automatiquement lus à partir du environnement de cluster.

Si le plug-in n'est pas exécuté sur un cluster Dataproc, le chemin d'accès à une clé de compte de service doit être fourni. La clé du compte de service se trouve la page IAM de la console Google Cloud. Assurez-vous que la clé de compte est autorisé à accéder à BigQuery. Le fichier de clé du compte de service doit être disponible sur chaque nœud de votre cluster et être lisible par tous les utilisateurs exécutant la tâche.

Limites

  • Les tables doivent avoir une clé primaire pour être répliquées.
  • Les opérations de renommage de table ne sont pas acceptées.
  • Les modifications de table sont partiellement prises en charge.
    • Une colonne existante ne pouvant pas avoir une valeur nulle peut être transformée en une colonne pouvant avoir une valeur nulle.
    • De nouvelles colonnes pouvant avoir une valeur nulle peuvent être ajoutées à une table existante.
    • Toute autre modification apportée au schéma de la table échouera.
    • Les modifications apportées à la clé primaire n'échouent pas, mais les données existantes ne sont pas réécrit pour respecter l'unicité de la nouvelle clé primaire.

Sélectionner des tables et des transformations

À l'étape Sélectionner des tables et des transformations, une liste des tables sélectionnées pour la réplication dans le système SLT s'affiche.

  1. Sélectionnez les tables à répliquer.
  2. Facultatif : sélectionnez des opérations de schéma supplémentaires, telles que Insertions, Mises à jour ou Suppressions.
  3. Pour afficher le schéma, cliquez sur Colonnes à répliquer pour une table.

  4. Facultatif : Pour renommer des colonnes du schéma, procédez comme suit :

    1. Lorsque le schéma est affiché, cliquez sur Transformer &gt; Renommer :
    2. Dans le champ Renommer, saisissez un nouveau nom, puis cliquez sur Appliquer.
    3. Pour enregistrer le nouveau nom, cliquez sur Actualiser, puis Enregistrer.

  5. Cliquez sur Suivant.

Facultatif : Configurer les propriétés avancées

Si vous connaissez la quantité de données à répliquer en une heure, vous pouvez sélectionnez l'option appropriée.

Examiner l'évaluation

L'étape Examiner l'évaluation recherche les problèmes de schéma, les fonctionnalités manquantes ou les problèmes de connectivité qui se produisent pendant la réplication.

  1. Sur la page Review Assessment (Examiner l'évaluation), cliquez sur View mappings (Afficher les mappages).

    Si des problèmes surviennent, vous devez les résoudre avant de continuer.

  2. (Facultatif) Si vous avez renommé des colonnes lorsque vous avez sélectionné vos tableaux et des transformations, vérifiez que les nouveaux noms sont corrects à cette étape.

  3. Cliquez sur Suivant.

Afficher le récapitulatif et déployer le job de réplication

Sur la page Examiner les détails de la tâche de réplication, vérifiez les paramètres. puis cliquez sur Déployer la tâche de réplication.

Sélectionner un profil Compute Engine

  1. Après avoir déployé le job de réplication, cliquez sur Configurer à partir de n'importe quelle page de l'interface Web de Cloud Data Fusion.

  2. Sélectionnez le profil Compute Engine à utiliser pour exécuter cette du job de réplication.

  3. Cliquez sur Enregistrer.

    Sélectionnez un profil de calcul dans l&#39;interface Web de Cloud Data Fusion.

Démarrer la tâche de réplication

  • Pour exécuter le job de réplication, cliquez sur Start (Démarrer).

Démarrer le job de réplication dans l&#39;interface Web de Cloud Data Fusion

Facultatif: optimiser les performances

Par défaut, le plug-in est configuré pour des performances optimales. Pour obtenir et optimisations, consultez la section Arguments d'exécution.

Les performances des communications SLT et Cloud Data Fusion dépendent de ces facteurs:

  • SLT sur le système source par rapport à un système SLT central dédié (option recommandée)
  • Traitement des tâches en arrière-plan sur le système SLT
  • Boîte de dialogue des processus de travail sur le système SAP source
  • Nombre de processus de job d'arrière-plan alloués à chaque ID de transfert de masse dans Onglet LTRC Administration
  • Paramètres LTRS
  • Matériel (processeur et mémoire) du système SLT
  • Base de données utilisée (par exemple, HANA, Sybase ou DB2)
  • La bande passante Internet (connectivité entre le système SAP et Google Cloud sur Internet)
  • Utilisation préexistante (charge) sur le système
  • Nombre de colonnes du tableau. Avec un plus grand nombre de colonnes, la réplication devient lente et la latence peut augmenter.

Les types de lecture suivants dans les paramètres LTRS sont recommandés pour les chargements initiaux:

Système SLT Système source Type de table Type de lecture recommandé
[chargement initial]
SLT 3.0 autonome
[DMIS 2018_1_752 SP 2] 		S/4 HANA 1909 Transparent (petite/moyenne)
Transparent (grand)
Table des clusters		 1 calcul de plage
1 calcul de plage
File d'attente des 4 expéditeurs
SLT intégré
[S4CORE 104 HANA 1909]		 N/A Transparent (petite/moyenne)
Transparent (grand)
Table des clusters		 1 calcul de plage
1 calcul de plage
File d'attente des 4 expéditeurs
SLT 2.0 autonome
[DMIS 2011_1_731 SP 17]		 ECC NW 7.02 Transparent (petite/moyenne)
Transparent (grand)
Table des clusters		 File d'attente de cinq expéditeurs
File d'attente de cinq expéditeurs
File d'attente des 4 expéditeurs
SLT intégré
[DMIS 2011_1_700 SP 17]		 N/A Transparent (petite/moyenne)
Transparent (grand)
Table des clusters		 File d'attente de cinq expéditeurs
File d'attente de cinq expéditeurs
File d'attente des 4 expéditeurs
  • Pour la réplication, utilisez l'option "Aucune plage" pour améliorer les performances:
    • Les plages ne doivent être utilisées que lorsque des tâches en attente sont générées dans une table de journalisation avec une latence élevée.
    • Utiliser le calcul à une seule plage: le type de lecture pour le chargement initial n'est pas recommandé dans des systèmes SLT 2.0 et autres que HANA.
    • Avec le calcul d'une plage, le type de lecture pour le chargement initial peut entraîner des enregistrements en double dans BigQuery.
  • Les performances sont toujours meilleures lorsqu'un système SLT autonome est utilisé.
  • Un système SLT autonome est toujours recommandé si l'utilisation des ressources le système source est déjà élevé.

Arguments d'exécution

  • snapshot.thread.count: transmet le nombre de threads à démarrer. charger des données SNAPSHOT/INITIAL en parallèle. Par défaut, il utilise nombre de processeurs virtuels disponibles dans le cluster Dataproc où de réplication.

    Recommandation: ne définissez ce paramètre que si vous avez besoin d'un contrôle précis au nombre de threads parallèles (par exemple, pour réduire l'utilisation cluster).

  • poll.file.count : transmet le nombre de fichiers à interroger à partir du chemin d'accès Cloud Storage fourni dans le champ Chemin d'accès GCS de la réplication de données de l'interface Web. Par défaut, la valeur est 500 par requête, mais en fonction de la configuration du cluster, elle peut être augmentée ou diminuée.

    Recommandation: ne définissez ce paramètre que si vous avez des exigences strictes pour le délai de réplication. Des valeurs plus faibles peuvent réduire le délai. Vous pouvez l'utiliser pour d'améliorer le débit (en cas d'absence de réponse, utilisez des valeurs supérieures à la valeur par défaut).

  • bad.files.base.path: transmet le chemin d'accès Cloud Storage de base où tous les fichiers d'erreur ou de données défectueux qui ont été détectés pendant la réplication. Cela est utile lorsque des exigences strictes sont imposées pour l'audit des données et qu'un emplacement spécifique doit être utilisé pour enregistrer les transferts échoués.

    Par défaut, tous les fichiers défectueux sont copiés à partir du bucket Cloud Storage chemin d'accès fourni dans le champ Chemin d'accès Cloud Storage pour la réplication de données dans l'interface Web.

    • Modèle de chemin d'accès final aux fichiers de données défectueux: 

      gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME

    • Exemple :

      gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8
ac0640fc83c/20220205_1901205168830_DATA_INIT.xml

    Les critères d'identification d'un fichier incorrect sont les suivants : fichier XML corrompu ou non valide, dont la clé de chiffrement est manquante. ou un problème de non-concordance des types de données des champs.

Informations relatives à l'assistance

Produits et versions SAP compatibles

  • SAP_BASIS 702, niveau SP 0016 et versions ultérieures.
  • SAP_ABA version 702, niveau SP 0016 et versions ultérieures.
  • Version DMIS 2011_1_700, niveau SP 0017 et versions ultérieures.

Versions SLT compatibles

Les SLT versions 2 et 3 sont compatibles.

Modèles de déploiement SAP compatibles

SLT en tant que système autonome ou intégré au système source.

Notes SAP à implémenter avant de commencer à utiliser le SLT

Si votre package d'assistance n'inclut pas de corrections de classe /UI2/CL_JSON pour PL 12 ou version ultérieure, implémentez la dernière note SAP pour les corrections de classe /UI2/CL_JSON, par exemple la note SAP 2798102 pour PL 12.

Recommandation: implémentez les notes SAP recommandées par le rapport CNV_NOTE_ANALYZER_SLT en fonction de la condition du système central ou source. Pour en savoir plus, consultez la note SAP 3016862 (connexion SAP requise).

Si SAP est déjà configuré, aucune autre remarque ne doit être mise en œuvre. Pour toute erreur ou tout problème spécifique, consultez la note SAP centrale de votre version SLT.

Limites applicables au volume de données ou à la largeur des enregistrements

Aucune limite n'est définie pour le volume de données extraites et la largeur des enregistrements.

Débit attendu pour le plug-in SAP SLT Replication

Pour un environnement configuré conformément aux consignes de l'article Optimisez les performances, le plug-in peut extraire 13 Go par heure pour le chargement initial et 3 Go par heure pour la réplication (CDC). Les performances réelles peuvent varier avec le système Cloud Data Fusion et SAP ou du trafic réseau.

Compatibilité avec l'extraction de delta SAP (données modifiées)

L'extraction delta SAP est prise en charge.

Obligatoire: Appairage de locataires pour les instances Cloud Data Fusion

L'appairage de locataires est requis lorsque l'instance Cloud Data Fusion est avec une adresse IP interne. Pour en savoir plus sur le peering de locataires, consultez Créer une instance privée.

Résoudre les problèmes

Le job de réplication ne cesse de redémarrer

Si la tâche de réplication continue de redémarrer automatiquement, augmentez la mémoire du cluster de la tâche de réplication et réexécutez la tâche de réplication.

Éléments en double dans le récepteur BigQuery

Si vous définissez le nombre de tâches parallèles dans les paramètres avancés du plug-in de réplication SAP SLT, une erreur se produit lorsque vos tables sont volumineuses, ce qui entraîne des colonnes en double dans le récepteur BigQuery.

Pour éviter ce problème, supprimez les jobs parallèles pour charger des données.

Scénarios d'erreur

Le tableau suivant répertorie certains messages d'erreur courants (le texte entre guillemets sera remplacé par les valeurs réelles au moment de l'exécution) :

ID du message Message Action recommandée
CDF_SAP_SLT_01402 Service account type is not defined for SERVICE_ACCT_NAME_FROM_UI. Assurez-vous que le chemin d'accès Cloud Storage fourni est correct.
CDF_SAP_SLT_01403 Service account key provided is not valid due to error: ROOT_CAUSE. Please provide a valid service account key for service account type : SERVICE_ACCT_NAME_FROM_UI. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_SLT_01404 Mass Transfer ID could not be found. Please ensure that it exists in given GCS Bucket. Vérifiez que l'ID de transfert de masse donné est au bon format.
CDF_SAP_SLT_01502 The specified data replication GCS path 'slt_to_cdf_bucket_1' or Mass Transfer ID '05C' could not be found. Please ensure that it exists in GCS. Assurez-vous que le chemin d'accès Cloud Storage fourni est correct.
CDF_SAP_SLT_01400 Metadata file not found. The META_INIT.json file is not present or file is present with invalid format. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_SLT_03408 Failed to start the event reader. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_SLT_03409 Error while processing TABLE_NAME file for source table gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME /FILE_NAME. Root cause: ROOT_CAUSE. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_SLT_03410 Failed to replicate data for source table TABLE_NAME from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/ TABLE_NAME/FILE_NAME. Root cause: ROOT_CAUSE. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_SLT_03411 Failed data replication for source table TABLE_NAME. Root cause: ROOT_CAUSE. Vérifiez l'origine du problème indiqué dans le message et prenez les mesures appropriées action.
CDF_SAP_SLT_03412 Failed to create target table for source table TABLE_NAME. Root cause: ROOT_CAUSE. Vérifiez la cause fondamentale affichée dans le message et prenez les mesures appropriées.

Mappage des types de données

Le tableau suivant montre les correspondances entre les types de données utilisés dans SAP. et Cloud Data Fusion.

Type de données SAP Type ABAP Description (SAP) Type de données Cloud Data Fusion
Numérique
INT1 b Entier à 1 octet int
INT2 s Entier à 2 octets int
INT4 i Entier à 4 octets int
INT8 8 Entier à 8 octets long
DÉC p Nombre compressé au format BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a IEEE 754r, 8 octets décimal à virgule flottante decimal
DF34_DEC
DF34_RAW		 e IEEE 754r décimal, 16 octets à virgule flottante decimal
FLTP f Nombre à virgule flottante binaire double
Caractère
CHAR
LCHR		 c Chaîne de caractères string
CHAÎNE
GEOM_EWKB		 chaîne Chaîne de caractères string
Chaîne
GEOM_EWKB		 chaîne Chaîne de caractères CLOB bytes
NUMC
ACCP		 n Texte numérique string
Byte
RAW
PRIX		 x Données binaires bytes
RAWSTRING xchaîne BLOB de chaîne d'octets bytes
Date/Heure
DATS d Date date
Tim t Heure time
TIMESTAMP utcl ( Utclong )
Code temporel		 timestamp

Étape suivante