Ce guide explique comment installer et configurer la version 2.8 (dernière version) de BigQuery Connector pour SAP sur un système SAP LT Replication Server qui s'exécute sur une machine virtuelle (VM) Compute Engine sur Google Cloud.
Ce guide explique comment préparer BigQuery, SAP Landscape Transformation Replication Server (SAP LT Replication Server) et BigQuery Connector pour SAP afin de répliquer des données SAP directement et de manière sécurisée vers BigQuery en temps réel.
Ce guide est destiné aux administrateurs SAP, aux administrateurs Google Cloud et aux autres professionnels de la sécurité et des données travaillant pour SAP et Google Cloud.
Prérequis
Avant d'installer BigQuery Connector pour SAP, assurez-vous que les conditions préalables suivantes sont remplies :
- Vous avez lu le guide de planification de BigQuery Connector pour SAP. Le guide de planification décrit les options de BigQuery Connector pour SAP, les considérations relatives aux performances, le mappage de champ et d'autres informations dont vous avez besoin pour obtenir la configuration optimale de BigQuery Connector pour SAP.
Si vous n'avez pas encore de projet Google Cloud, créez-en un :
La facturation est activée pour votre projet. Découvrez comment vérifier que la facturation est activée pour votre projet. Vous devez disposer d'un compte de facturation pour l'API de diffusion BigQuery, pour BigQuery et pour télécharger BigQuery Connector pour SAP.
La maintenance du logiciel SAP installé est à jour et les versions de tous les logiciels SAP sont compatibles entre elles, comme indiqué dans la matrice de disponibilité des produits SAP.
Les versions du logiciel SAP que vous utilisez sont compatibles avec BigQuery Connector pour SAP, comme indiqué sur la page Configuration logicielle requise.
Vous disposez des licences SAP appropriées pour répliquer des données vers n'importe quelle cible en utilisant le SDK de SAP LT Replication Server. Pour en savoir plus sur l'attribution de licences SAP, consultez la note SAP 2707835.
SAP LT Replication Server est installé. Pour en savoir plus sur l'installation de SAP LT Replication Server, consultez la documentation de SAP.
La connexion RFC ou de base de données entre SAP LT Replication Server et le système source est configurée. Si nécessaire, testez les connexions RFC à l'aide de la transaction SAP
SM59
. Testez les connexions à la base de données à l'aide de la transaction SAPDBACOCKPIT
.
Présentation du processus d'installation et de configuration
Le tableau suivant présente les procédures abordées dans ce guide ainsi que les rôles qui les exécutent généralement.
Procédure | Rôle |
---|---|
Si nécessaire, après avoir validé toutes les licences appropriées SAP, suivez les instructions SAP pour installer SAP Landscape Transformation Replication Server. | Administrateur SAP. |
Si nécessaire, installez le module complémentaire d'interface utilisateur (UI) pour SAP NetWeaver. Pour en savoir plus, consultez la section Exigences relatives à la version logicielle de SAP. | Administrateur SAP. |
Activez les API Google Cloud requises. | Administrateur Google Cloud |
Si nécessaire, installez la CLI gcloud sur l'hôte SAP LT Replication Server. | Administrateur SAP. |
Créez un ensemble de données BigQuery. | Administrateur Google Cloud ou ingénieur de données. |
Configurez l'authentification et l'autorisation Google Cloud. | Administrateur de sécurité Google Cloud. |
Téléchargez le package d'installation de BigQuery Connector pour SAP. | Responsable de compte de facturation Google Cloud. |
Installez BigQuery Connector pour SAP. | Administrateur SAP. |
Créez des rôles et des autorisations SAP pour BigQuery Connector pour SAP. | Administrateur SAP. |
Configurer la réplication. | Ingénieurs ou administrateurs de données. |
Testez la réplication. | Ingénieurs ou administrateurs de données. |
Validez la réplication. | Ingénieurs ou administrateurs de données. |
Activer les API Google Cloud requises
Pour que BigQuery Connector pour SAP puisse accéder à BigQuery, vous devez activer les API Google Cloud suivantes :
- L'API BigQuery
- L'API Service Account Credentials pour IAM
Pour en savoir plus sur l'activation des API Google Cloud, consultez la page Activer des API.
Installer gcloud CLI
Pour la réplication vers BigQuery, le compte utilisateur sidadm
doit avoir accès à Google Cloud CLI (gcloud CLI) sur l'hôte SAP LT Replication Server.
gcloud
components list
. Si la commande n'est pas reconnue, vous devez installer gcloud CLI.
Un administrateur SAP peut installer gcloud CLI.
Pour installer gcloud CLI, procédez comme suit :
Suivez les instructions d'installation de la CLI gcloud.
Suivez les instructions de configuration de gcloud CLI.
Autorisez le compte utilisateur
sidadm
à accéder au répertoire d'installation de gcloud CLI.Vous pouvez également définir
sidadm
comme projet par défaut pour gcloud CLI :gcloud config set project PROJECT_ID
Remplacez
PROJECT_ID
par l'ID du projet contenant votre ensemble de données BigQuery. Par exemple,example-project-123456
.Si vous ne définissez pas de projet par défaut pour gcloud CLI, la propriété
--project
doit être spécifiée dans chaque commandegcloud
émise.
Pour en savoir plus sur les prérequis BigQuery Connector pour SAP pour gcloud CLI, consultez la section Prérequis d'installation de gcloud CLI.
Créer un ensemble de données BigQuery
Pour pouvoir tester l'authentification et l'autorisation Google Cloud pour BigQuery ou créer des tables BigQuery cibles, vous (ou un ingénieur de données ou administrateur) devez créer un ensemble de données BigQuery.
Pour créer un ensemble de données BigQuery, votre compte utilisateur doit disposer des autorisations IAM appropriées pour BigQuery. Pour en savoir plus, consultez la section Autorisations requises.
Dans Google Cloud Console, accédez à la page "BigQuery" :
À côté de votre ID de projet, cliquez sur l'icône Afficher les actions,
, puis sur Créer un ensemble de données.Dans le champ ID de l'ensemble de données, saisissez un nom unique. Pour plus d'informations, consultez la page Nommer les ensembles de données.
Une fois que vous avez configuré l'authentification et l'autorisation Google Cloud, vous testez l'accès à Google Cloud en récupérant des informations sur cet ensemble de données.
Pour en savoir plus sur la création d'ensembles de données BigQuery, consultez la section Créer des ensembles de données.
Configurer l'authentification et l'autorisation Google Cloud
Pour l'authentification à Google Cloud et l'autorisation d'accéder à BigQuery, un administrateur de sécurité Google Cloud et un administrateur SAP doivent :
- Créer un compte de service pour BigQuery Connector pour SAP.
- Attribuer au compte de service les rôles IAM requis pour accéder à BigQuery.
- Ajouter le compte de service BigQuery Connector pour SAP en tant que compte principal dans le projet BigQuery.
- Configurez les paramètres de sécurité Google Cloud sur l'hôte SAP LT Replication Server :
- Accordez à la VM hôte l'autorisation d'obtenir des jetons d'accès.
- Si nécessaire, modifiez les niveaux d'accès aux API de la VM hôte.
Créer un compte de service
BigQuery Connector pour SAP nécessite un compte de service IAM pour l'authentification et l'autorisation d'accès à BigQuery.
Ce compte de service doit être un compte principal dans le projet Google Cloud qui contient votre ensemble de données BigQuery. Si vous créez le compte de service dans le même projet que l'ensemble de données BigQuery, le compte de service est automatiquement ajouté en tant que compte principal au projet.
Si vous créez le compte de service dans un projet autre que celui contenant l'ensemble de données BigQuery, vous devez ajouter le compte de service au projet de l'ensemble de données BigQuery lors d'une étape supplémentaire.
Pour créer un compte de service, procédez comme suit :
Dans la console Google Cloud, accédez à la page Comptes de service d'IAM et administration.
Si vous y êtes invité, sélectionnez votre projet Google Cloud.
Cliquez sur Créer un compte de service.
Spécifiez un nom pour le compte de service et, éventuellement, une description.
Cliquez sur Create and continue (Créer et continuer).
Si vous créez le compte de service dans le même projet que l'ensemble de données BigQuery, sélectionnez les rôles suivants dans le panneau Autoriser ce compte de service à accéder au projet :
- Éditeur de données BigQuery
- Utilisateur de tâche BigQuery
Si vous créez le compte de service dans un projet différent de celui de l'ensemble de données BigQuery, n'accordez pas de rôle au compte de service.
Cliquez sur Continuer.
Le cas échéant, accordez aux autres utilisateurs l'accès au compte de service.
Cliquez sur OK. Le compte de service apparaît dans la liste des comptes de service du projet.
Si vous avez créé le compte de service dans un projet différent de celui contenant l'ensemble de données BigQuery, notez le nom du compte de service. Ce nom doit être spécifié lors de l'ajout du compte de service au projet BigQuery. Pour en savoir plus, consultez la sectionAjouter le compte de service au projet BigQuery.
Le compte de service est désormais répertorié en tant que compte principal sur la page Autorisations IAM du projet Google Cloud dans lequel le compte de service a été créé.
Ajouter le compte de service au projet BigQuery
Si vous avez créé le compte de service pour BigQuery Connector pour SAP dans un projet autre que celui qui contient l'ensemble de données BigQuery cible, vous devez ajouter le compte de service au projet d'ensemble de données BigQuery.
Si vous avez créé le compte de service dans le même projet que l'ensemble de données BigQuery, vous pouvez ignorer cette étape.
Pour ajouter un compte de service existant au projet d'ensemble de données BigQuery, procédez comme suit :
Dans la console Google Cloud, accédez à la page "Autorisations IAM".
Vérifiez que le nom du projet contenant l'ensemble de données BigQuery cible s'affiche bien en haut de la page. Exemple :
Autorisations pour le projet "
PROJECT_NAME
"Si ce n'est pas le cas, changez de projet.
Sur la page IAM, cliquez sur
Ajouter. La boîte de dialogue Ajouter des comptes principaux à "PROJECT_NAME
" s'ouvre.Dans la boîte de dialogue Ajouter des comptes principaux à "
PROJECT_NAME
", procédez comme suit :- Dans le champ Nouveaux comptes principaux, spécifiez le nom du compte de service.
- Dans le champ Sélectionner un rôle, spécifiez Éditeur de données BigQuery.
- Cliquez sur AJOUTER UN AUTRE RÔLE. Le champ Sélectionner un rôle s'affiche à nouveau.
- Dans le champ Sélectionner un rôle, spécifiez Utilisateur de tâche BigQuery.
- Cliquez sur Enregistrer. Le compte de service apparaît dans la liste des comptes principaux du projet sur la page IAM.
Le compte de service permet désormais d'accéder à l'ensemble de données BigQuery de ce projet.
Configurer la sécurité sur la VM hôte
BigQuery Connector pour SAP nécessite que la VM Compute Engine qui héberge SAP LT Replication Server soit configurée avec les options de sécurité suivantes :
- Les niveaux d'accès de la VM hôte doivent être définis pour autoriser l'accès complet aux API Cloud.
- Le compte de service de la VM hôte doit inclure le rôle IAM Créateur de jetons du compte de service.
Si ces options ne sont pas configurées sur la VM hôte, vous devez les configurer.
Pour modifier les niveaux d'accès d'une VM, vous devez arrêter la VM.
Vérifier les niveaux d'accès aux API de la VM hôte
Vérifiez le paramètre actuel du niveau d'accès de la VM hôte de SAP LT Replication Server. Si la VM dispose déjà d'un accès complet à toutes les API Cloud, vous n'avez pas besoin de modifier les niveaux d'accès.
Pour vérifier le niveau d'accès d'une VM hôte, procédez comme suit :
console Google Cloud
Dans la console Google Cloud, ouvrez la page "Instances de VM" :
Si nécessaire, sélectionnez le projet Google Cloud contenant l'hôte SAP LT Replication Server.
Sur la page Instances de VM, cliquez sur le nom de la VM hôte. La page des détails de la VM s'affiche.
Sous API et gestion des identités sur la page des détails de la VM hôte, vérifiez le paramétrage actuel des niveaux d'accès aux API Cloud :
- Un paramètre défini sur Autoriser l'accès complet à l'ensemble des API Cloud est correct et ne nécessite pas de modification de votre part.
- Si le paramètre n'est pas défini sur Autoriser l'accès complet à l'ensemble des API Cloud, vous devez arrêter la VM et modifier le paramètre. Pour obtenir des instructions, consultez la section suivante.
CLI gcloud
Affichez les niveaux d'accès actuels de la VM hôte :
gcloud compute instances describe VM_NAME --zone=VM_ZONE --format="yaml(serviceAccounts)"
Si les niveaux d'accès n'incluent pas
https://www.googleapis.com/auth/cloud-platform
, vous devez modifier les niveaux d'accès de la VM hôte. Par exemple, si vous créez une instance de VM avec un compte de service Compute Engine par défaut, vous devez modifier les niveaux d'accès par défaut suivants :serviceAccounts: - email: 600915385160-compute@developer.gserviceaccount.com scopes: - https://www.googleapis.com/auth/devstorage.read_only - https://www.googleapis.com/auth/logging.write - https://www.googleapis.com/auth/monitoring.write - https://www.googleapis.com/auth/servicecontrol - https://www.googleapis.com/auth/service.management.readonly - https://www.googleapis.com/auth/trace.append
Si le seul champ d'application répertorié sous
scopes
esthttps://www.googleapis.com/auth/cloud-platform
, comme dans l'exemple suivant, il n'est pas nécessaire de modifier les champs d'application :serviceAccounts: - email: 600915385160-compute@developer.gserviceaccount.com scopes: - https://www.googleapis.com/auth/cloud-platform
Modifier les niveaux d'accès aux API de la VM hôte
Si la VM hôte SAP LT Replication Server ne dispose pas d'un accès complet aux API Google Cloud, modifiez les niveaux d'accès pour autoriser l'accès complet à toutes les API Cloud.
Pour modifier le paramètre Niveaux d'accès aux API Cloud pour une VM hôte, procédez comme suit :
console Google Cloud
Si nécessaire, limitez les rôles attribués au compte de sécurité de la VM hôte.
Vous pouvez trouver le nom du compte de sécurité sur la page des détails de la VM hôte sous API et gestion des identités. Vous pouvez modifier les rôles attribués à un compte de service dans la console Google Cloud à partir de la page IAM, sous Comptes principaux.
Si nécessaire, arrêtez toutes les charges de travail qui s'exécutent sur la VM hôte.
Dans la console Google Cloud, ouvrez la page "Instances de VM" :
Sur la page Instances de VM, cliquez sur le nom de la VM hôte pour ouvrir la page des détails de la VM.
En haut de la page d'informations, cliquez sur
ARRÊTER pour arrêter la VM hôte.Une fois la VM arrêtée, cliquez sur
MODIFIER.Dans la section Sécurité et accès > Niveaux d'accès, sélectionnez Autoriser l'accès complet à toutes les API Cloud.
Cliquez sur Enregistrer.
En haut de la page des détails, cliquez sur
DÉMARRER/REPRENDRE pour démarrer la VM hôte.Si nécessaire, redémarrez toutes les charges de travail arrêtées sur la VM hôte.
CLI gcloud
Si nécessaire, ajustez les rôles IAM attribués au compte de service de VM pour vous assurer que l'accès aux services Google Cloud à partir de la VM hôte est limité de manière appropriée.
Pour en savoir plus sur la modification des rôles attribués à un compte de service, consultez la section Mettre à jour un compte de service.
Si nécessaire, arrêtez tous les logiciels SAP en cours d'exécution sur la VM hôte.
Arrêtez la VM :
gcloud compute instances stop VM_NAME --zone=VM_ZONE
Modifiez les niveaux d'accès de la VM :
gcloud compute instances set-service-account VM_NAME --scopes=cloud-platform --zone=VM_ZONE
Démarrez la VM :
gcloud compute instances start VM_NAME --zone=VM_ZONE
Si nécessaire, démarrez le logiciel SAP qui s'exécute sur la VM hôte.
Permettre à la VM hôte de récupérer des jetons d'accès
Vous devez accorder au compte de service de la VM hôte l'autorisation d'obtenir les jetons d'accès requis par le BigQuery Connector pour SAP pour accéder à BigQuery.
Pour autoriser la création de jetons d'accès, procédez comme suit :
Dans la console Google Cloud, ouvrez la page "Instances de VM" :
Sur la page Instances de VM, cliquez sur le nom de la VM hôte pour ouvrir la page des détails de la VM.
Sur la page des détails de la VM, sous API et gestion des identités, notez le nom du compte de service. L'exemple de nom suivant correspond à un compte de service Compute Engine par défaut :
SVC-ACCT-NUMBER-compute@developer.gserviceaccount.com
Dans la console Google Cloud, accédez à la page IAM.
Dans la liste des comptes principaux de projet, recherchez le nom du compte de service puis cliquez sur
Modifier le compte principal. La boîte de dialogue Modifier les autorisations s'affiche.Dans le volet Modifier les autorisations, cliquez sur AJOUTER UN AUTRE RÔLE. Le champ Sélectionner un rôle s'affiche.
Dans le champ Sélectionner un rôle, spécifiez Créateur de jetons de compte de service.
Cliquez sur Enregistrer. Vous êtes redirigé vers la page des autorisations IAM.
La VM hôte est maintenant autorisée à créer des jetons d'accès.
Configurer des certificats SSL et HTTPS
La communication entre BigQuery Connector pour SAP et l'API BigQuery est sécurisée à l'aide de SSL et HTTPS.
Téléchargez les certificats suivants à partir du dépôt Google Trust Services :
GTS Root R1
GTS CA 1C3
Dans l'interface utilisateur graphique SAP, utilisez la transaction
STRUST
pour importer le certificat racine et le certificat subordonné dans le dossier PSESSL client SSL Client (Standard)
.Pour plus d'informations officielles SAP, consultez la page Aide SAP – Maintenir la liste des certifications PSE.
Sur l'hôte SAP LT Replication Server, vérifiez que toutes les règles de pare-feu ou proxys sont configurés pour autoriser le trafic sortant du port HTTPS vers l'API BigQuery.
Plus précisément, SAP LT Replication Server doit pouvoir accéder aux API Google Cloud suivantes :
https://bigquery.googleapis.com
https://iamcredentials.googleapis.com
Si vous souhaitez que BigQuery Connector pour SAP puisse accéder aux API Google Cloud via des points de terminaison Private Service Connect sur votre réseau VPC, vous devez configurer les destinations RFC et spécifier vos points de terminaison Private Service Connect dans ces destinations RFC. Pour en savoir plus, consultez la section Destinations RFC.
Pour en savoir plus sur la configuration de SSL dans SAP, consultez la note SAP 510007 - Autres considérations sur la configuration de SSL sur le serveur d'applications ABAP.
Valider les ports HTTP et HTTPS dans le gestionnaire de communication Internet (ICM)
Les métadonnées de VM sont stockées sur un serveur de métadonnées, qui n'est accessible que via un port HTTP. Par conséquent, vous devez vous assurer qu'un port HTTP et un port HTTPS sont créés et actifs pour accéder aux métadonnées de la VM.
- Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
SMICM
. - Dans la barre de menu, cliquez sur Accéder à > Services. Une coche verte dans la colonne Actv indique que les ports HTTP et HTTPS sont actifs.
Pour en savoir plus sur la configuration des ports HTTP et HTTPS, consultez la page Paramètres HTTP(S) dans ICM.
Tester l'authentification et l'autorisation Google Cloud
Vérifiez que vous avez configuré correctement l'authentification Google Cloud en demandant un jeton d'accès et en récupérant des informations sur votre ensemble de données BigQuery.
Procédez comme suit pour tester l'authentification et l'autorisation Google Cloud à partir de la VM hôte SAP LT Replication Server :
Sur la VM d'hôte SAP LT Replication Server, ouvrez un shell de ligne de commande.
Passez à l'utilisateur
sidadm
.Demandez le premier jeton d'accès au serveur de métadonnées de la VM hôte :
curl "http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/token" -H "Metadata-Flavor: Google"
Le serveur de métadonnées renvoie un jeton d'accès semblable à l'exemple suivant, où ACCESS_TOKEN_STRING_1 est une chaîne de jeton d'accès que vous copiez dans la commande à l'étape suivante :
{"access_token":"ACCESS_TOKEN_STRING_1", "expires_in":3599,"token_type":"Bearer"}
Demandez le deuxième jeton d'accès à l'API IAM en exécutant la commande suivante après avoir remplacé les valeurs des espaces réservés :
Linux
curl --request POST \ "https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/SERVICE_ACCOUNT:generateAccessToken" \ --header "Authorization: Bearer ACCESS_TOKEN_STRING_1" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --data "{"scope":["https://www.googleapis.com/auth/bigquery"],"lifetime":"300s"}" \ --compressed
Windows
curl --request POST ` "https://iamcredentials.googleapis.com/v1/projects/-/serviceAccounts/SERVICE_ACCOUNT:generateAccessToken" ` --header "Authorization: Bearer ACCESS_TOKEN_STRING_1" ` --header "Accept: application/json" ` --header "Content-Type: application/json" ` --data "{"scope":["https://www.googleapis.com/auth/bigquery"],"lifetime":"300s"}" ` --compressed
Remplacez les éléments suivants :
SERVICE_ACCOUNT
: compte de service que vous avez créé précédemment pour BigQuery Connector for SAP.ACCESS_TOKEN_STRING_1
: première chaîne de jeton d'accès de l'étape précédente.
L'API Cloud IAM renvoie un deuxième jeton d'accès, ACCESS_TOKEN_STRING_2, semblable à l'exemple suivant. À l'étape suivante, vous copiez cette deuxième chaîne de jeton dans une requête adressée à l'API BigQuery.
{"access_token":"ACCESS_TOKEN_STRING_2","expires_in":3599,"token_type":"Bearer"}
Récupérez les informations relatives à votre ensemble de données BigQuery depuis l'API BigQuery en exécutant la commande suivante après avoir remplacé les valeurs des espaces réservés :
Linux
curl "https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_NAME" \ -H "Accept: application/json" -H "Authorization: Bearer ACCESS_TOKEN_STRING_2"
Windows
curl "https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_NAME" ` -H "Accept: application/json" -H "Authorization: Bearer ACCESS_TOKEN_STRING_2"
Remplacez les éléments suivants :
PROJECT_ID
: ID du projet contenant votre ensemble de données BigQuery.DATASET_NAME
: nom de l'ensemble de données cible, tel que défini dans BigQuery.ACCESS_TOKEN_STRING_2
: chaîne de jeton d'accès renvoyée par l'API Cloud IAM à l'étape précédente.
Si votre authentification Google Cloud est correctement configurée, les informations sur l'ensemble de données sont renvoyées.
S'il n'est pas configuré correctement, consultez la page Dépannage de BigQuery Connector pour SAP.
Télécharger le package d'installation
Téléchargez le dernier package d'installation de BigQuery Connector pour SAP à partir du portail de téléchargement de BigQuery Connector pour SAP.
Vous avez besoin de votre numéro Cloud Billing pour finaliser le téléchargement. Pour en savoir plus sur les comptes de facturation, consultez la page Cloud Billing et profil de paiement.
Le package d'installation inclut les fichiers de transport que vous copiez dans le répertoire de transport approprié pour SAP LT Replication Server.
Installer BigQuery Connector pour SAP
Une fois que vous avez reçu le package d'installation contenant les fichiers de transport BigQuery Connector pour SAP, votre administrateur SAP peut installer BigQuery Connector pour SAP en important les fichiers de transport dans SAP LT Replication Server.
Le transport SAP pour BigQuery Connector pour SAP contient tous les objets requis pour BigQuery Connector pour SAP, y compris l'espace de noms /GOOG/
, les objets DDIC, la mise en œuvre et les classes du SDK SLT BADI, les programmes de rapport, etc…
Avant d'importer les fichiers de transport dans SAP LT Replication Server, vérifiez que votre hôte SAP LT Replication Server est compatible avec BigQuery Connector pour SAP, comme indiqué sur la page Configuration logicielle requise.
Même si vous utilisez une version compatible de SAP LT Replication Server, le message d'erreur Requests do not match the component version of the target system
peut s'afficher lors de l'importation des fichiers de transport. Dans ce cas, vous devez réimporter les fichiers de transport dans SAP LT Replication Server et, lors de cette réimportation, sur l'écran Importer la requête de transport, accédez à l'onglet Options, puis cochez la case Ignorer la version de composant non valide.
La procédure suivante est une procédure générale. Chaque système SAP est différent. Contactez votre administrateur SAP pour déterminer les modifications à apporter à la procédure requise pour votre système SAP :
Copiez les fichiers de transport de BigQuery Connector pour SAP dans les répertoires d'importation de transport SAP LT Replication Server suivants :
/usr/sap/trans/cofiles/KXXXXXX.ED1
/usr/sap/trans/data/RXXXXXX.ED1
Dans les exemples précédents,
XXXXXX
représente le nom du fichier numéroté.Dans l'interface utilisateur graphique de SAP, utilisez le code de transaction
STMS_IMPORT
ouSTMS
pour importer les fichiers dans le système SAP.Assurez-vous que tous les objets du package
/GOOG/SLT_SDK
sont actifs et cohérents :- Dans l'interface SAP, saisissez le code de transaction
SE80
. - Dans le sélecteur de packages, sélectionnez
/GOOG/SLT_SDK
. Dans le champ Nom de l'objet, effectuez un clic droit sur le package
/GOOG/SLT_SDK
, puis sélectionnez Vérifier > Vérification de package > Objets du package.Une coche verte dans la colonne Résultat indique que tous les objets ont réussi la vérification du package.
- Dans l'interface SAP, saisissez le code de transaction
Vérifier que BigQuery Connector pour SAP est prêt à être configuré
Pour confirmer que les fichiers de transport ont été importés correctement et que BigQuery Connector pour SAP est prêt à être configuré, vérifiez que la mise en œuvre de BigQuery Connector pour SAP Business Add-In (BAdI) est active et que les applications de réplication de BigQuery Connector pour SAP contiennent bien des entrées dans la table IUUC_REPL_APPL
.
- Vérifiez la mise en œuvre de BAdI :
- Utilisez la transaction SE80 pour accéder au dossier d'objet d'amélioration
/GOOG/EI_IUUC_REPL_RUNTIME_BQ
et le sélectionner. - Sélectionnez Éléments de mise en œuvre améliorée du côté droit de la page.
- Sous Comportement d'exécution, vérifiez que la case La mise en œuvre est active est bien cochée.
- Utilisez la transaction SE80 pour accéder au dossier d'objet d'amélioration
- Vérifiez les applications de réplication :
- Affichez le tableau
IUUC_REPL_APPL
à l'aide du navigateur de données ou de la transactionSE16
de SAP. - Vérifiez que les applications suivantes apparaissent dans la table
IUUC_REPL_APPL
:/GOOG/SLT_BQ
ZGOOG_SLT_BQ
, à utiliser lorsque l'espace de noms/GOOG/
n'est pas enregistré
- Affichez le tableau
Créer des rôles et des autorisations SAP pour BigQuery Connector pour SAP
Pour utiliser BigQuery Connector pour SAP, en plus des autorisations standards de SAP LT Replication Server, les utilisateurs doivent avoir accès aux transactions personnalisées fournies avec BigQuery Connector pour SAP : /GOOG/SLT_SETTINGS
et /GOOG/REPLIC_VALID
.
Pour utiliser l'outil de simulation de charge, les utilisateurs doivent avoir accès à la transaction personnalisée /GOOG/LOAD_SIMULATE
fournie avec BigQuery Connector pour SAP.
Par défaut, les utilisateurs ayant accès aux transactions personnalisées /GOOG/SLT_SETTINGS
et /GOOG/REPLIC_VALID
peuvent modifier les paramètres de n'importe quelle configuration. Vous pouvez donc restreindre l'accès à des configurations spécifiques si nécessaire. Pour les utilisateurs qui n'ont besoin d'afficher que les paramètres de BigQuery Connector pour SAP, vous pouvez leur accorder un accès en lecture seule à la transaction personnalisée /GOOG/SLT_SETT_DISP
.
Le fichier de transport BigQuery Connector pour SAP inclut l'objet Google BigQuery
Settings Authorization
, ZGOOG_MTID
, pour les autorisations spécifiques à BigQuery Connector pour SAP.
Pour accorder l'accès aux transactions personnalisées et limiter l'accès à des configurations spécifiques, procédez comme suit :
À l'aide du code de transaction SAP
PFCG
, définissez un rôle pour BigQuery Connector pour SAP.Accordez au rôle l'accès aux transactions personnalisées
/GOOG/SLT_SETTINGS
,/GOOG/REPLIC_VALID
et/GOOG/LOAD_SIMULATE
.Pour limiter l'accès d'un rôle, spécifiez le groupe d'autorisation de chaque configuration auquel le rôle peut accéder en utilisant l'objet d'autorisation
ZGOOG_MTID
. Exemple :- Objet d'autorisation pour BigQuery Connector pour SAP (
ZGOOG_MTID
) :Activity 01
Authorization Group AUTH_GROUP_1,AUTH_GROUP_N
Les valeurs
AUTH_GROUP_01
etAUTH_GROUP_N
sont définies dans la configuration de SAP LT Replication Server.Les groupes d'autorisations spécifiés pour
ZGOOG_MTID
doivent correspondre aux groupes d'autorisation spécifiés pour le rôle dans l'objet d'autorisation SAPS_DMIS_SLT
.- Objet d'autorisation pour BigQuery Connector pour SAP (
Créer des rôles et des autorisations SAP pour afficher les paramètres de BigQuery Connector pour SAP
Pour accorder un accès en lecture seule à la transaction personnalisée /GOOG/SLT_SETT_DISP
, procédez comme suit :
À l'aide du code de transaction SAP
PFCG
, définissez un rôle pour afficher les paramètres de BigQuery Connector pour SAP.Accordez au rôle l'accès à la transaction personnalisée
/GOOG/SLT_SETT_DISP
.Ajoutez l'objet d'autorisation pour BigQuery Connector pour SAP (
ZGOOG_MTID
) avec les attributs suivants :Activity 03
Authorization Group = *
Générez le profil de rôle et attribuez-le aux utilisateurs concernés.
Configurer la duplication
Pour configurer la réplication, vous devez spécifier les paramètres de BigQuery Connector pour SAP et de SAP LT Replication Server.
Spécifier les paramètres d'accès dans /GOOG/CLIENT_KEY
Utilisez la transaction SM30
pour spécifier les paramètres d'accès à BigQuery. BigQuery Connector pour SAP stocke les paramètres sous forme d'enregistrement dans la table de configuration personnalisée /GOOG/CLIENT_KEY
.
Pour spécifier les paramètres d'accès :
Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
SM30
.Sélectionnez la table de configuration
/GOOG/CLIENT_KEY
.Saisissez les valeurs des champs de table suivants :
Champ Type de données Description Nom Chaîne Nom de cette configuration CLIENT_KEY
.Nom du compte de service Chaîne Nom du compte de service créé pour BigQuery Connector pour SAP à l'étape Créer un compte de service (au format d'adresse e-mail). Par exemple :
sap-example-svc-acct@example-project-123456.iam.gserviceaccount.com
.Champ d'application Chaîne Spécifiez le niveau d'accès à l'API
https://www.googleapis.com/auth/cloud-platform
, comme recommandé par Compute Engine. Ce niveau d'accès correspond au paramètreAllow full access to all Cloud APIs
sur la VM hôte. Pour plus d'informations, consultez la section Définir les niveaux d'accès sur la VM hôte.ID du projet Chaîne ID du projet contenant votre ensemble de données BigQuery cible. Nom de la commande Chaîne Laissez ce champ vide.
Classe d'autorisation Chaîne Classe d'autorisation à utiliser pour la réplication. Spécifiez
/GOOG/CL_GCP_AUTH_GOOGLE
.Champ d'autorisation Non applicable Laissez ce champ vide. Secondes avant actualisation du jeton Entier Durée (en secondes) avant l'expiration d'un jeton d'accès et son actualisation. La valeur par défaut est
3500
.Définir une valeur entre
1
et3599
a pour effet de remplacer le délai d'expiration par défaut de3500
secondes. Si vous spécifiez0
, BigQuery Connector pour SAP utilise la valeur par défaut.Mise en cache des jetons Booléen Option qui détermine si les jetons d'accès récupérés depuis Google Cloud sont mis en cache ou non. Nous vous recommandons d'activer la mise en cache des jetons après avoir configuré BigQuery Connector pour SAP et testé votre connexion à Google Cloud. Pour en savoir plus sur la mise en cache des jetons, consultez la section Activer la mise en cache des jetons.
Configurer des destinations RFC
Pour connecter BigQuery Connector pour SAP à Google Cloud, nous vous recommandons d'utiliser des destinations RFC.
Pour configurer les destinations RFC pour votre réplication, procédez comme suit :
Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
SM59
.(Recommandé) Créez de nouvelles destinations RFC en copiant les exemples de destinations RFC
GOOG_BIGQUERY
etGOOG_IAMCREDENTIALS
, puis notez les nouveaux noms de destinations RFC. Vous en aurez besoin lors de prochaines étapes.BigQuery Connector pour SAP utilise les destinations RFC pour se connecter respectivement aux API BigQuery et IAM.
Si vous souhaitez tester la connectivité basée sur les destinations RFC, vous pouvez ignorer cette étape et utiliser les exemples de destinations RFC.
Pour les destinations RFC que vous avez créées, procédez comme suit :
Accédez à l'onglet Paramètres techniques et assurez-vous que le champ Numéro de service est défini sur la valeur
443
. Il s'agit du port utilisé par la destination RFC pour que la communication reste sécurisée.Accédez à l'onglet Connexion et sécurité et assurez-vous que le champ Certificat SSL est défini avec l'option Client SSL par défaut (standard).
Vous pouvez éventuellement configurer les paramètres de proxy, activer la compression HTTP et spécifier des points de terminaison Private Service Connect.
Enregistrez les modifications.
Pour tester la connexion, cliquez sur Test de connexion.
Une réponse contenant
404 Not Found
est acceptable et attendue, car le point de terminaison spécifié dans la destination RFC correspond à un service Google Cloud et non à une ressource spécifique hébergée par le service. Une telle réponse indique que le service Google Cloud cible est accessible et qu'aucune ressource cible n'a été trouvée.
Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
SM30
.Notez la valeur du champ Nom dans la table
/GOOG/CLIENT_KEY
que vous avez créée à la section précédente.Dans la table
/GOOG/SERVIC_MAP
, créez des entrées avec les valeurs de champ suivantes :Nom de la clé Google Cloud Nom du service Google Destination RFC CLIENT_KEY_TABLE_NAME
bigquery.googleapis.com Indiquez le nom de votre destination RFC qui cible BigQuery. Si vous utilisez l'exemple de destination RFC à des fins de test, spécifiez GOOG_BIGQUERY
.CLIENT_KEY_TABLE_NAME
iamcredentials.googleapis.com Indiquez le nom de votre destination RFC qui cible IAM. Si vous utilisez l'exemple de destination RFC à des fins de test, spécifiez GOOG_IAMCREDENTIALS
.Remplacez
CLIENT_KEY_TABLE_NAME
par le nom de la clé client que vous avez noté à l'étape précédente.
Configurer les paramètres de proxy
Lorsque vous utilisez des destinations RFC pour vous connecter à Google Cloud, vous pouvez acheminer la communication de BigQuery Connector pour SAP via le serveur proxy que vous utilisez dans votre environnement SAP.
Si vous ne souhaitez pas utiliser de serveur proxy ou si vous n'en avez pas dans votre environnement SAP, vous pouvez ignorer cette étape.
Pour configurer les paramètres de serveur proxy pour BigQuery Connector pour SAP, procédez comme suit :
Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
SM59
.Sélectionnez votre destination RFC qui cible IAM.
Accédez à l'onglet Paramètres techniques, puis saisissez les valeurs pour les champs de la section Options de proxy HTTP.
Répétez l'étape précédente pour la destination RFC qui cible BigQuery.
Activer la compression HTTP
Lorsque vous utilisez des destinations RFC pour vous connecter à Google Cloud, vous pouvez activer la compression HTTP.
Si vous ne souhaitez pas activer cette fonctionnalité, vous pouvez ignorer cette étape.
Pour activer la compression HTTP, procédez comme suit :
Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
SM59
.Sélectionnez votre destination RFC qui cible BigQuery.
Accédez à l'onglet Options spéciales.
Pour le champ Version HTTP, sélectionnez HTTP 1.1.
Pour le champ Compression, sélectionnez une valeur appropriée.
Pour en savoir plus sur les options de compression, consultez la Note SAP 1037677 - La compression HTTP ne compresse que certains documents.
Spécifier des points de terminaison Private Service Connect
Si vous souhaitez que BigQuery Connector pour SAP utilise des points de terminaison Private Service Connect pour autoriser la consommation privée de BigQuery et d'IAM, vous devez créer ces points de terminaison dans votre projet Google Cloud et les spécifier dans les destinations RFC respectives.
Si vous souhaitez que BigQuery Connector pour SAP continue à utiliser les points de terminaison d'API publique par défaut pour se connecter à BigQuery et IAM, ignorez cette étape.
Pour configurer BigQuery Connector pour SAP de façon à ce qu'il utilise vos points de terminaison Private Service Connect, procédez comme suit :
Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
SM59
.Vérifiez que vous avez créé des destinations RFC pour BigQuery et IAM. Pour obtenir des instructions sur la création de ces destinations RFC, consultez la section Configurer des destinations RFC.
Sélectionnez la destination RFC qui cible BigQuery, puis procédez comme suit :
Accédez à l'onglet Paramètres techniques.
Pour le champ Hôte cible, saisissez le nom du point de terminaison Private Service Connect que vous avez créé pour accéder à IAM.
Accédez à l'onglet Connexion et sécurité.
Dans le champ Numéro de service, assurez-vous que la valeur
443
est spécifiée.Pour le champ Certificat SSL, assurez-vous que l'option Client SSL par défaut (standard) est sélectionnée.
Sélectionnez la destination RFC qui cible IAM, puis procédez comme suit :
Accédez à l'onglet Paramètres techniques.
Pour le champ Hôte cible, saisissez le nom du point de terminaison Private Service Connect que vous avez créé pour accéder à IAM.
Accédez à l'onglet Connexion et sécurité.
Dans le champ Numéro de service, assurez-vous que la valeur
443
est spécifiée.Pour le champ Certificat SSL, assurez-vous que l'option Client SSL par défaut (standard) est sélectionnée.
Activer la mise en cache des jetons
Pour améliorer les performances de réplication, nous vous recommandons d'activer la mise en cache pour le jeton d'accès récupéré par le compte de service de votre VM hôte pour accéder à BigQuery.
L'activation de la mise en cache des jetons garantit qu'un jeton d'accès est réutilisé jusqu'à son expiration ou sa révocation, ce qui réduit le nombre d'appels HTTP effectués pour récupérer de nouveaux jetons d'accès.
Pour activer la mise en cache des jetons, sélectionnez l'option Mise en cache des jetons dans la table de clé client /GOOG/CLIENT_KEY
.
Lorsque vous activez la mise en cache de jetons, le jeton d'accès est mis en cache dans la mémoire partagée de votre serveur d'applications SAP LT Replication Server pour la durée définie dans le champ Secondes avant actualisation du jeton de la table /GOOG/CLIENT_KEY
. Si la valeur Secondes avant actualisation du jeton n'est pas spécifiée ou est définie sur 0
, le jeton d'accès est mis en cache pour la valeur spécifiée dans le paramètre CMD_SECS_DEFLT
des paramètres avancés.
Pour les charges de travail SAP exécutées sur Google Cloud et utilisant un compte de service géré par l'utilisateur pour accéder à BigQuery, la mise en cache des jetons peut considérablement améliorer le processus, car la récupération d'un jeton d'accès dans ce scénario implique deux appels HTTP. Pour en savoir plus sur la récupération des jetons, consultez la page Tester l'authentification et l'autorisation Google Cloud.
Supprimer le jeton d'accès mis en cache
Lorsque la mise en cache de jetons est activée et que vous mettez à jour les rôles attribués au compte de service utilisé par BigQuery Connector pour SAP pour accéder à BigQuery, le nouveau jeton d'accès correspondant aux rôles mis à jour n'est récupéré qu'après l'expiration du jeton existant mis en cache. Dans ce cas, vous pouvez supprimer le jeton d'accès manuellement.
Pour supprimer le jeton d'accès mis en cache, saisissez la transaction SE38
, puis exécutez le programme /GOOG/R_CLEAR_TOKEN_CACHE
.
Créer une configuration de réplication SAP LT Replication Server
Utilisez la transaction SAP LTRC
pour créer une configuration de réplication SAP LT Replication Server.
Si SAP LT Replication Server s'exécute sur un serveur différent de celui du système SAP source, vérifiez que vous disposez d'une connexion RFC entre les deux systèmes avant de créer une configuration de réplication.
Certains paramètres de la configuration de réplication affectent les performances. Pour déterminer les valeurs appropriées pour votre installation, consultez le guide d'optimisation des performances de votre version de SAP LT Replication Server sur le portail d'aide SAP.
Les options d'interface et de configuration de SAP LT Replication Server peuvent varier légèrement en fonction de la version que vous utilisez.
Pour configurer la réplication, utilisez la procédure correspondant à votre version de SAP LT Replication Server :
- Configurer la réplication dans DMIS 2011 SP17, DMIS 2018 SP02 ou versions ultérieures
- Configurer la réplication dans DMIS 2011 SP16, DMIS 2018 SP01 ou versions antérieures
Configurer la réplication dans DMIS 2011 SP17, DMIS 2018 SP02 ou versions ultérieures
Les étapes suivantes permettent de configurer la réplication dans les versions ultérieures de SAP LT Replication Server. Si vous utilisez une version antérieure, consultez la page Configurer la réplication dans DMIS 2011 SP16, DMIS 2018 SP01 ou versions antérieures.
Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
LTRC
.Cliquez sur l'icône Créer une configuration. L'assistant Créer une configuration s'ouvre.
Dans les champs Nom de la configuration et Description, saisissez un nom et une description pour la configuration, puis cliquez sur Suivant.
Vous pouvez spécifier le groupe d'autorisation pour restreindre l'accès à un groupe d'autorisations spécifique dès maintenant ou ultérieurement.
Dans le panneau Détails de connexion au système source :
- Sélectionnez la case d'option Connexion RFC.
- Dans le champ Destination RFC, spécifiez le nom de la connexion RFC au système source.
- Sélectionnez les cases Autoriser plusieurs utilisations et Lire à partir d'un client unique. Pour en savoir plus, consultez la documentation SAP LT Replication Server.
- Cliquez sur Suivant.
Ces étapes s'appliquent à une connexion RFC. Toutefois, si votre source est une base de données, vous pouvez sélectionner Connexion DB si vous avez déjà défini une connexion à l'aide de la transaction
DBACOCKPIT
.Dans le panneau Détails de connexion au système cible :
- Sélectionnez la case d'option Autre.
- Dans le champ Scénario, sélectionnez SDK SLT dans le menu déroulant.
- Cliquez sur Suivant.
Dans le panneau Spécifier les paramètres de transfert :
Dans le champ Application de la section Paramètres de transfert de données, saisissez
/GOOG/SLT_BQ
ouZGOOG_SLT_BQ
.Dans la section Options de tâche, saisissez des valeurs de départ dans chacun des champs suivants :
- Nombre de tâches de transfert de données
- Nombre de tâches de chargement initiales
- Nombre de tâches de calcul
Dans la section Options de réplication, sélectionnez la case d'option Temps réel.
Cliquez sur Suivant.
Après avoir vérifié la configuration, cliquez sur Enregistrer.
Notez l'ID à trois chiffres de la colonne Transfert de masse. Vous en aurez besoin lors d'une prochaine étape.
Pour en savoir plus, consultez le PDF joint à la note SAP 2652704 : Réplication des données à l'aide du SDK SLT - DMIS 2011 SP17, DMIS 2018 SP02.pdf.
Configurer la réplication dans DMIS 2011 SP16, DMIS 2018 SP01 ou versions antérieures
Les étapes suivantes permettent de configurer la réplication dans les versions antérieures de SAP LT Replication Server. Si vous utilisez une version ultérieure, consultez la section Configurer la réplication dans DMIS 2011 SP17, DMIS 2018 SP02 ou versions ultérieures.
- Dans l'interface utilisateur graphique de SAP, saisissez le code de transaction
LTRC
. - Cliquez sur Nouveau. Une boîte de dialogue permettant de spécifier une nouvelle configuration s'affiche.
- À l'étape Spécifier le système source :
- Sélectionnez Connexion RFC comme type de connexion.
- Saisissez le nom de la connexion RFC.
- Assurez-vous que le champ Autoriser plusieurs utilisations est sélectionné.
- À l'étape Spécifier un système cible :
- Saisissez les données de connexion au système cible.
- Sélectionnez Connexion RFC comme type de connexion.
- Dans le champ Scénario pour la communication RFC, sélectionnez la valeur Écrire des données sur la cible à l'aide de BAdI dans la liste déroulante. La connexion RFC est automatiquement définie sur Aucune.
- À l'étape Spécifier les paramètres de transfert, appuyez sur l'aide F4. L'application que vous avez définie précédemment s'affiche dans le champ Application.
- Notez l'ID à trois chiffres de la colonne Transfert de masse. Vous en aurez besoin lors d'une prochaine étape.
Pour en savoir plus, consultez le PDF joint à la note SAP 2652704 : Réplication des données à l'aide du SDK SLT - DMIS 2011 SP15, SP16, DMIS 2018 SP00, SP01.pdf
Créer une configuration de transfert de masse pour BigQuery
Utilisez la transaction /GOOG/SLT_SETTINGS
personnalisée pour configurer un transfert de masse pour BigQuery et spécifier les mappages de table et de champ.
Sélectionner les options de transfert de masse initiales
Lorsque vous saisissez la transaction /GOOG/SLT_SETTINGS
pour la première fois, vous sélectionnez la partie de la configuration du transfert de masse BigQuery que vous devez modifier.
Pour sélectionner la partie de la configuration du transfert de masse, procédez comme suit :
Dans l'interface utilisateur graphique de SAP, saisissez la transaction
/GOOG/SLT_SETTINGS
précédée de/n
:/n/GOOG/SLT_SETTINGS
Dans le menu déroulant Tableau des paramètres de l'écran de lancement de la transaction
/GOOG/SLT_SETTINGS
, sélectionnez Transferts de masse.Pour une nouvelle configuration de transfert de masse, laissez le champ Clé de transfert de masse vide.
Cliquez sur l'icône Exécuter. L'écran Maintenance des paramètres BigQuery – Transferts de masse s'affiche.
Spécifier la création de table et d'autres attributs généraux
Dans la section initiale d'une configuration de transfert de masse BigQuery, vous identifiez la configuration de transfert de masse et spécifiez la clé client associée, ainsi que certaines propriétés liées à la création de la table BigQuery cible.
SAP LT Replication Server enregistre la configuration de transfert de masse en tant qu'enregistrement dans la table de configuration personnalisée /GOOG/BQ_MASTR
.
Les champs que vous spécifiez dans les étapes suivantes sont obligatoires.
Dans l'écran Maintenance des paramètres BigQuery – Transferts de masse, cliquez sur l'icône Ajouter une ligne.
Sur la ligne affichée, spécifiez les paramètres suivants :
- Dans le champ Clé de transfert de masse, définissez un nom pour ce transfert. Ce nom devient la clé primaire du transfert de masse.
- Dans le champ ID de transfert de masse, saisissez l'ID à trois chiffres généré lors de la création de la configuration de réplication de SAP LT Replication Server.
- Pour utiliser les libellés ou les descriptions courtes des champs sources comme noms des champs cibles dans BigQuery, cochez la case Utiliser les indicateurs de noms personnalisés. Pour en savoir plus sur les noms de champs, consultez la section Options de nommage par défaut pour les champs.
Pour stocker le type de modification ayant déclenché une insertion et pour activer la validation du nombre d'enregistrements entre la table source, les statistiques SAP LT Replication Server et la table BigQuery, sélectionnez la case à cocher Option pour les champs supplémentaires.
Lorsque cette option est définie, BigQuery Connector pour SAP ajoute des colonnes au schéma de table BigQuery. Pour en savoir plus, consultez la section Champs supplémentaires pour les modifications d'enregistrement et les requêtes de décompte.
Pour arrêter l'envoi de données lorsqu'un enregistrement comportant une erreur de données est rencontré, la case S'arrêter au premier indicateur d'erreur est cochée par défaut. Nous vous recommandons de ne pas désactiver cette option. Pour en savoir plus, consultez la section Options de répartition.
(Facultatif) Pour réduire automatiquement la taille des fragments lorsque la taille en octets d'un fragment dépasse la taille maximale des requêtes HTTP acceptées par BigQuery, cochez la case Option de taille dynamique des fragments. Pour en savoir plus sur la taille dynamique des fragments, consultez la section Taille dynamique des fragments.
Pour ignorer l'enregistrement en question et continuer à insérer des enregistrements dans la table BigQuery lorsqu'un enregistrement avec une erreur de données est rencontré, cochez la case Ignorer les enregistrements non valides. Nous vous recommandons de laisser cette option désactivée. Pour en savoir plus, consultez la section Indicateur SKIP.
Dans le champ Nom de la clé Google Cloud, saisissez le nom de la configuration
/GOOG/CLIENT_KEY
correspondante.BigQuery Connector pour SAP récupère automatiquement l'identifiant du projet Google Cloud à partir de la configuration
/GOOG/CLIENT_KEY
.Dans le champ Ensemble de données BigQuery, saisissez le nom de l'ensemble de données BigQuery cible que vous avez créé précédemment dans cette procédure.
Dans le champ Is Setting Active (Paramètre actif ?), activez la configuration de transfert de masse en cochant la case.
Cliquez sur Enregistrer.
Un enregistrement de transfert de masse est ajouté dans la table
/GOOG/BQ_MASTR
et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.Cliquez sur Afficher le tableau.
Le nouvel enregistrement de transfert de masse s'affiche, suivi du panneau de saisie d'attribut de table.
Spécifier les attributs de table
Vous pouvez spécifier les attributs de la table, tels que le nom de la table et le partitionnement ainsi que le nombre d'enregistrements à inclure dans chaque transmission ou fragment envoyé à BigQuery, dans la seconde section de la transaction /GOOG/SLT_SETTINGS
.
Les paramètres que vous spécifiez sont stockés en tant qu'enregistrement dans la table de configuration /GOOG/BQ_TABLE
.
Ces paramètres sont facultatifs.
Pour spécifier des attributs de table :
Cliquez sur l'icône Ajouter une ligne.
Dans le champ Nom de la table SAP, saisissez le nom de la table SAP source.
Dans le champ Nom de la table externe, saisissez le nom de la table BigQuery cible. Si la table cible n'existe pas déjà, BigQuery Connector pour SAP crée la table portant ce nom. Pour connaître les conventions de nommage des tables BigQuery, consultez la section Nommer les tables.
Pour envoyer des données non compressées pour tous les champs d'une table, sélectionnez Envoyer un indicateur non compressé. Lorsque ce paramètre est activé, BigQuery Connector pour SAP réplique les champs vides dans les enregistrements sources avec les valeurs avec lesquelles les champs sont initialisés dans la table source. Pour de meilleures performances, ne sélectionnez pas cette option.
Si vous ne devez envoyer des données non compressées que pour des champs spécifiques, ne sélectionnez pas Envoyer un indicateur non compressé au niveau de la table. Sélectionnez plutôt Envoyer un indicateur non compressé pour ces champs spécifiques au niveau du champ. Cette option vous permet de conserver les valeurs initiales de champs spécifiques lors de la réplication de données dans BigQuery, même si vous compressez le reste des données de la table. Pour savoir comment modifier la compression des enregistrements au niveau des champs, consultez la section Modifier la compression des enregistrements au niveau des champs.
Pour en savoir plus sur le comportement de compression des enregistrements, consultez la section Compression d'enregistrements.
Dans le champ Taille de fragment, vous pouvez éventuellement spécifier le nombre maximal d'enregistrements à inclure dans chaque fragment envoyé à BigQuery. Nous vous recommandons d'utiliser la taille de fragment par défaut avec BigQuery Connector pour SAP, soit 10 000 enregistrements. Si nécessaire, vous pouvez augmenter la taille des fragments jusqu'à 50 000 enregistrements, soit la taille maximale des fragments autorisée par BigQuery Connector pour SAP.
Si les enregistrements sources comportent un grand nombre de champs, leur nombre peut augmenter la taille globale des fragments, ce qui peut entraîner des erreurs de fragments. Le cas échéant, essayez de réduire la taille des fragments pour réduire leur taille en octets. Pour en savoir plus, consultez la section Taille de fragment dans BigQuery Connector pour SAP. Sinon, pour ajuster automatiquement la taille des fragments, activez la taille dynamique des fragments. Pour en savoir plus, consultez la section Taille dynamique des fragments.
Si vous le souhaitez, dans le champ Type de partition, spécifiez une incrémentation de durée à utiliser pour le partitionnement. Les valeurs valides sont
HOUR
,DAY
,MONTH
ouYEAR
. Pour en savoir plus, consultez la page Partitionnement des tables.Le cas échéant, vous pouvez également spécifier dans Champ de partitionnement le nom d'un champ de la table BigQuery cible contenant un horodatage à utiliser pour le partitionnement. Lorsque vous spécifiez le champ de partition, vous devez également spécifier le type de partition. Pour en savoir plus, consultez la page Partitionnement des tables.
Dans le champ Is Setting Active (Paramètre actif ?), activez les attributs de table en cochant la case. Si la case Is Setting Active (Paramètre actif ?) n'est pas cochée, BigQuery Connector pour SAP crée la table BigQuery avec le nom de la table source SAP et la taille de fragment par défaut, sans partitionnement.
Cliquez sur Enregistrer.
Vos attributs sont stockés sous forme d'enregistrement dans la table de configuration
/GOOG/BQ_TABLE
et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.Cliquez sur Afficher les champs.
Le nouvel enregistrement d'attribut de table s'affiche, suivi du panneau de saisie de mappage de champ.
Personnaliser le mappage de champ par défaut
Si la table SAP source contient des champs d'horodatage ou des valeurs booléennes, modifiez le mappage de type de données par défaut afin de refléter avec précision le type de données dans la table BigQuery cible.
Vous pouvez également modifier d'autres types de données ainsi que les noms utilisés pour les champs cibles.
Vous pouvez modifier le mappage par défaut directement dans l'interface utilisateur graphique de SAP ou exporter le mappage par défaut vers une feuille de calcul ou un fichier texte afin que d'autres utilisateurs puissent modifier les valeurs sans avoir besoin d'accéder à SAP LT Replication Server.
Pour en savoir plus sur le mappage de champ par défaut et sur les modifications que vous pouvez apporter, consultez la section Mappage de champ.
Pour personnaliser le mappage par défaut pour les champs BigQuery cibles, procédez comme suit :
Sur la page Maintenance des paramètres BigQuery – Champs de la transaction
/GOOG/SLT_SETTINGS
, affichez les mappages de champs par défaut pour le transfert de masse que vous configurez.Modifiez les types de données cibles par défaut dans la colonne Élément de données externe si nécessaire. Plus spécifiquement, modifiez le type de données cible pour les types de données suivants :
- Horodatages Remplacez le type de données cible par défaut (
NUMERIC
) parTIMESTAMP
ouTIMESTAMP (LONG)
. - Valeurs booléennes Remplacez le type de données cible par défaut (
STRING
) parBOOLEAN
. - Valeurs hexadécimales Remplacez le type de données cible par défaut (
STRING
) parBYTES
.
Pour modifier le mappage de type de données par défaut, procédez comme suit :
- Sur la ligne du champ que vous devez modifier, cliquez sur le champ Élément de données externe.
- Dans la boîte de dialogue des types de données, sélectionnez le type de données BigQuery dont vous avez besoin.
- Confirmez les modifications, puis cliquez sur Enregistrer.
- Horodatages Remplacez le type de données cible par défaut (
Si vous avez spécifié l'option Noms personnalisés sur la page Maintenance des paramètres BigQuery, modifiez les noms de champs cibles par défaut dans la colonne Nom de champ temporaire, le cas échéant.
Les valeurs que vous spécifiez remplacent les noms par défaut affichés dans la colonne Nom du champ externe.
Modifiez les descriptions des champs cibles par défaut dans la colonne Description des champs, le cas échéant.
Vous pouvez éventuellement exporter le mappage des champs pour le modifier en externe. Pour obtenir des instructions, consultez la section Modifier la carte des champs BigQuery dans un fichier CSV.
Une fois toutes les modifications terminées et les valeurs modifiées en externe importées, vérifiez que la case Is Setting Active (Paramètre actif ?) est bien cochée. Si l'option Is Setting Active (Paramètre actif ?) n'est pas sélectionnée, BigQuery Connector pour SAP crée les tables cibles avec des valeurs par défaut.
Cliquez sur Enregistrer.
Les modifications sont stockées dans la table de configuration
/GOOG/BQ_FIELD
et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.
Modifier la compression des enregistrements au niveau des champs
Pour améliorer les performances de réplication, BigQuery Connector pour SAP compresse les enregistrements en omettant tous les champs vides de l'enregistrement source, qui sont ensuite initialisés avec null
dans la table cible de BigQuery.
Toutefois, si vous devez répliquer certains champs vides avec leurs valeurs initiales dans BigQuery tout en continuant à utiliser la compression des enregistrements, vous pouvez sélectionner Envoyer un indicateur non compressé pour ces champs spécifiques.
Pour en savoir plus sur le comportement de compression des enregistrements, consultez la section Compression d'enregistrements.
Pour modifier la compression des enregistrements au niveau des champs, procédez comme suit:
Sur la page Maintenance des paramètres BigQuery – Champs de la transaction
/GOOG/SLT_SETTINGS
, affichez la liste des champs de la table dont vous configurez le transfert de masse.Pour envoyer des données non compressées pour un champ, sélectionnez l'option Envoyer un indicateur non compressé correspondant au champ.
Cliquez sur Enregistrer.
Tester la réplication
Testez la configuration de réplication en démarrant le provisionnement de données :
Ouvrez SAP LT Replication Server Cockpit (transaction
LTRC
) dans l'interface utilisateur graphique de SAP.Cliquez sur la configuration de transfert de masse pour la réplication de table que vous testez.
Cliquez sur Provisionnement des données.
Dans le panneau Provisionnement des données, démarrez le provisionnement :
- Saisissez le nom de la table source.
- Cliquez sur la case d'option correspondant au type de provisionnement des données que vous souhaitez tester. Par exemple, Démarrer le chargement.
Cliquez sur l'icône Exécuter. Le transfert de données commence et la progression s'affiche sur l'écran Objets participant.
Si la table n'existe pas dans BigQuery, BigQuery Connector pour SAP la crée à partir d'un schéma lui-même créé à partir des attributs de table et de champ que vous avez précédemment définis avec la transaction
/GOOG/SLT_SETTINGS
.La durée d'un chargement initial d'une table dépend de la taille de la table et de ses enregistrements.
Les messages sont écrits dans la section Journaux d'application de SAP LT Replication Server dans la transaction
LTRC
.
Vous pouvez également tester la réplication vers BigQuery à l'aide de l'outil de simulation de charge. Pour en savoir plus, consultez la page Outil de simulation de charge.
Valider la réplication
Vous pouvez valider la réplication à l'aide des méthodes suivantes :
- Dans SAP LT Replication Server :
- Surveillez la réplication sur l'écran Provisionnement des données.
- Vérifiez l'absence de messages d'erreur sur l'écran Journaux d'application.
- Dans l'onglet des informations de table dans BigQuery :
- Consultez l'onglet Schéma pour vérifier que le schéma est correct.
- Consultez l'onglet Aperçu pour afficher un aperçu des lignes insérées.
- Consultez l'onglet Détails pour afficher le nombre de lignes insérées, la taille de la table et d'autres informations.
- Si la case Option pour les champs supplémentaires a été cochée lors de la configuration de la table BigQuery, exécutez l'outil de validation de réplication en saisissant la transaction personnalisée
/GOOG/REPLIC_VALID
.
Vérifier la réplication dans SAP LT Replication Server
Utilisez la transaction LTRC
pour afficher la progression des tâches de chargement ou de réplication initiales après leur démarrage et pour vérifier l'absence de messages d'erreur.
Vous pouvez consulter l'état du chargement dans l'onglet Statistiques de chargement et la progression de la tâche dans l'onglet Surveillance du transfert de données dans SAP LT Replication Server.
L'écran Journaux d'application de la transaction LTRC
vous permet d'afficher tous les messages renvoyés par BigQuery, BigQuery Connector pour SAP et SAP LT Replication Server.
Les messages émis par le code BigQuery Connector pour SAP dans SAP LT Replication Server commencent par le préfixe /GOOG/SLT
. Les messages renvoyés par l'API BigQuery commencent par le préfixe /GOOG/MSG
.
Les messages renvoyés par SAP LT Replication Server ne commencent pas par un préfixe /GOOG/
.
Vérifier la réplication dans BigQuery
Dans la console Google Cloud, vérifiez que la table a été créée et que BigQuery y insère des données.
Dans la console Google Cloud, accédez à la page BigQuery.
Dans le champ de recherche de la section Explorateur, saisissez le nom de la table BigQuery cible puis appuyez sur
Enter
.Les informations concernant la table s'affichent dans un onglet du volet de contenu situé du côté droit de la page.
Dans la section des informations concernant la table, cliquez sur les en-têtes suivants pour vérifier la table et l'insertion des lignes :
- Aperçu permet d'afficher les lignes et les champs insérés dans la table BigQuery.
- Schéma permet d'afficher les noms des champs et les types de données.
- Détails permet d'afficher la taille de la table, le nombre total de lignes et d'autres détails.
Exécuter l'outil de validation de réplication
Si l'Option pour les champs supplémentaires a été sélectionnée lors de la configuration de la table BigQuery, vous pouvez utiliser l'outil de validation de réplication pour générer des rapports qui comparent le nombre d'enregistrements figurant dans la table BigQuery. avec le nombre d'enregistrements dans les statistiques SAP LT Replication Server ou dans la table source.
Pour exécuter l'outil de validation de réplication, procédez comme suit :
Dans l'interface utilisateur graphique de SAP, saisissez la transaction
/GOOG/REPLIC_VALID
précédée de/n
:/n/GOOG/REPLIC_VALID
Dans la section Options de traitement, cliquez sur la case d'option Exécuter la validation.
Dans la section Options de sélection, saisissez les spécifications suivantes :
- Dans le menu déroulant du champ Identifiant de partenaire GCP, sélectionnez BigQuery.
- Dans le menu déroulant du champ Type de test, sélectionnez le type de rapport à générer :
- Nombre de chargement initiaux
- Nombre de réplications
- Décomptes actuels
- Si le champ Vérifier la date s'affiche, spécifiez la date pour laquelle vous avez besoin d'un décompte.
- Dans le champ Clé de transfert de masse, saisissez le nom de la configuration de transfert de masse.
- Si vous le souhaitez, dans le champ Noms des tables, spécifiez les noms des tables dans la configuration de transfert de masse pour laquelle vous devez générer le rapport.
Exécutez l'outil de validation de réplication en cliquant sur l'icône Exécuter.
Une fois le contrôle de validation terminé, dans la section Options de traitement, affichez le rapport en cliquant sur la case d'option Afficher le rapport, puis en cliquant sur l'icône Exécuter.
Pour en savoir plus, consultez la section Outil de validation de réplication.
Dépannage
Pour plus d'informations sur le diagnostic et la résolution des problèmes que vous pourriez rencontrer lors de la configuration et de l'exécution de chargements ou de réplications entre SAP et BigQuery avec BigQuery Connector pour SAP, consultez la pageGuide de dépannage de BigQuery Connector pour SAP.
Obtenir de l'aide
Si vous avez besoin d'aide pour résoudre des problèmes liés à la réplication et à BigQuery Connector pour SAP, collectez toutes les informations de diagnostic disponibles et contactez le service client Cloud. Pour savoir comment contacter le service client, consultez la page Obtenir de l'aide pour SAP sur Google Cloud.