Installer et configurer BigQuery Toolkit pour SAP

Ce document explique comment installer et configurer le BigQuery Toolkit pour SAP.

Installer le BigQuery Toolkit pour SAP

Lorsque vous installez la version 1.9 de la version sur site ou de toute édition cloud du SDK ABAP pour Google Cloud, BigQuery Toolkit pour SAP est installé par défaut. Pour en savoir plus sur la procédure d'installation, consultez Installer et configurer l'édition sur site ou n'importe quelle édition cloud du SDK ABAP pour Google Cloud.

Si vous utilisez déjà la version 1.8 ou une version antérieure de l'édition sur site ou de toute édition cloud du SDK ABAP pour Google Cloud, vous devez mettre à jour votre SDK vers la dernière version pour obtenir le BigQuery Toolkit pour SAP. Pour en savoir plus, consultez Mettre à jour le SDK ABAP pour Google Cloud.

Activer l'API BigQuery

Vous devez activer l'API BigQuery dans votre projet Google Cloud. Pour savoir comment activer des Google Cloud API, consultez Activer des API.

Configurer l'authentification

Une fois que vous avez configuré l'authentification pour accéder aux API Google Cloud dans votre édition sur site ou cloud du SDK ABAP pour Google Cloud, BigQuery Toolkit pour SAP utilise la même méthode d'authentification pour accéder à l'API BigQuery. Pour savoir comment configurer l'authentification dans l'édition sur site ou toute édition cloud du SDK ABAP pour Google Cloud, consultez la section Présentation de l'authentification.

Assurez-vous que le compte de service configuré dans la configuration de la clé client du SDK ABAP pour Google Cloud dispose des rôles suivants:

  • Éditeur de données BigQuery
  • Utilisateur de tâche BigQuery

Notez la clé client que vous avez créée lors de la configuration de l'authentification. Vous utilisez cette clé client lorsque vous configurez le module de configuration du service de transfert de données BigQuery du BigQuery Toolkit pour SAP dans votre système SAP.

Créer un ensemble de données BigQuery

Pour créer un ensemble de données BigQuery, votre compte utilisateur doit disposer des autorisations IAM appropriées pour BigQuery. Pour en savoir plus, consultez la section Autorisations requises.

Pour créer un ensemble de données BigQuery, procédez comme suit :

  1. Dans Google Cloud Console, accédez à la page "BigQuery" :

    Accéder à BigQuery

  2. À côté de votre ID de projet, cliquez sur l'icône Afficher les actions, , puis sur Créer un ensemble de données.

    Créer un ensemble de données

  3. Dans le champ ID de l'ensemble de données, saisissez un nom unique. Pour plus d'informations, consultez la page Nommer les ensembles de données.

Pour en savoir plus sur la création d'ensembles de données BigQuery, consultez la section Créer des ensembles de données.

Configurer le module de transfert de données BigQuery

Le module de transfert de données BigQuery du kit d'outils BigQuery pour SAP vous permet de créer un pipeline de données depuis votre système SAP vers BigQuery. Dans ce processus, vous créez une configuration de transfert groupé dans laquelle vous pouvez spécifier les sources de données SAP à répliquer, mapper des champs entre vos tables SAP et BigQuery, et optimiser les performances en configurant les paramètres de réplication des données.

Sélectionner les options de transfert de masse initiales

Sélectionnez la partie de la configuration du transfert de masse que vous devez modifier.

Pour sélectionner la partie de la configuration du transfert de masse, procédez comme suit:

  1. Dans l'interface utilisateur graphique de SAP, exécutez le code de transaction /GOOG/SDK_IMG.

    Vous pouvez également exécuter le code de transaction SPRO, puis cliquer sur SAP Reference IMG (IMG de référence SAP).

  2. Cliquez sur SDK ABAP pour Google Cloud > Paramètres de base > Transfert de données BigQuery: maintenance des paramètres.

  3. Dans le menu déroulant Tableau des paramètres, sélectionnez Transferts de masse.

    Pour une nouvelle configuration de transfert de masse, laissez le champ Clé de transfert de masse vide.

  4. Cliquez sur l'icône Exécuter. L'écran Maintenance des paramètres du service de transfert de données BigQuery – Transferts de masse s'affiche.

Spécifier la création de table et d'autres attributs généraux

Dans la section initiale d'une configuration de transfert de masse BigQuery, vous identifiez la configuration de transfert de masse et spécifiez la clé client associée, ainsi que certaines propriétés liées à la création de la table BigQuery cible.

Votre serveur SAP enregistre la configuration de transfert de masse en tant qu'enregistrement dans la table de configuration personnalisée /GOOG/BQTR_MASTR.

Les champs que vous spécifiez dans les étapes suivantes sont obligatoires pour une configuration de transfert de masse.

Pour spécifier des attributs de table, procédez comme suit:

  1. Dans l'écran Maintenance des paramètres de transfert de données BigQuery – Transferts de masse, cliquez sur l'icône Ajouter une ligne.

  2. Sur la ligne affichée, spécifiez les paramètres suivants :

    1. Dans le champ Clé de transfert de masse, définissez un nom pour ce transfert. Ce nom devient la clé primaire du transfert de masse.
    2. Pour utiliser les libellés ou les descriptions courtes des champs sources comme noms des champs cibles dans BigQuery, cochez la case Utiliser les indicateurs de noms personnalisés. Pour en savoir plus sur les noms de champs, consultez la section Options de nommage par défaut pour les champs.

    3. Pour stocker le type de modification ayant déclenché une insertion et pour activer la validation du nombre d'enregistrements entre la table source, les statistiques du serveur SAP et la table BigQuery, sélectionnez la case à cocher Option pour les champs supplémentaires.

      Lorsque cet indicateur est défini, BigQuery Toolkit pour SAP ajoute des colonnes au schéma de table BigQuery. Pour en savoir plus, consultez la section Champs supplémentaires pour les modifications d'enregistrement et les requêtes de décompte.

    4. Pour arrêter l'envoi de données lorsqu'un enregistrement comportant une erreur de données est rencontré, la case S'arrêter au premier indicateur d'erreur est cochée par défaut. Nous vous recommandons de ne pas désactiver cette option. Pour en savoir plus, consultez la section Options de répartition.

    5. (Facultatif) Pour réduire automatiquement la taille des fragments lorsque la taille en octets d'un fragment dépasse la taille maximale des requêtes HTTP acceptées par BigQuery, cochez la case Option de taille dynamique des fragments. Pour en savoir plus sur la taille dynamique des fragments, consultez la section Taille dynamique des fragments.

    6. Pour ignorer l'enregistrement en question et continuer à insérer des enregistrements dans la table BigQuery lorsqu'un enregistrement avec une erreur de données est rencontré, cochez la case Ignorer les enregistrements non valides. Nous vous recommandons de laisser cette option désactivée. Pour en savoir plus, consultez la section Indicateur SKIP.

    7. Dans le champ Nom de la clé Google Cloud, saisissez le nom de la configuration de clé client correspondante.

      BigQuery Toolkit pour SAP récupère l'identifiant du projet Google Cloud à partir de la configuration de la clé client.

    8. Dans le champ Ensemble de données BigQuery, saisissez le nom de l'ensemble de données BigQuery cible que vous avez créé dans la section Créer un ensemble de données BigQuery.

    9. Dans le champ Is Setting Active (Paramètre actif ?), activez la configuration de transfert de masse en cochant la case.

    10. Cliquez sur Enregistrer.

      Un enregistrement de transfert de masse est ajouté dans la table /GOOG/BQTR_MASTR et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.

    11. Cliquez sur Afficher le tableau.

      Le nouvel enregistrement de transfert de masse s'affiche, suivi du panneau de saisie d'attribut de table.

Spécifier les attributs de table

Vous pouvez spécifier les attributs de la table, tels que le nom de la table et le partitionnement ainsi que le nombre d'enregistrements à inclure dans chaque transmission ou fragment envoyé à BigQuery.

Les paramètres que vous spécifiez sont stockés en tant qu'enregistrement dans la table de configuration /GOOG/BQTR_TABLE.

Ces paramètres sont facultatifs pour une configuration de transfert de masse.

Pour spécifier des attributs de table, procédez comme suit:

  1. Cliquez sur l'icône Ajouter une ligne.

  2. Dans le champ Nom de la source de données SAP, saisissez le nom des objets de dictionnaire SAP source, tels que des tables, des vues de dictionnaire, des vues CDS ou des entités CDS.

  3. Dans le champ Nom de la table externe, saisissez le nom de la table BigQuery cible. Si la table cible n'existe pas déjà, BigQuery Toolkit pour SAP crée la table portant ce nom. Pour connaître les conventions de nommage des tables BigQuery, consultez la section Nommer les tables.

  4. Pour envoyer des données non compressées pour tous les champs d'une table, sélectionnez Envoyer un indicateur non compressé. Lorsque ce paramètre est activé, BigQuery Toolkit pour SAP réplique les champs vides dans les enregistrements sources avec les valeurs avec lesquelles les champs sont initialisés dans la table source. Pour de meilleures performances, ne sélectionnez pas cette option.

    Si vous ne devez envoyer des données non compressées que pour des champs spécifiques, ne sélectionnez pas Envoyer un indicateur non compressé au niveau de la table. Sélectionnez plutôt Envoyer un indicateur non compressé pour ces champs spécifiques au niveau du champ. Cette option vous permet de conserver les valeurs initiales de champs spécifiques lors de la réplication de données dans BigQuery, même si vous compressez le reste des données de la table. Pour savoir comment modifier la compression des enregistrements au niveau des champs, consultez la section Modifier la compression des enregistrements au niveau des champs.

    Pour en savoir plus sur le comportement de compression des enregistrements, consultez la section Compression des enregistrements.

  5. Dans le champ Taille de fragment, vous pouvez éventuellement spécifier le nombre maximal d'enregistrements à inclure dans chaque fragment envoyé à BigQuery. Nous vous recommandons d'utiliser la taille de fragment par défaut avec BigQuery Toolkit pour SAP, soit 10 000 enregistrements. Si nécessaire, vous pouvez augmenter la taille des fragments jusqu'à 50 000 enregistrements, soit la taille maximale des fragments autorisée par BigQuery Toolkit pour SAP.

    Si les enregistrements sources comportent un grand nombre de champs, leur nombre peut augmenter la taille globale des fragments, ce qui peut entraîner des erreurs de fragments. Le cas échéant, essayez de réduire la taille des fragments pour réduire leur taille en octets. Pour en savoir plus, consultez la section Taille des fragments de données transférés. Sinon, pour ajuster automatiquement la taille des fragments, activez la taille dynamique des fragments. Pour en savoir plus, consultez la section Taille dynamique des fragments.

  6. Si vous le souhaitez, dans le champ Type de partition, spécifiez une incrémentation de durée à utiliser pour le partitionnement. Les valeurs valides sont HOUR, DAY, MONTH ou YEAR. Pour en savoir plus, consultez la page Partitionnement des tables.

  7. Le cas échéant, vous pouvez également spécifier dans Champ de partitionnement le nom d'un champ de la table BigQuery cible contenant un horodatage à utiliser pour le partitionnement. Lorsque vous spécifiez le champ de partition, vous devez également spécifier le type de partition. Pour en savoir plus, consultez la page Partitionnement des tables.

  8. Dans le champ Is Setting Active (Paramètre actif ?), activez les attributs de table en cochant la case. Si la case Is Setting Active (Paramètre actif ?) n'est pas cochée, BigQuery Toolkit pour SAP crée la table BigQuery avec le nom de la table source SAP et la taille de fragment par défaut, sans partitionnement.

  9. Cliquez sur Enregistrer.

    Vos attributs sont stockés sous forme d'enregistrement dans la table de configuration /GOOG/BQTR_TABLE et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.

  10. Cliquez sur Afficher les champs.

    Le nouvel enregistrement d'attribut de table s'affiche, suivi du panneau de saisie de mappage de champ.

Personnaliser le mappage de champ par défaut

Si la table SAP source contient des champs d'horodatage ou des valeurs booléennes, modifiez le mappage de type de données par défaut afin de refléter avec précision le type de données dans la table BigQuery cible.

Vous pouvez également modifier d'autres types de données ainsi que les noms utilisés pour les champs cibles.

Vous pouvez modifier le mappage par défaut directement dans l'interface utilisateur graphique de SAP ou exporter le mappage par défaut vers une feuille de calcul ou un fichier texte afin que d'autres utilisateurs puissent modifier les valeurs sans avoir besoin d'accéder à votre serveur SAP.

Pour en savoir plus sur le mappage de champ par défaut et sur les modifications que vous pouvez apporter, consultez la section Mappage de champ.

Pour personnaliser le mappage par défaut pour les champs BigQuery cibles, procédez comme suit:

  1. Sur l'écran Maintenance des paramètres de transfert de données BigQuery – Champs, affichez les mappages de champs par défaut pour le transfert de masse que vous configurez.

  2. Modifiez les types de données cibles par défaut dans la colonne Élément de données externe si nécessaire. Plus spécifiquement, modifiez le type de données cible pour les types de données suivants :

    • Horodatages Remplacez le type de données cible par défaut (NUMERIC) par TIMESTAMP ou TIMESTAMP (LONG).
    • Valeurs booléennes Remplacez le type de données cible par défaut (STRING) par BOOLEAN.
    • Valeurs hexadécimales Remplacez le type de données cible par défaut (STRING) par BYTES.

    Pour modifier le mappage de type de données par défaut, procédez comme suit :

    1. Sur la ligne du champ que vous devez modifier, cliquez sur le champ Élément de données externe.
    2. Dans la boîte de dialogue des types de données, sélectionnez le type de données BigQuery dont vous avez besoin.
    3. Confirmez les modifications, puis cliquez sur Enregistrer.

  3. Si vous avez spécifié l'option Noms personnalisés sur l'écran Maintenance des paramètres de transfert de données BigQuery, modifiez les noms de champs cibles par défaut dans la colonne Nom de champ temporaire, le cas échéant.

    Les valeurs que vous spécifiez remplacent les noms par défaut affichés dans la colonne Nom du champ externe.

  4. Modifiez les descriptions des champs cibles par défaut dans la colonne Description des champs, le cas échéant.

  5. Vous pouvez éventuellement exporter le mappage des champs pour le modifier en externe. Pour obtenir des instructions, consultez la section Modifier la carte des champs BigQuery dans un fichier CSV.

  6. Une fois toutes les modifications terminées et les valeurs modifiées en externe importées, vérifiez que la case Is Setting Active (Paramètre actif ?) est bien cochée. Si l'option Is Setting Active (Paramètre actif ?) n'est pas sélectionnée, BigQuery Toolkit pour SAP crée les tables cibles avec les valeurs par défaut.

  7. Cliquez sur Enregistrer.

    Les modifications sont stockées dans la table de configuration /GOOG/BQTR_FIELD et les champs Modifié par, Modifié le et Modifié à sont automatiquement renseignés.

Modifier la compression des enregistrements au niveau des champs

Pour améliorer les performances de réplication, BigQuery Toolkit pour SAP compresse les enregistrements en omettant tous les champs vides de l'enregistrement source, qui sont ensuite initialisés avec null dans la table cible de BigQuery. Toutefois, si vous devez répliquer certains champs vides avec leurs valeurs initiales dans BigQuery tout en continuant à utiliser la compression des enregistrements, vous pouvez sélectionner Envoyer un indicateur non compressé pour ces champs spécifiques.

Pour en savoir plus sur le comportement de compression des enregistrements, consultez la section Compression des enregistrements.

Pour modifier la compression des enregistrements au niveau des champs, procédez comme suit:

  1. Sur l'écran Maintenance des paramètres de transfert de données BigQuery – Champs, affichez la liste des champs de la table dont vous configurez le transfert de masse.

  2. Pour envoyer des données non compressées pour un champ, sélectionnez l'option Envoyer un indicateur non compressé correspondant au champ.

  3. Cliquez sur Enregistrer.

Obtenir de l'aide

Google Cloud propose une assistance pour les problèmes et les questions liés à l'installation, à la configuration, à l'exploitation et à la maintenance du kit d'outils BigQuery pour SAP. Toutefois, l'assistance est limitée à la boîte à outils elle-même.

Google Cloud n'est pas compatible avec d'autres composants de l'environnement, tels que l'infrastructure réseau, les bases de données, les systèmes d'exploitation ou les logiciels tiers. Pour les problèmes liés à d'autres composants de l'environnement que le kit d'outils BigQuery pour SAP, contactez le fournisseur ou le prestataire d'assistance approprié.

Pour les fonctionnalités fournies par SAP, telles que le provisionnement de données opérationnelles (ODP) et SAP Landscape Transformation (SLT), contactez l'assistance SAP pour obtenir de l'aide.

Pour résoudre les problèmes liés au BigQuery Toolkit pour SAP, consultez Résoudre les problèmes liés au BigQuery Toolkit pour SAP.

Procédez comme suit si vous avez besoin d'aide pour résoudre les problèmes liés au SDK ABAP pour Google Cloud :