Consultez les connecteurs compatibles avec Application Integration.
Mappage de données
Les données d'entreprise peuvent résider dans différents formats et sources, ce qui rend leur intégration dans un modèle de données ou un pipeline de données unifié difficile. Le mappage de données est le processus d'extraction et de standardisation des données provenant de plusieurs sources afin d'établir une relation entre elles et les champs de données cibles associés dans la destination. Voici quelques exemples d'utilisation du mappage de données dans une intégration :
- Extraire des champs d'une structure de données complexe telle qu'un fichier JSON.
- Mapper la source de données au schéma cible.
- Transformer des données en appliquant des fonctions de transformation.
- Générer des valeurs de sortie et les stocker/les utiliser en tant que variables d'intégration.
Application Integration vous permet d'effectuer un mappage de données à l'aide des tâches suivantes :
Tâche Data Transformer
La tâche Data Transformer est une fonctionnalité de mappage de données basée sur un moteur de modèle disponible dans Application Integration. Elle utilise le langage de configuration Jsonnet de Google pour créer et modifier des modèles Jsonnet qui définissent les relations de mappage pour les variables d'intégration source et cible spécifiées dans votre intégration. La tâche Transformateur de données fournit également un canevas de mappage visuel (mode Diagramme) pour effectuer les attributions de données et les mappages dans vos intégrations.
Mode diagramme
Le mode Diagramme fournit un canevas visuel contenant les éléments d'intégration suivants :
- Entrée : Affiche les variables d'entrée de la transformation de données. La source peut être des variables ou des constantes. Pour attribuer une variable d'entrée, vous pouvez sélectionner une variable existante ou en créer une. Pour mapper ces variables avec les variables de sortie associées, cliquez sur l'élément d'entrée et faites glisser la ligne pour l'associer à la variable de sortie associée.
- Résultat : Affiche les variables de sortie de la transformation de données. Les variables cibles peuvent être utilisées pour le mappage dans les lignes d'entrée suivantes. Pour attribuer une variable de sortie, vous pouvez sélectionner une variable existante ou en créer une.
- Canevas Le canevas permet de mapper visuellement les variables d'entrée et de sortie.
Pour en savoir plus sur les variables dans Application Integration, consultez la section Utiliser des variables dans Application Integration.
L'image suivante présente un exemple de mise en page du mode diagramme de Data Transformer :
Opérations de transformation
Vous pouvez utiliser les opérations de transformation prédéfinies pour transformer et standardiser les données de mappage dans votre intégration. Les opérations de transformation peuvent comporter un ou plusieurs paramètres d'entrée, chaque paramètre pouvant contenir une valeur littérale ou une variable. Vous pouvez utiliser plusieurs fonctions de mappage pour une seule source d'entrée, formant ainsi une expression de transformation de mappage.
Le type de données de fin d'une source d'entrée est basé sur le type renvoyé de l'expression de transformation définie dans la ligne d'entrée de mappage de données correspondante.
Mode script
L'éditeur de Data Transformer Script et les fonctions de Data Transformer compatibles vous permettent d'écrire une logique de mappage de données personnalisée, d'effectuer des attributions de variables et d'ajouter ou de modifier des variables d'intégration.
L'image suivante montre l'exemple de mise en page de l'éditeur de Data Transformer Script :
Pour en savoir plus sur l'ajout et la configuration de la tâche Data Transformer, consultez la page Tâche Data Transformer.
Tâche Mappage de données
La tâche Mappage de données est une fonctionnalité d'Application Integration nécessitant peu ou pas de code et qui fournit un canevas de mappage visuel (éditeur de Mappage de données) permettant d'effectuer des attributions de données et des mappages dans vos intégrations. En outre, vous pouvez également utiliser les fonctions de mappage compatibles pour transformer vos données en variables/formats significatifs pour les rendre accessibles aux autres tâches ou déclencheurs de votre intégration.
Avec la tâche Mappage de données, vous pouvez effectuer les tâches suivantes :
- L'éditeur de Mappage de données vous permet de visualiser et de définir un mappage de variables pour une ou plusieurs variables imbriquées.
- Transformer les variables d'un type de données en un autre type de données La tâche Mappage de données vous permet d'appliquer plusieurs fonctions de mappage (y compris des fonctions imbriquées) pour transformer les données de variables.
Éditeur et mise en page de Mappage de données
L'éditeur de Mappage de données fournit un canevas visuel contenant les éléments d'intégration suivants :
- Volet Variables : affiche les différents types de variables qui sont disponibles pour l'intégration :
- Entrées. Variables d'entrée de l'intégration.
- Sorties. Variables de sortie de l'intégration.
- Variables locales. Variables existant dans le champ d'application de l'intégration.
Si aucune variable n'est répertoriée, cliquez sur Ajouter + pour configurer une nouvelle variable.
Cliquez sur (Développer) pour développer chaque variable et afficher les sous-champs associés disponibles. Pour rechercher une variable ou l'un de ses sous-champ dans la liste des variables disponibles, cliquez sur (Rechercher des variables).Pour en savoir plus sur les variables dans Application Integration, consultez la section Variables.
- Colonne Entrée : affiche les lignes de mappage d'entrée contenant la source de l'entrée de mappage de données. La source peut être une valeur littérale, une fonction de base ou une variable d'entrée, avec des fonctions de mappage. Cliquez sur Variable ou Valeur sur une ligne de mappage d'entrée pour ajouter une source.
- Colonne Sortie : affiche les lignes de mappage de sortie contenant les variables cibles associées pour la ligne de mappage d'entrée correspondante. Les variables cibles peuvent être utilisées pour le mappage dans les lignes d'entrée suivantes. Pour attribuer une variable de sortie, vous pouvez soit créer une variable de sortie, soit faire glisser une variable de sortie existante directement depuis la colonne Variables.
Fonctions de mappage
La tâche Mappage de données fournit diverses fonctions de mappage prédéfinies pour transformer et standardiser les données de mappage dans votre intégration. Une fonction de mappage peut avoir un ou plusieurs paramètres d'entrée, où chaque paramètre peut contenir une valeur littérale, une variable ou une fonction de base à laquelle les fonctions de mappage sont appliquées. Vous pouvez utiliser plusieurs fonctions de mappage pour une seule source d'entrée, formant ainsi une expression de transformation de mappage.
Le type de données de fin d'une source d'entrée est basé sur le type renvoyé de l'expression de transformation définie dans la ligne d'entrée de mappage de données correspondante. L'éditeur de Mappage de données affiche une erreur de validation sous la ligne d'entrée de mappage de données correspondante si le type renvoyé de la source d'entrée ne correspond pas au type renvoyé de la variable cible de mappage de sortie correspondante.
Expression de transformation
Une expression de transformation est une combinaison de plusieurs fonctions de mappage qui sont enchaînées en série ou dans une structure imbriquée. L'éditeur de Mappage de données vous permet d'insérer, de modifier ou de supprimer facilement une fonction ou un paramètre de fonction dans une expression de transformation définie. Si l'expression de transformation définie n'est pas valide, l'éditeur de Mappage de données affiche une erreur de validation à côté de la fonction ou du paramètre de fonction correspondant qui est à l'origine de l'erreur dans l'expression. Pour afficher le message d'erreur complet, maintenez le pointeur de la souris sur l'icône d'erreur de validation .
L'image suivante montre un exemple de mappage avec des erreurs de validation dans l'éditeur de Mappage de données :
Pour savoir comment configurer un mappage dans une tâche de mappage de données, consultez Ajouter un mappage.
Pour en savoir plus sur les fonctions de mappage prédéfinies compatibles avec Application Integration, consultez la section Types de données et fonctions de mappage compatibles.
Ordre de mappage
Les mappages spécifiés dans l'éditeur de Mappage de données sont exécutés dans l'ordre, de haut en bas. Par exemple, dans l'image précédente,Num1est mappé sur Num1ToInt dans la première ligne, ce qui rend Num1ToInt disponible pour le mappage dans les lignes suivantes.
Quotas et limites
Pour plus d'informations sur les quotas et les limites, consultez la section Quotas et limites.
Étape suivante
- Ajouter et configurer une tâche Data Transformer (bêta)
- En savoir plus sur les fonctions de transformation de données (preview)
- Ajouter et configurer une tâche de mappage de données