Plug-ins Cloud Data Fusion

Un plug-in est un module personnalisable qui peut être utilisé pour étendre les fonctionnalités de Cloud Data Fusion. Les différents types de plug-ins sont classés dans les catégories suivantes : sources, transformations, analyses, actions, récepteurs, gestionnaires d'erreurs, éditeurs d'alertes et conditions. Le tableau de référence ci-dessous regroupe tous les plug-ins disponibles dans Cloud Data Fusion. Si un plug-in dont vous avez besoin n'existe pas, vous pouvez créer le vôtre à l'aide des API de plug-in de Cloud Data Fusion.

Ce tableau décrit les différents types de plug-ins disponibles dans Cloud Data Fusion.

Type	Description
Sources	Les sources sont des connecteurs vers des bases de données, des fichiers ou des flux en temps réel à partir desquels vous obtenez vos données. Ils vous permettent d'ingérer des données à l'aide d'une interface utilisateur simple, de sorte que vous n'ayez pas à vous soucier de coder des connexions de bas niveau.
Transformations	Les transformations vous permettent de manipuler des données après leur ingestion. Par exemple, vous pouvez cloner un enregistrement, mettre en forme des données JSON et même écrire des transformations personnalisées à l'aide du plug-in JavaScript.
Analyse	Les plug-ins d'analyse sont utilisés pour effectuer des agrégations telles que le regroupement et l'association de données issues de différentes sources, ainsi que l'exécution d'opérations d'analyse et de machine learning. Data Fusion fournit des plug-ins intégrés pour une grande variété de cas d'utilisation.
Actions	Les plug-ins d'action définissent une action personnalisée qui est planifiée pendant un workflow, mais ne manipulent pas directement les données de celui-ci. Par exemple, en utilisant l'action personnalisée "Base de données", vous pouvez exécuter une commande de base de données arbitraire à la fin de votre pipeline. Vous pouvez également déclencher une action pour déplacer des fichiers dans Cloud Storage.
Récepteurs	Les données doivent être écrites sur un récepteur. Cloud Data Fusion contient divers récepteurs, tels que Cloud Storage, BigQuery, Cloud Spanner, des bases de données relationnelles, des systèmes de fichiers et des mainframes.
Gestionnaires d'erreurs	Lorsque les nœuds rencontrent des valeurs nulles, des erreurs logiques ou d'autres sources d'erreurs, vous pouvez utiliser un plug-in de type gestionnaire d'erreurs pour les intercepter. Vous avez la possibilité de connecter ce plug-in à la sortie de n'importe quel plug-in de transformation ou d'analyse, ce qui permet de détecter les erreurs. Vous pouvez ensuite traiter ces erreurs dans un flux de traitement d'erreur distinct dans votre pipeline.
Éditeurs d'alertes	L'éditeur d'alertes est un autre type de plug-in qui vous permet de publier des notifications lorsque des événements inhabituels se produisent. Les processus en aval peuvent ensuite s'abonner à ces notifications afin de déclencher un traitement personnalisé pour ces alertes.
Conditions	Les pipelines offrent également des plug-ins de flux de contrôle sous la forme de conditions. Les plug-ins de condition vous permettent de diviser votre pipeline en deux chemins d'accès distincts, selon que le prédicat de condition spécifié prend la valeur "true" ou "false".