Lorsque vous créez un pipeline de données dans Cloud Data Fusion, vous utilisez une série d'étapes, appelées nœuds, pour déplacer et gérer les données à mesure qu'elles passent de la source au récepteur. Chaque nœud se compose d'un plug-in, un module personnalisable qui étend les fonctionnalités de Cloud Data Fusion.
Pour accéder aux plug-ins dans l'interface Web de Cloud Data Fusion, accédez à la page Studio. Pour en savoir plus sur les autres plug-ins, cliquez sur Hub.
Types de plug-ins
Les plug-ins sont classés dans les catégories suivantes:
- Sources
- Transformations
- Analytics
- Récepteurs
- Conditions et actions
- Gestionnaires d'erreurs et alertes
Sources
Les plug-ins de source se connectent à des bases de données, des fichiers ou des flux en temps réel à partir desquels votre pipeline lit des données. Vous configurez les sources de votre pipeline de données à l'aide de l'interface Web. Vous n'avez donc pas à vous soucier de coder des connexions de bas niveau.
Transformations
Les plug-ins de transformation modifient les données après leur ingestion à partir d'une source. Par exemple, vous pouvez cloner un enregistrement, définir le format de fichier sur JSON ou utiliser le plug-in JavaScript pour créer une transformation personnalisée.
Analytics
Les plug-ins d'analyse effectuent des agrégations, telles que la jointure de données provenant de différentes sources et l'exécution d'opérations d'analyse et de machine learning.
Récepteurs
Les plug-ins de récepteur écrivent des données dans des ressources telles que Cloud Storage, BigQuery, Spanner, des bases de données relationnelles, des systèmes de fichiers et des mainframes. Vous pouvez interroger les données écrites dans le collecteur à l'aide de l'interface Web Cloud Data Fusion ou de l'API REST.
Conditions et actions
Utilisez des plug-ins de condition et d'action pour planifier des actions qui se déroulent pendant un workflow, mais qui ne manipulent pas directement les données de celui-ci. Exemple :
- Utilisez le plug-in "Base de données" pour planifier l'exécution d'une commande de base de données à la fin de votre pipeline.
- Utilisez le plug-in de déplacement de fichiers pour déclencher une action qui déplace des fichiers dans Cloud Storage.
Gestionnaires d'erreurs et alertes
Lorsque les étapes rencontrent des valeurs nulles, des erreurs logiques ou d'autres sources d'erreurs, vous pouvez utiliser un plug-in de gestionnaire d'erreurs pour les intercepter. Utilisez ces plug-ins pour détecter les erreurs dans la sortie après un plug-in de transformation ou d'analyse. Vous pouvez écrire les erreurs dans une base de données à des fins d'analyse.
Étape suivante
- Explorer les plug-ins
- Créez un pipeline de données avec les plug-ins.