Lorsque vous créez un pipeline de données dans Cloud Data Fusion, vous utilisez une série d'étapes, appelées nœuds, pour déplacer et gérer les données à mesure qu'elles circulent de la source au récepteur. Chaque nœud se compose d'un plug-in, un module personnalisable qui étend les fonctionnalités de Cloud Data Fusion.
Vous pouvez trouver les plug-ins dans l'interface Web de Cloud Data Fusion en accédant à la page Studio. Pour afficher d'autres plug-ins, cliquez sur Hub.
Types de plug-ins
Les plug-ins sont classés dans les catégories suivantes:
- Sources
- Transformations
- Analyses
- Récepteurs
- Conditions et actions
- Gestionnaires d'erreurs et alertes
Sources
Les plug-ins sources se connectent aux bases de données, aux fichiers ou aux flux en temps réel à partir desquels votre pipeline lit les données. Vous configurez des sources pour votre pipeline de données à l'aide de l'interface Web. Vous n'avez donc pas à vous soucier du codage des connexions de bas niveau.
Transformations
Les plug-ins de transformation modifient les données après leur ingestion à partir d'une source. Par exemple, vous pouvez cloner un enregistrement, remplacer le format de fichier par JSON ou utiliser le plug-in JavaScript pour créer une transformation personnalisée.
Analyses
Les plug-ins d'analyse effectuent des agrégations, par exemple pour joindre des données provenant de différentes sources, et exécuter des opérations d'analyse et de machine learning.
Récepteurs
Les plug-ins récepteurs écrivent des données dans des ressources telles que Cloud Storage, BigQuery, Spanner, des bases de données relationnelles, des systèmes de fichiers et des mainframes. Vous pouvez interroger les données écrites dans le récepteur à l'aide de l'interface Web de Cloud Data Fusion ou de l'API REST.
Conditions et actions
Utilisez des plug-ins de condition et d'action pour planifier les actions qui se produisent au cours d'un workflow qui ne manipulent pas directement les données du workflow. Exemple :
- Utilisez le plug-in de base de données pour planifier l'exécution d'une commande de base de données à la fin de votre pipeline.
- Utilisez le plug-in de déplacement de fichier pour déclencher une action qui déplace des fichiers dans Cloud Storage.
Gestionnaires d'erreurs et alertes
Lorsque les étapes rencontrent des valeurs nulles, des erreurs logiques ou d'autres sources d'erreurs, vous pouvez utiliser un plug-in de gestionnaire d'erreurs pour les intercepter. Utilisez ces plug-ins pour rechercher des erreurs dans la sortie après un plug-in de transformation ou d'analyse. Vous pouvez écrire les erreurs dans une base de données à des fins d'analyse.
Étapes suivantes
- Explorez les plug-ins.
- Créez un pipeline de données avec les plug-ins.