Types de plug-ins

Cette page explique les types de plug-ins installés par défaut lorsque vous créez une instance Cloud Data Fusion. Ces plug-ins sont disponibles dans l'espace de noms par défaut de votre instance et dans tous les nouveaux espaces de noms que vous créez. Vous pouvez télécharger des plug-ins supplémentaires depuis Hub.

Les plug-ins sont répartis dans les catégories suivantes dans Cloud Data Fusion. Ils apparaissent dans le panneau de gauche de la page Studio de Cloud Data Fusion.

Source

Les plug-ins de source se connectent à des bases de données, des fichiers ou des flux en temps réel où votre pipeline lit les données. Vous configurez les sources d'un pipeline de données à l'aide de l'interface Web. Vous n'avez donc pas besoin d'utiliser de code pour configurer des connexions de bas niveau.

Transformer

Les plug-ins de transformation modifient les données après leur chargement à partir d'une source. Par exemple, vous pouvez utiliser ces plug-ins pour cloner un enregistrement, définir le format de fichier sur JSON ou créer une transformation personnalisée à l'aide de JavaScript.

Analytics

Les plug-ins d'analyse effectuent des agrégations, telles que la jointure de données provenant de différentes sources et l'exécution d'opérations d'analyse et de machine learning.

Sink

Les plug-ins de récepteur écrivent des données dans des ressources telles que Cloud Storage, BigQuery, Spanner, des bases de données relationnelles, des systèmes de fichiers et des mainframes. Vous pouvez interroger les données écrites dans le collecteur à l'aide de l'interface Web Cloud Data Fusion ou de l'API REST.

Conditions et actions

Les plug-ins de condition et d'action planifient les actions qui se déroulent pendant un workflow, mais ne manipulent pas directement les données de ce dernier.

Exemples de cas d'utilisation :

  • Planifiez l'exécution d'une commande de base de données à la fin de votre pipeline en ajoutant le plug-in d'action de base de données à votre pipeline.
  • Déclenchez une action qui déplace des fichiers dans Cloud Storage en ajoutant le plug-in de déplacement de fichiers à votre pipeline.

Gestionnaires d'erreurs et alertes

Lorsque les étapes du pipeline rencontrent des valeurs nulles, des erreurs logiques ou d'autres erreurs, les plug-ins de gestionnaire d'erreurs les interceptent. Utilisez ces plug-ins pour détecter les erreurs dans la sortie après un plug-in de transformation ou d'analyse dans votre pipeline. Vous pouvez écrire les erreurs dans une base de données à des fins d'analyse.

Étape suivante