Types de plug-ins

Cette page décrit les types de plug-ins installés par défaut lorsque vous utilisez créer une instance Cloud Data Fusion. Ces plug-ins sont disponibles espace de noms par défaut de votre instance et tous les espaces de noms que vous créez. Vous pouvez télécharger des plug-ins supplémentaires depuis Hub.

Les plug-ins disposent des catégories suivantes dans Cloud Data Fusion. Elles apparaissent sur Panneau de gauche de la page Cloud Data Fusion Studio

Source

Les plug-ins de source se connectent à des bases de données, des fichiers ou des flux en temps réel où votre pipeline lit les données. Vous configurez les sources d'un pipeline de données à l'aide de l'interface Web. Vous n'avez donc pas besoin d'utiliser de code pour configurer des connexions de bas niveau.

Transformer

Les plug-ins de transformation modifient les données après leur chargement à partir d'une source. Par exemple, vous pouvez utiliser ces plug-ins pour cloner un enregistrement, définir le format de fichier sur JSON ou créer une transformation personnalisée à l'aide de JavaScript.

Analytics

Les plug-ins Analytics effectuent des agrégations, par exemple en associant des données provenant de différents et exécuter des opérations d'analyse et de machine learning.

Sink

Les plug-ins de récepteur écrivent des données dans des ressources telles que Cloud Storage, BigQuery, Spanner, des bases de données relationnelles, des systèmes de fichiers et des mainframes. Vous pouvez interroger les données qui sont écrites dans le récepteur à l'aide de la Interface Web Cloud Data Fusion ou API REST.

Conditions et actions

Les plug-ins de condition et d'action planifient les actions qui se déroulent pendant un workflow, mais ne manipulent pas directement les données de ce dernier.

Exemples de cas d'utilisation :

  • Planifiez l'exécution d'une commande de base de données à la fin de votre pipeline en ajoutant le Plug-in d'action de base de données dans votre pipeline.
  • Déclenchez une action qui déplace des fichiers dans Cloud Storage en ajoutant le paramètre Plug-in File Move dans votre pipeline.

Gestionnaires d'erreurs et alertes

Lorsque les étapes du pipeline rencontrent des valeurs nulles, des erreurs logiques ou d'autres erreurs, les plug-ins de gestionnaire d'erreurs les interceptent. Utilisez ces plug-ins pour rechercher des erreurs dans les résultats après un plug-in de transformation ou d'analyse dans votre pipeline. Vous pouvez écrire les erreurs dans une base de données à des fins d'analyse.

Étape suivante