Types de plug-ins

Cette page décrit les types de plug-ins installés par défaut lorsque vous utilisez créer une instance Cloud Data Fusion. Ces plug-ins sont disponibles espace de noms par défaut de votre instance et tous les espaces de noms que vous créez. Toi télécharger des plug-ins supplémentaires depuis Hub ;

Les plug-ins disposent des catégories suivantes dans Cloud Data Fusion. Elles apparaissent sur Panneau de gauche de la page Cloud Data Fusion Studio

Source

Les plug-ins sources se connectent aux bases de données, aux fichiers ou aux flux en temps réel où votre le pipeline lit les données. Vous configurez des sources pour un pipeline de données à l'aide du Web vous n'avez donc pas besoin d'utiliser du code pour configurer les connexions de bas niveau.

Transformer

Les plug-ins de transformation modifient les données après leur chargement depuis une source. Pour Par exemple, vous pouvez utiliser ces plug-ins pour cloner un enregistrement, modifier le format de fichier JSON ou créer une transformation personnalisée à l'aide de JavaScript.

Analytics

Les plug-ins Analytics effectuent des agrégations, par exemple en associant des données provenant de différents et exécuter des opérations d'analyse et de machine learning.

Sink

Les plug-ins récepteurs écrivent des données dans des ressources telles que Cloud Storage, BigQuery, Spanner, les bases de données relationnelles, les systèmes de fichiers mainframes. Vous pouvez interroger les données qui sont écrites dans le récepteur à l'aide de la Interface Web Cloud Data Fusion ou API REST.

Conditions et actions

Les plug-ins de condition et d'action planifient les actions qui ont lieu pendant un workflow. mais ne manipulez pas directement les données dans le workflow.

Exemples de cas d'utilisation :

  • Planifiez l'exécution d'une commande de base de données à la fin de votre pipeline en ajoutant le Plug-in d'action de base de données dans votre pipeline.
  • Déclenchez une action qui déplace des fichiers dans Cloud Storage en ajoutant le paramètre Plug-in File Move dans votre pipeline.

Gestionnaires d'erreurs et alertes

Lorsque les étapes du pipeline rencontrent des valeurs nulles, des erreurs logiques ou d'autres les plug-ins de gestionnaire d'erreurs les interceptent. Utilisez ces plug-ins pour rechercher les erreurs dans les résultats après un plug-in de transformation ou d'analyse dans votre pipeline. Vous pouvez écrire les erreurs à une base de données pour analyse.

Étape suivante