Cloud Data Fusion-Plug-ins

Plug-ins sind anpassbare Module, mit denen die Funktionen von Cloud Data Fusion erweitert werden können. Die verfügbaren Plug-in-Typen sind in die Kategorien Quellen, Transformationen, Analysen, Aktionen, Senken, Fehler-Handler, Benachrichtigungs-Publisher und Bedingungen aufgeteilt. Die folgende Plug-in-Referenztabelle enthält eine vollständige Liste aller Plug-ins für Cloud Data Fusion. Falls es ein von Ihnen benötigtes Plug-in nicht gibt, können Sie mit den Plug-in APIs von Cloud Data Fusion eigene Plug-ins erstellen.

Diese Tabelle enthält eine Beschreibung der in Cloud Data Fusion verfügbaren Plug-in-Typen.

Typ Beschreibung
Quellen Quellen sind Connectors zu Datenbanken, Dateien oder Echtzeitstreams, aus denen Sie Daten erhalten. Damit können Sie Daten über eine einfache Benutzeroberfläche aufnehmen und brauchen keine untergeordneten Verbindungen zu programmieren.
Transformationen Mit Transformationen können Sie Daten nach deren Aufnahme bearbeiten. So ist z. B. das Klonen von Datensätzen möglich. Außerdem können Sie JSON formatieren. Mit dem JavaScript-Plug-in können Sie sogar benutzerdefinierte Transformationen schreiben.
Analyse Plug-ins für Analysen werden für Aggregationen genutzt, um beispielsweise Daten aus verschiedenen Quellen zu gruppieren und zusammenzuführen. Außerdem werden damit Analysen und Vorgänge für maschinelles Lernen durchgeführt. Data Fusion bietet integrierte Plug-ins für eine Vielzahl solcher Anwendungsfälle.
Aktionen Mit Plug-ins für Aktionen wird eine benutzerdefinierte Aktion festgelegt, die während eines Workflows ausgeführt werden soll. Hierbei werden jedoch keine direkten Änderungen an den Daten im Workflow vorgenommen. Mit der benutzerdefinierten Datenbankaktion können Sie beispielsweise am Ende einer Pipeline einen beliebigen Datenbankbefehl ausführen. Alternativ können Sie eine Aktion auslösen, um Dateien in Cloud Storage zu verschieben.
Senken Daten müssen in eine Senke geschrieben werden. Cloud Data Fusion umfasst diverse Senken wie Cloud Storage, BigQuery, Cloud Spanner, relationale Datenbanken, Dateisysteme und Mainframes.
Fehler-Handler Wenn Sie bemerken, dass auf Knoten Nullwerte, logische Fehler oder andere Fehlerquellen auftreten, können Sie mithilfe eines Fehler-Handler-Plug-ins Fehler abfangen. Dabei haben Sie die Möglichkeit, dieses Plug-in mit der Ausgabe eines Transformations- oder Analyse-Plug-ins zu verbinden, das Fehler abfängt. Diese Fehler können dann in einem gesonderten Ablauf zur Fehlerverarbeitung in einer Pipeline verarbeitet werden.
Benachrichtigungs-Publisher Eine weitere Art von Plug-in ist der Benachrichtigungs-Publisher. Damit können Sie Benachrichtigungen veröffentlichen, wenn ungewöhnliche Ereignisse auftreten. Nachgelagerte Prozesse können diese Benachrichtigungen dann abonnieren, um individuelle Verarbeitungen auszulösen.
Bedingungen Pipelines bieten auch Plug-ins für die Ablaufsteuerung in Form von Bedingungen. Mit diesen Plug-ins können Sie eine Pipeline in zwei separate Pfade teilen. Die Bedingung basiert hier auf der Prädikatenlogik wahr/falsch.