Wenn Sie eine Datenpipeline in Cloud Data Fusion erstellen, verwenden Sie eine Reihe von Phasen, die als Knoten bezeichnet werden, um Daten zu verschieben und zu verwalten, während sie von der Quelle zur Senke fließen. Jeder Knoten besteht aus einem Plug-in, einem anpassbaren Modul, mit dem die Funktionen von Cloud Data Fusion erweitert werden.
Sie finden die Plug-ins in der Cloud Data Fusion-Weboberfläche auf der Seite Studio. Wenn Sie weitere Plug-ins benötigen, klicken Sie auf Hub.
Plug-in-Typen
Plugins sind in die folgenden Kategorien unterteilt:
- Quellen
- Transformationen
- Analyse
- Senken
- Bedingungen und Aktionen
- Fehler-Handler und -Benachrichtigungen
Quellen
Quell-Plug-ins stellen eine Verbindung zu Datenbanken, Dateien oder Echtzeitstreams her, aus denen Ihre Pipeline Daten liest. Sie richten Quellen für Ihre Datenpipeline über die Weboberfläche ein, sodass Sie sich nicht um das Codieren von Verbindungen auf niedriger Ebene kümmern müssen.
Transformationen
Mit Transformations-Plug-ins werden Daten nach der Aufnahme aus einer Quelle geändert. Beispiel: Sie können einen Datensatz klonen, das Dateiformat in JSON ändern oder mit dem JavaScript-Plug-in eine benutzerdefinierte Transformation erstellen.
Analyse
Mit Analyse-Plug-ins werden Aggregationen durchgeführt, z. B. das Zusammenführen von Daten aus verschiedenen Quellen und das Ausführen von Analysen und Vorgängen für maschinelles Lernen.
Senken
Senk-Plug-ins schreiben Daten in Ressourcen wie Cloud Storage, BigQuery, Spanner, relationale Datenbanken, Dateisysteme und Mainframes. Sie können die Daten, die in den Datenablauf geschrieben werden, über die Cloud Data Fusion-Weboberfläche oder die REST API abfragen.
Bedingungen und Aktionen
Mit Bedingungs- und Aktions-Plug-ins können Sie Aktionen planen, die während eines Workflows ausgeführt werden, ohne dass Daten im Workflow direkt manipuliert werden. Beispiel:
- Mit dem Datenbank-Plug-in können Sie einen Datenbankbefehl planen, der am Ende Ihrer Pipeline ausgeführt wird.
- Mit dem Plug-in „Datei verschieben“ können Sie eine Aktion auslösen, mit der Dateien in Cloud Storage verschoben werden.
Fehler-Handler und -Benachrichtigungen
Wenn in Phasen Nullwerte, logische Fehler oder andere Fehlerquellen auftreten, können Sie mithilfe eines Fehler-Handler-Plug-ins Fehler abfangen. Mit diesen Plug-ins können Sie Fehler in der Ausgabe nach einem Transformations- oder Analyse-Plug-in finden. Sie können die Fehler zur Analyse in eine Datenbank schreiben.