Auf dieser Seite werden die Plug-in-Typen beschrieben, die standardmäßig installiert werden, wenn Sie eine Cloud Data Fusion-Instanz erstellen. Diese Plug-ins sind im Standard-Namespace Ihrer Instanz und in allen neuen Namespaces verfügbar, die Sie erstellen. Zusätzliche Plug-ins können Sie im Hub herunterladen.
Plug-ins in Cloud Data Fusion sind in die folgenden Kategorien unterteilt: Sie werden im linken Bereich der Seite Studio in Cloud Data Fusion angezeigt.
Quelle
Quell-Plug-ins stellen eine Verbindung zu Datenbanken, Dateien oder Echtzeitstreams her, aus denen Ihre Pipeline Daten liest. Sie richten Quellen für eine Datenpipeline über die Weboberfläche ein, sodass Sie keine untergeordneten Verbindungen mit Code konfigurieren müssen.
Transformieren
Mit Transformations-Plug-ins werden Daten nach dem Laden aus einer Quelle geändert. Mit diesen Plug-ins können Sie beispielsweise einen Datensatz klonen, das Dateiformat in JSON ändern oder mit JavaScript eine benutzerdefinierte Transformation erstellen.
Analyse
Mit Analyse-Plug-ins werden Aggregationen durchgeführt, z. B. das Zusammenführen von Daten aus verschiedenen Quellen und das Ausführen von Analysen und Vorgängen für maschinelles Lernen.
Spülbecken
Senk-Plug-ins schreiben Daten in Ressourcen wie Cloud Storage, BigQuery, Spanner, relationale Datenbanken, Dateisysteme und Mainframes. Sie können die Daten, die in den Datenablauf geschrieben werden, über die Cloud Data Fusion-Weboberfläche oder die REST API abfragen.
Bedingungen und Aktionen
Mit Bedingungs- und Aktions-Plug-ins werden Aktionen geplant, die während eines Workflows ausgeführt werden, aber keine direkten Änderungen an den Daten im Workflow vornehmen.
Anwendungsbeispiele:
- Wenn Sie einen Datenbankbefehl am Ende Ihrer Pipeline ausführen lassen möchten, fügen Sie Ihrer Pipeline das Plug-in „Datenbankaktion“ hinzu.
- Fügen Sie Ihrer Pipeline das Plug-in „Datei verschieben“ hinzu, um eine Aktion auszulösen, bei der Dateien in Cloud Storage verschoben werden.
Fehler-Handler und -Benachrichtigungen
Wenn in den Phasen der Pipeline Nullwerte, logische Fehler oder andere Fehler auftreten, werden diese von Fehler-Handler-Plug-ins abgefangen. Mit diesen Plug-ins können Sie Fehler in der Ausgabe nach einem Transformations- oder Analyse-Plug-in in Ihrer Pipeline finden. Sie können die Fehler zur Analyse in eine Datenbank schreiben.