Übersicht über Plug-ins

Wenn Sie eine Datenpipeline in Cloud Data Fusion erstellen, verwenden Sie eine Reihe von Phasen, die als Knoten bezeichnet werden, um Daten während des Flusses von der Quelle zur Senke zu verschieben und zu verwalten. Jeder Knoten besteht aus einem Plug-in – einem anpassbaren Modul, das die Funktionen von Cloud Data Fusion erweitert.

Sie finden die Plug-ins in der Weboberfläche von Cloud Data Fusion auf der Seite Studio. Klicken Sie auf Hub, um weitere Plug-ins zu sehen.

Plug-ins in der Weboberfläche.

Plug-in-Typen

Plug-ins sind in folgende Kategorien unterteilt:

  • Quellen
  • Transformationen
  • Analysen
  • Senken
  • Bedingungen und Aktionen
  • Fehler-Handler und -Benachrichtigungen

Quellen

Quell-Plug-ins stellen eine Verbindung zu Datenbanken, Dateien oder Echtzeitstreams her, aus denen Ihre Pipeline Daten liest. Sie richten Quellen für Ihre Datenpipeline über die Weboberfläche ein, sodass Sie sich nicht um das Codieren von Low-Level-Verbindungen kümmern müssen.

Transformationen

Transformations-Plug-ins ändern Daten, nachdem sie aus einer Quelle aufgenommen wurden. Sie können beispielsweise einen Datensatz klonen, das Dateiformat in JSON ändern oder das JavaScript-Plug-in verwenden, um eine benutzerdefinierte Transformation zu erstellen.

Analysen

Analyse-Plug-ins führen Aggregationen durch, wie z. B. das Zusammenführen von Daten aus verschiedenen Quellen sowie das Ausführen von Analyse- und ML-Vorgängen.

Senken

Senken-Plug-ins schreiben Daten in Ressourcen wie Cloud Storage, BigQuery, Spanner, relationale Datenbanken, Dateisysteme und Mainframes. Sie können die Daten, die in die Senke geschrieben werden, über die Cloud Data Fusion-Weboberfläche oder die REST API abfragen.

Bedingungen und Aktionen

Verwenden Sie Plug-ins für Bedingungen und Aktionen, um Aktionen zu planen, die während eines Workflows ausgeführt werden und die Daten im Workflow nicht direkt bearbeiten. Beispiel:

  • Mit dem Datenbank-Plug-in können Sie einen Datenbankbefehl planen, der am Ende Ihrer Pipeline ausgeführt wird.
  • Mit dem Plug-in "Dateiverschiebung" können Sie eine Aktion auslösen, durch die Dateien in Cloud Storage verschoben werden.

Fehler-Handler und -Benachrichtigungen

Wenn bei Phasen Nullwerte, logische Fehler oder andere Fehlerquellen auftreten, können Sie ein Fehler-Handler-Plug-in verwenden, um Fehler abzufangen. Verwenden Sie diese Plug-ins, um Fehler in der Ausgabe nach einem Transformations- oder Analyse-Plug-in zu finden. Sie können die Fehler zur Analyse in eine Datenbank schreiben.

Nächste Schritte