Auf dieser Seite werden die Plug-in-Typen erläutert, die beim Erstellen einer Cloud Data Fusion-Instanz standardmäßig installiert werden. Diese Plug-ins sind im Standard-Namespace in Ihrer Instanz und in allen neuen Namespaces verfügbar, die Sie erstellen. Sie können weitere Plug-ins von Hub herunterladen.
Plug-ins haben in Cloud Data Fusion die folgenden Kategorien. Sie werden im linken Bereich auf der Cloud Data Fusion-Seite Studio angezeigt.
Quelle
Quell-Plug-ins stellen eine Verbindung zu Datenbanken, Dateien oder Echtzeitstreams her, in die Ihre Pipeline Daten liest. Quellen für eine Datenpipeline werden über die Weboberfläche eingerichtet, sodass Sie keinen Code zum Konfigurieren von Low-Level-Verbindungen verwenden müssen.
Transformieren
Transformations-Plug-ins ändern Daten, nachdem sie aus einer Quelle geladen wurden. Sie können diese Plug-ins beispielsweise verwenden, um einen Eintrag zu klonen, das Dateiformat in JSON zu ändern oder eine benutzerdefinierte Transformation mit JavaScript zu erstellen.
Analysen
Analyse-Plug-ins führen Aggregationen durch, z. B. das Zusammenführen von Daten aus verschiedenen Quellen sowie das Ausführen von Analysen und Vorgängen für maschinelles Lernen.
Spülbecken
Senken-Plug-ins schreiben Daten in Ressourcen wie Cloud Storage, BigQuery, Spanner, relationale Datenbanken, Dateisysteme und Mainframes. Sie können die Daten, die in die Senke geschrieben werden, über die Weboberfläche von Cloud Data Fusion oder die REST API abfragen.
Bedingungen und Aktionen
Mit diesen Plug-ins werden Aktionen geplant, die während eines Workflows stattfinden, jedoch keine direkten Änderungen an Daten im Workflow.
Anwendungsbeispiele:
- Planen Sie einen Datenbankbefehl, der am Ende Ihrer Pipeline ausgeführt werden soll. Fügen Sie dazu Ihrer Pipeline das Plug-in für die Datenbankaktion hinzu.
- Lösen Sie eine Aktion aus, die Dateien in Cloud Storage verschiebt, indem Sie Ihrer Pipeline das Plug-in zum Verschieben von Dateien hinzufügen.
Fehler-Handler und Benachrichtigungen
Wenn in Phasen der Pipeline Nullwerte, logische Fehler oder andere Fehler auftreten, werden diese von Fehler-Handler-Plug-ins abgefangen. Mit diesen Plug-ins können Sie nach Fehlern in der Ausgabe nach einem Transformations- oder Analyse-Plug-in in Ihrer Pipeline suchen. Sie können die Fehler zur Analyse in eine Datenbank schreiben.