Auf dieser Seite werden die Plug-ins erläutert, die standardmäßig installiert werden, wenn Sie eine Cloud Data Fusion-Instanz zu erstellen. Diese Plug-ins sind in der Standard-Namespace in Ihrer Instanz und in allen neuen Namespaces, die Sie erstellen. Zusätzliche Plug-ins können Sie im Hub herunterladen.
Plug-ins haben in Cloud Data Fusion die folgenden Kategorien. Sie erscheinen auf auf der Cloud Data Fusion-Seite Studio im linken Bereich.
Quelle
Quell-Plug-ins stellen eine Verbindung zu Datenbanken, Dateien oder Echtzeitstreams her, aus denen Ihre Pipeline Daten liest. Sie richten Quellen für eine Datenpipeline über die Weboberfläche ein, sodass Sie keine Codezeilen zum Konfigurieren von Verbindungen auf niedriger Ebene schreiben müssen.
Transformieren
Transformations-Plug-ins ändern Daten, nachdem sie aus einer Quelle geladen wurden. Mit diesen Plug-ins können Sie beispielsweise einen Datensatz klonen, das Dateiformat in JSON ändern oder mit JavaScript eine benutzerdefinierte Transformation erstellen.
Analyse
Analyse-Plug-ins führen Aggregationen durch, z. B. das Zusammenführen von Daten aus verschiedenen Quellen und das Ausführen von Analysen und Vorgängen für maschinelles Lernen.
Sink
Senk-Plug-ins schreiben Daten in Ressourcen wie Cloud Storage, BigQuery, Spanner, relationale Datenbanken, Dateisysteme und Mainframes. Sie können die Daten, die in den Datenablauf geschrieben werden, über die Cloud Data Fusion-Weboberfläche oder die REST API abfragen.
Bedingungen und Aktionen
Bedingungs- und Aktions-Plug-ins planen Aktionen, die während eines Workflows stattfinden, ohne direkte Manipulation von Daten im Workflow.
Anwendungsbeispiele:
- Sie können einen Datenbankbefehl für die Ausführung am Ende der Pipeline planen, indem Sie der Pipeline das Plug-in „Datenbankaktion“ hinzufügen.
- Lösen Sie eine Aktion aus, die Dateien in Cloud Storage verschiebt, indem Sie den Parameter Plug-in zum Verschieben von Dateien in Ihre Pipeline.
Fehler-Handler und -Benachrichtigungen
Wenn in den Phasen der Pipeline Nullwerte, logische Fehler oder andere Fehler auftreten, werden diese von Fehler-Handler-Plug-ins abgefangen. Mit diesen Plug-ins können Sie Fehler in der Ausgabe nach einem Transformations- oder Analyse-Plug-in in Ihrer Pipeline finden. Sie können Folgendes schreiben: zur Analyse an eine Datenbank senden.