Questa pagina illustra i tipi di plug-in installati per impostazione predefinita quando crei un'istanza Cloud Data Fusion. Questi plug-in sono disponibili nello spazio dei nomi predefinito dell'istanza e in tutti i nuovi spazi dei nomi che crei. Tu possono scaricare plug-in aggiuntivi da Hub.
In Cloud Data Fusion, i plug-in presentano le seguenti categorie. Vengono visualizzati nel riquadro a sinistra della pagina Studio di Cloud Data Fusion.
Origine
I plug-in di origine si connettono a database, file o flussi in tempo reale in cui che la pipeline legge i dati. Configuri le origini per una pipeline di dati utilizzando il web senza dover usare codice per configurare connessioni di basso livello.
Trasforma
I plug-in di trasformazione modificano i dati dopo che sono stati caricati da un'origine. Per Ad esempio, puoi utilizzare questi plug-in per clonare un record, cambiare il formato del file in JSON o creare una trasformazione personalizzata utilizzando JavaScript.
Analytics
I plug-in di analisi eseguono aggregazioni, ad esempio l'unione di dati provenienti da diverse origini ed eseguire operazioni di analisi e machine learning.
Sink
I plug-in di destinazione scrivono i dati in risorse come Cloud Storage, BigQuery, Spanner, database relazionali, file system e mainframe. Puoi eseguire query sui dati che vengono scritti nel sink utilizzando Interfaccia web di Cloud Data Fusion o API REST.
Condizioni e azioni
I plug-in di condizioni e azioni pianificano le azioni che si verificano durante un flusso di lavoro, ma non manipolano direttamente i dati al suo interno.
Esempi di casi d'uso:
- Pianifica l'esecuzione di un comando di database alla fine della pipeline aggiungendo Plug-in per l'azione del database per la pipeline.
- Per attivare un'azione che sposta i file all'interno di Cloud Storage, aggiungi il token Plug-in per lo spostamento di file nella pipeline.
Gestori degli errori e avvisi
Quando le fasi della pipeline rilevano valori nulli, errori logici o altri errori, i plug-in di gestione degli errori li rilevano. Utilizza questi plug-in per individuare errori in l'output dopo un plug-in di trasformazione o analisi nella pipeline. Puoi scrivere gli errori in un database per l'analisi.