Questa pagina illustra i tipi di plug-in installati per impostazione predefinita quando crei un'istanza Cloud Data Fusion. Questi plug-in sono disponibili nello spazio dei nomi predefinito dell'istanza e in tutti i nuovi spazi dei nomi che crei. Puoi scaricare plug-in aggiuntivi da Hub.
I plug-in hanno le seguenti categorie in Cloud Data Fusion. Vengono visualizzati nel riquadro a sinistra della pagina Studio di Cloud Data Fusion.
Origine
I plug-in di origine si connettono a database, file o flussi in tempo reale in cui la pipeline legge i dati. Puoi configurare le origini per una pipeline di dati utilizzando l'interfaccia web, quindi non devi utilizzare il codice per configurare le connessioni di basso livello.
Trasforma
I plug-in di trasformazione modificano i dati dopo che sono stati caricati da un'origine. Ad esempio, puoi utilizzare questi plug-in per clonare un record, modificare il formato del file in JSON o creare una trasformazione personalizzata utilizzando JavaScript.
Analytics
I plug-in di analisi eseguono aggregazioni, ad esempio l'unione di dati provenienti da diverse origini ed eseguire operazioni di analisi e machine learning.
Sink
I plug-in di destinazione scrivono i dati in risorse come Cloud Storage, BigQuery, Spanner, database relazionali, file system e mainframe. Puoi eseguire query sui dati scritti nello scommettitore utilizzando l'interfaccia web o l'API REST di Cloud Data Fusion.
Condizioni e azioni
I plug-in di condizioni e azioni pianificano le azioni che si verificano durante un flusso di lavoro, ma non manipolano direttamente i dati al suo interno.
Esempi di casi d'uso:
- Pianifica l'esecuzione di un comando del database alla fine della pipeline aggiungendo il plug-in Azione database alla pipeline.
- Attiva un'azione che sposta i file all'interno di Cloud Storage aggiungendo il plug-in Sposta file alla pipeline.
Gestori degli errori e avvisi
Quando le fasi della pipeline rilevano valori nulli, errori logici o altri errori, i plug-in di gestione degli errori li rilevano. Utilizza questi plug-in per trovare errori nell'output dopo un plug-in di trasformazione o analisi nella pipeline. Puoi scrivere gli errori in un database per sottoporli ad analisi.