Panoramica dei plug-in

Quando crei una pipeline di dati in Cloud Data Fusion, utilizzi una serie di fasi, chiamate nodi, per spostare e gestire i dati man mano che scorrono dall'origine allo scopo. Ogni nodo è costituito da un plug-in, un modulo personalizzabile che estende le funzionalità di Cloud Data Fusion.

Puoi trovare i plug-in nell'interfaccia web di Cloud Data Fusion nella pagina Studio. Per altri plug-in, fai clic su Hub.

Plug-in nell'interfaccia web.

Tipi di plug-in

I plug-in sono classificati nelle seguenti categorie:

  • Fonti
  • Trasformazioni
  • Analytics
  • Sink
  • Condizioni e azioni
  • Gestori degli errori e avvisi

Fonti

I plug-in origine si connettono a database, file o flussi in tempo reale da cui la pipeline legge i dati. Puoi configurare le origini per la pipeline di dati utilizzando l'interfaccia web, in modo da non doverti preoccupare di scrivere il codice per le connessioni di basso livello.

Trasformazioni

I plug-in di trasformazione modificano i dati dopo che sono stati importati da un'origine. Ad esempio, puoi clonare un record, modificare il formato del file in JSON o utilizzare il plug-in JavaScript per creare una trasformazione personalizzata.

Analytics

I plug-in di analisi eseguono aggregazioni, ad esempio l'unione di dati provenienti da diverse origini ed eseguire operazioni di analisi e machine learning.

Sink

I plug-in di destinazione scrivono i dati in risorse come Cloud Storage, BigQuery, Spanner, database relazionali, file system e mainframe. Puoi eseguire query sui dati scritti nello scommettitore utilizzando l'interfaccia web o l'API REST di Cloud Data Fusion.

Condizioni e azioni

Utilizza i plug-in di condizioni e azioni per pianificare le azioni che si verificano durante un flussi di lavoro che non manipolano direttamente i dati al suo interno. Ad esempio:

  • Utilizza il plug-in Database per pianificare l'esecuzione di un comando del database alla fine della pipeline.
  • Utilizza il plug-in Sposta file per attivare un'azione che sposta i file all'interno di Cloud Storage.

Gestori degli errori e avvisi

Quando le fasi rilevano valori nulli, errori logici o altre fonti di errore, puoi utilizzare un plug-in di gestione degli errori per individuarli. Utilizza questi plug-in per trovare errori nell'output dopo un plug-in di trasformazione o analisi. Puoi scrivere gli errori in un database per sottoporli ad analisi.

Passaggi successivi