Panoramica dei plug-in

Quando crei una pipeline di dati in Cloud Data Fusion, utilizzi una serie di fasi, note come nodi, per spostare e gestire i dati mentre passano dall'origine al sink. Ogni nodo è costituito da un plug-in, un modulo personalizzabile che estende le funzionalità di Cloud Data Fusion.

Puoi trovare i plug-in nell'interfaccia web di Cloud Data Fusion nella pagina Studio. Per ulteriori plug-in, fai clic su Hub.

Plug-in nell'interfaccia web.

Tipi di plug-in

I plug-in sono classificati nelle seguenti categorie:

  • Origini
  • Trasformazioni
  • Analisi
  • Sink
  • Condizioni e azioni
  • Gestori degli errori e avvisi

Origini

I plug-in origine si connettono a database, file o flussi in tempo reale da cui la pipeline legge i dati. Puoi configurare le origini per la pipeline di dati utilizzando l'interfaccia web, quindi non devi preoccuparti di programmare connessioni di basso livello.

Trasformazioni

I plug-in Transform modificano i dati dopo l'importazione da un'origine. Ad esempio, puoi clonare un record, modificare il formato file in JSON o utilizzare il plug-in JavaScript per creare una trasformazione personalizzata.

Analisi

I plug-in di Analytics eseguono aggregazioni, ad esempio uniscono dati da origini diverse ed eseguono operazioni di analisi e machine learning.

Sink

I plug-in sink scrivono dati in risorse come Cloud Storage, BigQuery, Spanner, database relazionali, file system e mainframe. Puoi eseguire query sui dati scritti nel sink utilizzando l'interfaccia web di Cloud Data Fusion o l'API REST.

Condizioni e azioni

Utilizza i plug-in di condizioni e azioni per pianificare azioni da eseguire durante un flusso di lavoro che non manipola direttamente i dati al suo interno. Ad esempio:

  • Utilizza il plug-in Database per pianificare l'esecuzione di un comando del database al termine della pipeline.
  • Utilizza il plug-in Spostamento di file per attivare un'azione che sposta i file all'interno di Cloud Storage.

Gestori degli errori e avvisi

Quando le fasi rilevano valori nulli, errori logici o altre fonti di errori, puoi utilizzare un plug-in per la gestione degli errori per individuare gli errori. Utilizza questi plug-in per trovare errori nell'output dopo un plug-in di trasformazione o analisi. Puoi scrivere gli errori in un database per l'analisi.

Passaggi successivi