Plug-ins do Cloud Data Fusion

Um plug-in é um módulo personalizável que pode ser usado para ampliar os recursos do Cloud Data Fusion. Os tipos diferentes de plug-in são categorizados como de fonte, transformação, análise, ação, condição, além de coletores e gerenciadores de erro. A tabela de referência de plug-in vista abaixo abrange uma lista completa de todos os plug-ins disponíveis no Cloud Data Fusion. Se um plug-in que você precisa não existe, é possível criar um por conta própria usando as APIs de plug-in do Cloud Data Fusion.

Esta tabela aborda os tipos diferentes de plug-ins disponíveis no Cloud Data Fusion.

Tipo	Descrição
Fontes	As fontes são conectores de bancos de dados, arquivos ou streams em tempo real de onde você consegue os dados. Eles permitem a ingestão de dados com uma IU simples. Assim, você não precisa se preocupar com a codificação de conexões de baixo nível.
Transformações	As transformações permitem gerenciar dados após a ingestão deles. Por exemplo, é possível clonar um registro, formatar arquivos JSON e até mesmo gravar transformações personalizadas usando o plug-in JavaScript.
Análise de dados	Os plug-ins deanálise são usados para executar agregações, como agrupar e integrar dados de diferentes fontes, bem como executar operações de análise e machine learning. O Data Fusion fornece plug-ins integrados para uma variedade de casos de uso.
Ações	Os plug-ins de ação definem uma ação personalizada que está programada para ocorrer durante um fluxo de trabalho, mas ela não gerencia diretamente os dados nesse fluxo. Por exemplo, com a ação personalizada do banco de dados, é possível executar um comando arbitrário no final do pipeline. Como alternativa, mova arquivos no Cloud Storage com uma ação.
Coletores	Os dados precisam ser gravados em um coletor. O Cloud Data Fusion contém vários coletores, como o Cloud Storage, o BigQuery, o Cloud Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes.
Gerenciadores de erros	Quando os nós encontrarem valores nulos, erros lógicos ou de outras fontes, use um plug-in de gerenciador de erros para detectar problemas. Conecte esse plug-in à saída de qualquer plug-in de transformação ou análise que detecta erros. Em seguida, processe esses erros em um fluxo de processamento de erros separado no seu pipeline.
Editores de alerta	Outro tipo de plug-in é o editor de alerta, que permite publicar notificações quando ocorrem eventos incomuns. Os processos de downstream podem se inscrever nessas notificações para acionar o processamento personalizado dos alertas.
Condições	Os pipelines também oferecem plug-ins de fluxo de controle na forma de condições. Os plug-ins de condição permitem ramificar o pipeline em dois caminhos separados, dependendo se o predicado de condição especificado é avaliado como verdadeiro ou falso.