Visão geral dos plug-ins

Ao criar um pipeline de dados no Cloud Data Fusion, você usa uma série de estágios, conhecidos como nós, para mover e gerenciar os dados enquanto eles fluem da origem para o coletor. Cada nó consiste em um plug-in, um módulo personalizável que amplia os recursos do Cloud Data Fusion.

É possível encontrar os plug-ins na interface da Web do Cloud Data Fusion acessando a página do Studio. Para mais plug-ins, clique em Hub.

Plug-ins na interface da Web.

Tipos de plug-ins

Os plug-ins são categorizados nas seguintes categorias:

  • Origens
  • Transformações
  • Análise de dados
  • Coletores
  • Condições e ações
  • Gerenciadores de erros e alertas

Origens

Os plug-ins de origem se conectam a bancos de dados, arquivos ou streams em tempo real em que o pipeline lê os dados. Você configura origens para o pipeline de dados usando a interface da Web. Assim, não precisa se preocupar com a codificação de conexões de baixo nível.

Transformações

Os plug-ins de transformação alteram os dados depois que eles são ingeridos de uma origem. Por exemplo, é possível clonar um registro, alterar o formato do arquivo para JSON ou usar o plug-in JavaScript para criar uma transformação personalizada.

Análise de dados

Os plug-ins do Analytics realizam agregações, como mesclar dados de diferentes fontes e executar operações de análise e machine learning.

Coletores

Os plug-ins do coletor gravam dados em recursos, como Cloud Storage, BigQuery, Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes. É possível consultar os dados gravados no coletor usando a interface da Web do Cloud Data Fusion ou a API REST.

Condições e ações

Use plug-ins de condição e ação para programar ações que ocorrem durante um fluxo de trabalho que não manipulam diretamente dados nele. Exemplo:

  • Use o plug-in do Database para programar um comando de banco de dados para ser executado no final do seu pipeline.
  • Use o plug-in File Move para acionar uma ação que move arquivos no Cloud Storage.

Gerenciadores de erros e alertas

Quando as fases encontram valores nulos, erros lógicos ou outras fontes de erros, você pode usar um plug-in de gerenciador de erros para detectar erros. Use esses plug-ins para encontrar erros na saída após um plug-in de transformação ou análise. É possível gravar os erros em um banco de dados para análise.

A seguir