Tipos de plug-ins

Nesta página, explicamos os tipos de plug-ins instalados por padrão quando você cria uma instância do Cloud Data Fusion. Esses plug-ins estão disponíveis no namespace padrão em sua instância e em todos os novos namespaces que você criar. É possível fazer o download de outros plug-ins no Hub.

Os plug-ins têm as seguintes categorias no Cloud Data Fusion. Elas aparecem no painel esquerdo da página do Studio no Cloud Data Fusion.

Origem

Os plug-ins de origem se conectam a bancos de dados, arquivos ou streams em tempo real em que o pipeline lê dados. As origens de um pipeline de dados são configuradas usando a interface da Web. Assim, não é necessário usar um código para configurar conexões de baixo nível.

Transformação

Os plug-ins de transformação alteram os dados depois que eles são carregados de uma origem. Por exemplo, é possível usar esses plug-ins para clonar um registro, alterar o formato do arquivo para JSON ou criar uma transformação personalizada usando JavaScript.

Análise

Os plug-ins do Analytics realizam agregações, como mesclar dados de diferentes fontes e executar operações de análise e machine learning.

Coletor

Os plug-ins de coletor gravam dados em recursos, como Cloud Storage, BigQuery, Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes. É possível consultar os dados gravados no coletor usando a interface da Web do Cloud Data Fusion ou a API REST.

Condições e ações

Os plug-ins de condição e ação programam ações que ocorrem durante um fluxo de trabalho, mas não manipulam dados diretamente nesse fluxo.

Exemplos de casos de uso:

  • Programe um comando de banco de dados para ser executado no final do pipeline adicionando o plug-in de ação do banco de dados ao pipeline.
  • Para acionar uma ação que move arquivos no Cloud Storage, adicione o plug-in File Move ao pipeline.

Gerenciadores de erros e alertas

Quando os estágios do pipeline encontram valores nulos, erros lógicos ou outros erros, os plug-ins do gerenciador de erros os capturam. Use esses plug-ins para encontrar erros na saída após um plug-in de transformação ou análise no pipeline. Você pode gravar os erros em um banco de dados para análise.

A seguir