Tipos de plug-ins

Esta página explica os tipos de plug-ins que são instalados por padrão quando você cria uma instância do Cloud Data Fusion. Esses plug-ins estão disponíveis no namespace padrão da sua instância e em todos os novos namespaces que você criar. É possível fazer o download de outros plug-ins no Hub.

Os plug-ins têm as seguintes categorias no Cloud Data Fusion. Elas aparecem no painel à esquerda na página Studio do Cloud Data Fusion.

Origem

Os plug-ins de origem se conectam a bancos de dados, arquivos ou streams em tempo real em que o pipeline lê dados. Você configura fontes para um pipeline de dados usando a interface da Web, para que não seja necessário usar código para configurar conexões de baixo nível.

Transformar

Os plug-ins de transformação mudam os dados depois que eles são carregados de uma fonte. Por exemplo, é possível usar esses plug-ins para clonar um registro, mudar o formato do arquivo para JSON ou criar uma transformação personalizada usando JavaScript.

Analytics

Os plug-ins de análise executam agregações, como a união de dados de diferentes fontes e a execução de operações de análise e machine learning.

Coletor

Os plug-ins de coletor gravam dados em recursos, como o Cloud Storage, o BigQuery, o Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes. É possível consultar os dados gravados no destino usando a interface da Web do Cloud Data Fusion ou a API REST.

Condições e ações

Os plug-ins de condição e ação programam ações que ocorrem durante um fluxo de trabalho, mas não manipulam dados diretamente nesse fluxo.

Exemplos de casos de uso:

  • Adicione o plug-in de ação do banco de dados ao pipeline para programar um comando do banco de dados para ser executado no final do pipeline.
  • Ative uma ação que move arquivos no Cloud Storage adicionando o plug-in de movimentação de arquivos ao seu pipeline.

Alertas e gerenciadores de erros

Quando os estágios do pipeline encontram valores nulos, erros lógicos ou outros erros, os plug-ins de gerenciador de erros os detectam. Use esses plug-ins para encontrar erros na saída após um plug-in de transformação ou análise no pipeline. É possível gravar os erros em um banco de dados para análise.

A seguir