Nesta página, explicamos os tipos de plug-ins instalados por padrão quando você cria uma instância do Cloud Data Fusion. Esses plug-ins estão disponíveis no namespace padrão em sua instância e em todos os novos namespaces que você criar. É possível fazer o download de outros plug-ins no Hub.
Os plug-ins têm as seguintes categorias no Cloud Data Fusion. Elas aparecem no painel esquerdo da página do Studio no Cloud Data Fusion.
Origem
Os plug-ins de origem se conectam a bancos de dados, arquivos ou streams em tempo real em que o pipeline lê dados. As origens de um pipeline de dados são configuradas usando a interface da Web. Assim, não é necessário usar um código para configurar conexões de baixo nível.
Transformação
Os plug-ins de transformação alteram os dados depois que eles são carregados de uma origem. Por exemplo, é possível usar esses plug-ins para clonar um registro, alterar o formato do arquivo para JSON ou criar uma transformação personalizada usando JavaScript.
Análise
Os plug-ins do Analytics realizam agregações, como mesclar dados de diferentes fontes e executar operações de análise e machine learning.
Coletor
Os plug-ins de coletor gravam dados em recursos, como Cloud Storage, BigQuery, Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes. É possível consultar os dados gravados no coletor usando a interface da Web do Cloud Data Fusion ou a API REST.
Condições e ações
Os plug-ins de condição e ação programam ações que ocorrem durante um fluxo de trabalho, mas não manipulam dados diretamente nesse fluxo.
Exemplos de casos de uso:
- Programe um comando de banco de dados para ser executado no final do pipeline adicionando o plug-in de ação do banco de dados ao pipeline.
- Para acionar uma ação que move arquivos no Cloud Storage, adicione o plug-in File Move ao pipeline.
Gerenciadores de erros e alertas
Quando os estágios do pipeline encontram valores nulos, erros lógicos ou outros erros, os plug-ins do gerenciador de erros os capturam. Use esses plug-ins para encontrar erros na saída após um plug-in de transformação ou análise no pipeline. Você pode gravar os erros em um banco de dados para análise.
A seguir
- Saiba como implantar um plug-in do hub do Cloud Data Fusion.