Esta página explica os tipos de plug-ins que são instalados por predefinição quando cria uma instância do Cloud Data Fusion. Estes plug-ins estão disponíveis no espaço de nomes predefinido na sua instância e em quaisquer novos espaços de nomes que criar. Pode transferir plug-ins adicionais a partir do Hub.
Os plug-ins têm as seguintes categorias no Cloud Data Fusion. Aparecem no painel do lado esquerdo na página Studio do Cloud Data Fusion.
Origem
Os plug-ins de origem estabelecem ligação a bases de dados, ficheiros ou streams em tempo real onde o seu pipeline lê dados. Configura origens para um pipeline de dados através da interface Web, pelo que não tem de usar código para configurar ligações de baixo nível.
Transformar
Os plug-ins de transformação alteram os dados depois de serem carregados a partir de uma origem. Por exemplo, pode usar estes plug-ins para clonar um registo, alterar o formato do ficheiro para JSON ou criar uma transformação personalizada através de JavaScript.
Google Analytics
Os plug-ins do Analytics fazem agregações, como juntar dados de diferentes origens e executar operações de estatísticas e aprendizagem automática.
Lava-louça
Os plug-ins de destino escrevem dados em recursos, como o Cloud Storage, o BigQuery, o Spanner, bases de dados relacionais, sistemas de ficheiros e mainframes. Pode consultar os dados que são escritos no destino através da interface Web ou da API REST do Cloud Data Fusion.
Condições e ações
Os plug-ins de condição e ação agendam ações que ocorrem durante um fluxo de trabalho, mas não manipulam diretamente os dados no fluxo de trabalho.
Exemplos de utilização:
- Agende um comando de base de dados para ser executado no final do pipeline adicionando o plug-in de ação de base de dados ao pipeline.
- Acione uma ação que move ficheiros no Cloud Storage adicionando o plug-in File Move ao seu pipeline.
Processadores de erros e alertas
Quando as fases do pipeline encontram valores nulos, erros lógicos ou outros erros, os plug-ins do controlador de erros detetam-nos. Use estes plug-ins para encontrar erros na saída após um plug-in de transformação ou de estatísticas no seu pipeline. Pode escrever os erros numa base de dados para análise.