Referência do plug-in do Cloud Data Fusion

Veja todos os plug-ins disponíveis para produtos do Google Cloud, incluindo o Cloud Storage, BigQuery, Cloud Bigtable, Cloud Datastore, Pub/Sub e Google Workspace.

BigQuery

Essa fonte lê todo o conteúdo de uma tabela do BigQuery.

Definidor de argumentos do BigQuery

Lê de uma tabela do BigQuery para buscar argumentos a serem definidos no pipeline.

Execução do BigQuery

Esse plug-in executa uma consulta SQL do BigQuery.

Várias tabelas do BigQuery

Esse coletor grava em várias tabelas do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Tabela do BigQuery

Esse coletor grava em uma tabela do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Cloud Bigtable

Coletor em lote que grava dados no Cloud Bigtable.

Cloud Bigtable

Essa fonte lê dados do Cloud Bigtable.

Datastore

Essa fonte lê dados do Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Datastore

Esse coletor grava dados no Cloud Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Firestore

Lê do Cloud Firestore em pipelines em lote.

Firestore

Plug-in para gravar no Cloud Firestore em pipelines de lote e streaming.

Cloud Storage

Esse plug-in de coletor grava registros em um ou mais arquivos em um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Cloud Storage

O plug-in de origem lê objetos de um caminho em um bucket do Cloud Storage.

Definidor de argumentos do Cloud Storage

Lê de um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

Excluir no Cloud Storage

Esse plug-in exclui objetos em um bucket do Cloud Storage.

Cópia do Cloud Storage

Esse plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Criação do Cloud Storage

Esse plug-in cria objetos em um bucket do Cloud Storage.

Marcador de arquivo concluído do Cloud Storage

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline, o sucesso ou a falha para orquestrar processos dependentes.

Migração do Cloud Storage

Este plug-in move objetos de um bucket do Cloud Storage para outro. Um único objeto pode ser movido ou um diretório de objetos pode ser movido.

Vários arquivos do Cloud Storage

Esse plug-in é usado junto com a fonte MultiTableDatabase para gravar registros de vários bancos de dados em diretórios separados.

Descriptografia do Cloud DLP

Descriptografa dados sensíveis que foram criptografados anteriormente pelo Cloud Data Loss Prevention (DLP) usando uma transformação de criptografia reversível, como a criptografia com preservação de formato.

Filtro de PII do Cloud DLP

Separa registros confidenciais com base na correspondência com um modelo definido pelo usuário usando as APIs dCloud Data Loss Prevention (DLP)

Edição do Cloud DLP

Edita registros confidenciais usando o Cloud Data Loss Prevention (DLP) combinando alguns filtros da DLP predefinidos ou um modelo personalizado definido pelo usuário.

Google Drive

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

Google Drive

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Google Sheets

Grava planilhas no diretório especificado do Google Drive.

Google Sheets

Lê planilhas do diretório especificado do Google Drive.

Pub/Sub

Esse coletor grava em um tópico do Pub/Sub em pipelines de streaming.

Pub/Sub

Essa fonte faz leituras em uma assinatura do Pub/Sub em tempo real.

Spanner

Esse coletor grava em uma tabela do Cloud Spanner.

Spanner

Essa fonte faz leituras em uma tabela do Cloud Spanner.

Speech-to-Text

Este plug-in converte arquivos de áudio em texto usando Speech-to-Text.

Agregar

Plug-ins para agregar funções como média, contagem, contagem(*), primeiro, último, máximo, mínimo, soma, coleta, incluindo junções de tabelas etc.

Agrupar por

Agrupa por um ou mais campos e, em seguida, executa funções de agregação, como média, contagem, contagem(*), primeiro, último, máximo, mínimo, soma e coleta em cada grupo.

Joiner

Mescla registros de uma ou mais entradas com base em chaves de junção. Compatível com junções internas e externas, seleção e renomeação de campos de saída.

Top N

Top N retorna os principais registros "n" do conjunto de entrada com base nos critérios especificados na configuração do plug-in.

Agregação de janelas

Aplica funções de agregação em uma janela de dados.

Alertas

Plug-ins para alertas.

E-mail

Envia um e-mail no final de uma execução de pipeline.

E-mail do SendGrid

Ação para enviar um e-mail ao final de uma execução de pipeline.

Marcador de arquivo concluído do Cloud Storage

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline, o sucesso ou a falha para orquestrar processos dependentes.

Callback HTTP

Executa uma solicitação HTTP no final de uma execução de pipeline.

Kafka Alert Publisher

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

MariaDB

Executa uma consulta do MariaDB no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Netezza

Executa uma consulta do Netezza no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Oracle

Executa uma consulta da Oracle no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

PostgreSQL

Executa uma consulta do PostgreSQL no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

SQL Server

Executa uma consulta do SQL Server no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Teradata

Executa uma consulta do Teradata no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

TMS

Publica alertas no sistema de mensagens transacionais (TMS) do CDAP como objetos JSON.

Apache

Plug-ins para Apache.

Cassandra

Coletor em lote que grava dados no Apache Cassandra.

Cassandra

Origem em lote que lê do Apache Cassandra.

HBase

Grava registros em uma tabela do HBase com um mapeamento de campo para a chave de linha e todos os outros campos de registro mapeados para qualificadores de coluna.

HBase

Origem em lote que lê de um grupo de colunas em uma tabela HBase.

Exportação em massa do Hive

O Hive Export usa a consulta selecionada para entrar na consulta do Hive e armazenar os resultados no local especificado.

Importação em massa do Hive

Importa dados de um diretório/arquivo para uma tabela Hive usando a instrução de carregamento Hive.

HTTP para HDFS

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS

Kafka Alert Publisher

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

Kafka Consumer

Origem em lote do Kafka que lê eventos do Apache Kafka em pipelines de lote.

Kafka Consumer

Origem de streaming do Kafka que lê eventos do Apache Kafka em pipelines de streaming.

Produtor do Kafka

Coletor do Kafka que permite gravar eventos no CSV ou JSON para Kafka.

Kudu

Plug-in CDAP para ingerir dados no Apache Kudu. O plug-in pode ser configurado para pipelines em lote e em tempo real.

Kudu

Plug-in CDAP para ler dados da tabela Apache Kudu.

Programa PySpark

Executa o código Spark fornecido pelo usuário no Python.

Reparticionador

Esse plug-in particiona novamente um Spark RDD.

Scala Spark Compute

Executa o código Spark fornecido pelo usuário no Scala que transforma o RDD para RDD com acesso total a todos os recursos do Spark.

Scala Spark Program

Executa o código Spark fornecido pelo usuário no Scala.

Spark

Executa o código Spark fornecido pelo usuário no Scala, que opera em um RDD de entrada ou Dataframe com acesso total a todos os recursos do Spark.

Analisador de registro do servidor da Web

Analisa registros de qualquer fonte de entrada em busca de informações relevantes, como URI, navegador, dispositivo, código de status HTTP e carimbo de data/hora.

APIs

Plug-ins para várias APIs.

Anaplan

Plug-in de origem para carregar dados de um modelo Anaplan em um pipeline de dados.

Anaplan

Plug-in do coletor para oferecer suporte à importação de dados do CDAP para o servidor Anaplan.

Função do Anaplan

Executa uma ação/processo predefinido no modelo fornecido do Anaplan. Esse recurso é usado com mais frequência na preparação da importação e exportação de dados.

Anúncios no Facebook

Lê dados de anúncios da API Facebook Insights em pipelines em lote.

GitHub

Lê do GitHub em pipelines de lote.

Vários relatórios do Google Ads

Lê todos os relatórios do Google Ads de uma conta do Google Ads em pipelines em lote.

Relatório único do Google Ads

Lê o tipo de relatório especificado das contas do Google Ads em pipelines em lote.

Lote do Google Analytics

Lê do Google Analytics 360 em pipelines de lote.

Streaming do Google Analytics

Lê do Google Analytics 360 em pipelines de streaming.

Google Drive

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

Google Drive

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Google Search Console

Lê do Google Search Console em pipelines de lote.

Google Sheets

Grava planilhas no diretório especificado do Google Drive.

Google Sheets

Lê planilhas do diretório especificado do Google Drive.

HTTP

Lê dados nos formatos JSON, XML, CSV, TSV, TEXT e BLOB de APIs HTTP/HTTPS em pipelines em lote.

HTTP

Plug-in do coletor para enviar as mensagens do pipeline para um endpoint HTTP externo.

Callback HTTP

Executa uma solicitação HTTP no final de uma execução de pipeline.

Pesquisa HTTP

Trata-se de uma fonte de streaming que buscará dados de um URL especificado em um determinado intervalo e transmitirá os resultados para o próximo plug-in.

Streaming HTTP

Lê dados nos formatos JSON, XML, CSV, TSV, TEXT e BLOB de APIs HTTP/HTTPS em pipelines de streaming.

HTTP para HDFS

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS

HubSpot

Plug-in para gravar dados no HubSpot CRM em pipelines de lote e streaming.

HubSpot

Lê dados do CSpotSpot CRM em pipelines de streaming.

HubSpot

Lê dados do CSpot Hub em pipelines de lote.

Salesforce

Essa fonte lê objetos sObjects como oportunidades, contatos, contas, leads, qualquer objeto personalizado etc. do Salesforce em lote.

Salesforce

Essa origem acompanha atualizações em sObjects do Salesforce. Exemplos de sObjects são oportunidades, contatos, contas, leads, qualquer objeto personalizado etc.

Salesforce

Um coletor em lote que insere sObjects no Salesforce, como oportunidades, contatos, contas, leads, qualquer objeto personalizado etc.

Salesforce Marketing Cloud

Essa origem acompanha atualizações nos sObjects do Salesforce, como oportunidades, contatos, contas, leads, qualquer objeto personalizado etc.

Salesforce Marketing Cloud

Esse coletor insere registros em uma extensão de dados do Salesforce Marketing Cloud (SFMC) por meio da integração de servidor para servidor com a API SFMC.

Vários objetos do Salesforce

Essa fonte lê vários sObjects do Salesforce. Deve ser usado em conjunto com vários coletores.

ServiceNow

Lê de uma ou várias tabelas no ServiceNow.

Speech-to-Text

Este plug-in converte arquivos de áudio em texto usando Speech-to-Text.

Splunk

Lê do Splunk em pipelines de streaming.

Splunk

Lê do Splunk em pipelines em lote.

Zendesk

Lê objetos como comentários de artigos, comentários de postagens, comentários de solicitações, comentários de ingressos, grupos, organizações, classificações de satisfação, tags, campos de ingressos, métricas de ingressos, eventos de métricas de ingressos, ingressos, usuários do Zendesk.

Vários objetos do Zendesk

Várias fontes que leem vários objetos do Zendesk e os encaminham para destinos específicos. Deve ser usado em conjunto com um coletor.

Zuora

Plug-in para gravar dados no Zuora em pipelines em lote e por streaming.

Zuora

Lê dados do Zuora em pipelines em lote.

Avro

Plug-ins para Avro.

Arquivo

Grava em um sistema de arquivos em vários formatos.

Arquivo

Essa fonte é usada sempre que você precisa ler de um sistema de arquivos distribuído.

Cloud Storage

Grava registros em um ou mais arquivos em um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

AWS

Plug-ins disponíveis no AWS.

Amazon S3

Essa fonte é usada sempre que você precisar ler do Amazon S3.

Amazon S3

Esse coletor é usado para gravar no Amazon S3 em vários formatos.

Cliente do Amazon S3

A ação do cliente do Amazon S3 é usada para trabalhar com buckets e objetos do S3 antes ou depois da execução de um pipeline.

Coletor do Kinesis

Coletor do Kinesis que envia para um stream especificado do Amazon Kinesis.

Origem do Kinesis

Origem de streaming do Spark que lê streams do AWS Kinesis.

Redshift para S3

A ação do Redshift para o S3 executa o comando UNLOAD no AWS para salvar os resultados de uma consulta do Redshift em um ou mais arquivos no Amazon S3.

S3 para Redshift

Ação do Redshift S3 que vai carregar os dados do bucket do AWS S3 para a tabela do AWS Redshift.

Liberação de memória

Plug-ins para liberação de memória.

Eliminar duplicação

Elimina a duplicação de registros usando um ou mais campos ou o registro como um todo. Além disso, ele é compatível com a escolha lógica de um registro para registros duplicados com base em um campo de filtro. As funções lógicas compatíveis são max, min, first, e last.

Diferenciação

Remove a duplicação de registros de entrada para que todos os registros de saída sejam distintos.

Filtro rápido

Filtra as mensagens com base em um critério especificado.

Filtro de PII do Cloud DLP

Separa registros confidenciais com base na correspondência com um modelo definido pelo usuário usando as APIs dCloud Data Loss Prevention (DLP)

Wrangler

Esse plug-in aplica diretivas de transformação de dados geradas por meio de uma IU interativa ou manualmente nos seus registros de dados.

Cloud Storage

Plug-ins disponíveis para armazenamento em nuvem.

Amazon S3

Essa fonte é usada sempre que você precisar ler do Amazon S3.

Azure Blob Store

Origem em lote para usar o Microsoft Azure Blob Storage como origem.

Azure Decompress

O plug-in Azure Decompress Action descompacta os arquivos gz de um contêiner no serviço Azure Storage Blob para outro contêiner.

Cloud Storage para Snowflake

Carrega dados de arquivos externos ou internos preparados no Cloud Storage para uma tabela do Snowflake.

Cloud Storage

Esse plug-in de coletor grava registros em um ou mais arquivos em um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Cloud Storage

O plug-in lê objetos de um caminho em um bucket do Cloud Storage.

Definidor de argumentos do Cloud Storage

Lê de um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

Excluir no Cloud Storage

Esse plug-in exclui objetos em um bucket do Cloud Storage.

Cópia do Cloud Storage

Esse plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Criação do Cloud Storage

Esse plug-in cria objetos em um bucket do Cloud Storage.

Migração do Cloud Storage

Este plug-in move objetos de um bucket do Cloud Storage para outro. Um único objeto pode ser movido ou um diretório de objetos pode ser movido.

Vários arquivos do Cloud Storage

Esse plug-in é usado junto com a fonte MultiTableDatabase para gravar registros de vários bancos de dados em diretórios separados.

Marcador de arquivo concluído do Cloud Storage

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline, o sucesso ou a falha para orquestrar processos dependentes.

Microsoft Azure Delete

O plug-in Azure Delete Action exclui um contêiner no serviço Azure Storage Blob.

Snowflake para Cloud Storage

Descarrega os dados de uma tabela do Snowflake para um local interno ou externo do Cloud Storage (cenário).

Código

Plug-ins para executar seu próprio código.

JavaScript

Executa o JavaScript fornecido pelo usuário que transforma um registro em zero ou mais registros.

Programa PySpark

Executa o código Spark fornecido pelo usuário no Python.

Python Evaluator

Executa o código Python fornecido pelo usuário para transformar registros de entrada, disponíveis como dicionário do Python.

Scala Spark Compute

Executa o código Spark fornecido pelo usuário no Scala que transforma o RDD para RDD com acesso total a todos os recursos do Spark.

Scala Spark Program

Executa o código Spark fornecido pelo usuário no Scala.

Spark

Executa o código Spark fornecido pelo usuário no Scala, que opera em um RDD de entrada ou Dataframe com acesso total a todos os recursos do Spark.

Compactação

Plug-ins para compactação.

Compactador

Compacta os campos configurados usando diferentes algoritmos de compactação, como SNAPPY, ZIP e GZIP.

Azure Decompress

A ação de descompactar é usada para expandir arquivos arquivados ou compactados (.zip, .gz, .tar, .tar.gz etc.) antes do processamento em um pipeline.

Descompactador de campo

Descompacta os campos configurados usando algoritmos de compactação, como SNAPPY, ZIP e GZIP.

Condicional

Os pipelines também oferecem plug-ins de fluxo de controle na forma de condições. Os plug-ins de condição permitem ramificar o pipeline em dois caminhos separados, dependendo se o predicado de condição especificado é avaliado como verdadeiro ou falso.

Condicional

Um plug-in de fluxo de controle que permite a execução condicional em pipelines com base em expressões.

Coletor de erros

Coleta erros emitidos do cenário anterior e adiciona uma mensagem de erro, um código e um cenário ao registro.

Pipeline de falha

Coletor em lote que faz com que um pipeline falhe imediatamente após receber o primeiro registro.

Divisor de campo nulo

Esse plug-in envia registros com um valor nulo para um determinado campo para a porta nula e aqueles com um valor não nulo para a porta não nula.

Descompactar

Encaminha um registro para uma porta apropriada com base na avaliação de uma expressão no valor de um ou mais campos.

Divisor de união

O divisor de união é usado para dividir dados por um esquema de união, para que a lógica específica do tipo possa ser feita em downstream.

Fluxo de controle

Plug-ins para o fluxo de controle.

Função do Anaplan

Executa uma ação/processo predefinido no modelo fornecido do Anaplan. Esse recurso é usado com mais frequência na preparação da importação e exportação de dados.

Execução do BigQuery

Execute uma consulta SQL no início ou no final de um pipeline.

Banco de dados

Ação que executa um comando de banco de dados.

Consulta do banco de dados

Executa uma consulta do banco de dados no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do DB2

Ação que executa um comando DB2.

Azure Decompress

A ação de descompactar é usada para expandir arquivos arquivados ou compactados (.zip, .gz, .tar, .tar.gz etc.) antes do processamento em um pipeline.

Verificador de conteúdo de arquivo

Esse plug-in pode ser usado para verificar se um arquivo está vazio ou se o conteúdo de um arquivo corresponde a determinado padrão.

Exclusão de arquivo

Exclui um ou mais arquivos.

Mover arquivo

Move um ou mais arquivos.

Cópia de FTP

Copie os arquivos do servidor FTP para o destino especificado.

Put de FTP

Copie arquivos de um destino especificado para o servidor FTP.

Excluir no Cloud Storage

Esse plug-in exclui objetos em um bucket do Cloud Storage.

Cópia do Cloud Storage

Esse plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Criação do Cloud Storage

Esse plug-in cria objetos em um bucket do Cloud Storage.

Migração do Cloud Storage

Este plug-in move objetos de um bucket do Cloud Storage para outro. Um único objeto pode ser movido ou um diretório de objetos pode ser movido.

HTTP para HDFS

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS

Execução de MariaDB

Ação que executa um comando MariaDB.

Execução do MySQL

Ação que executa um comando do MySQL.

Execução do Netezza

Ação que executa um comando do Netezza.

Execução da Oracle

Ação que executa um comando do Oracle.

Exportação da Oracle

Um plug-in de ação para exportar dados da Oracle com eficiência para um sistema de arquivos usando as ferramentas de linha de comando da Oracle.

Execução do PostgreSQL

Ação que executa um comando do PostgreSQL.

Redshift para S3

A ação do Redshift para o S3 executa o comando UNLOAD no AWS para salvar os resultados de uma consulta do Redshift em um ou mais arquivos no Amazon S3.

Executor do programa remoto

Estabelece uma conexão SSH com a máquina remota para executar o comando nela.

S3 para Redshift

Ação do Redshift S3 que vai carregar os dados do bucket do AWS S3 para a tabela do AWS Redshift.

Copiar SFTP

A cópia de SFTP permite a cópia dos arquivos do diretório especificado nos servidores SFTP para o destino especificado.

Excluir SFTP

Plug-in do CDAP Action para excluir os arquivos especificados de um servidor SFTP.

Put do SFTP

O put do SFTP permite o upload de arquivos do sistema de arquivos (local/HDFS) para o servidor FTP. O Regex do arquivo também pode ser usado para filtrar apenas os arquivos que são de interesse.

SQL de execução do Snowflake

Executa uma consulta SQL especificada no Snowflake.

Execução do SQL Server

Ação que executa um comando do SQL Server.

Execução do Teradata

Ação que executa um comando do Teradata.

Cópia do compartilhamento do Windows

Copia um ou mais arquivos em um compartilhamento do Microsoft Windows para um sistema de arquivos.

CRM

Plug-ins para plataformas de CRM, como o Salesforce.

HubSpot

Plug-in para gravar dados no HubSpot CRM em pipelines de lote e streaming.

HubSpot

Lê dados do CSpotSpot CRM em pipelines de streaming.

HubSpot

Lê dados do CSpot Hub em pipelines de lote.

Salesforce

Essa fonte lê objetos sObjects como oportunidades, contatos, contas, leads, qualquer objeto personalizado etc. do Salesforce em lote.

Salesforce

Um coletor em lote que insere sObjects no Salesforce, como oportunidades, contatos, contas, leads, qualquer objeto personalizado etc.

Salesforce

Essa origem acompanha atualizações em sObjects do Salesforce. Exemplos de sObjects são oportunidades, contatos, contas, leads, qualquer objeto personalizado etc.

Salesforce Marketing Cloud

Essa origem acompanha atualizações nos sObjects do Salesforce, como oportunidades, contatos, contas, leads, qualquer objeto personalizado etc.

Salesforce Marketing Cloud

Esse coletor insere registros em uma extensão de dados do Salesforce Marketing Cloud (SFMC) por meio da integração de servidor para servidor com a API SFMC.

Vários objetos do Salesforce

Essa fonte lê vários sObjects do Salesforce. Deve ser usado em conjunto com vários coletores.

CSV

Plug-ins para CSV.

Formatador CSV

Formatos de entrada para um registro CSV usando formatos como DELIMITED, EXCEL, MYSQL, RFC4180 e TDF.

Analisador de CSV

Analisa um registro CSV formatado como DEFAULT, EXCEL, MYSQL, RFC4180, delimitado por tabulação, delimitado por tabulação em um registro estruturado.

Arquivo

Grava em um sistema de arquivos em vários formatos.

Arquivo

Essa fonte é usada sempre que você precisa ler de um sistema de arquivos distribuído.

Cloud Storage

Esse plug-in de coletor grava registros em um ou mais arquivos em um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Produtor do Kafka

Coletor do Kafka que permite gravar eventos no CSV ou JSON para Kafka.

Banco de dados

Plug-ins para bancos de dados.

Cloud Bigtable

Coletor em lote que grava dados no Cloud Bigtable.

Cloud Bigtable

Essa fonte lê dados do Cloud Bigtable.

Banco de dados

Ação que executa um comando de banco de dados.

Banco de dados

Lê de um banco de dados usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Banco de dados

Grava registros em uma tabela de banco de dados. Cada registro vai ser gravado em uma linha na tabela.

Definidor de argumentos do banco de dados

Lê de uma tabela de banco de dados relacional para buscar argumentos a serem definidos no pipeline.

Consulta do banco de dados

Executa uma consulta do banco de dados no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

DB2

Lê de um banco de dados usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

DB2

Executa uma consulta do DB2 no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do DB2

Ação que executa um comando DB2.

IBM DB2

Grava registros em uma tabela do DB2. Cada registro vai ser gravado em uma linha na tabela.

MariaDB

Grava registros em uma tabela do MariaDB. Cada registro vai ser gravado em uma linha na tabela.

MariaDB

Leia de um MariaDB usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

MariaDB

Executa uma consulta do MariaDB no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução de MariaDB

Ação que executa um comando MariaDB.

Várias tabelas de banco de dados

Lê de várias tabelas em um banco de dados. Usado com plug-ins de vários coletores, como vários coletores do Cloud Storage e vários do BigQuery para carregar dados de todo o banco de dados em um único pipeline.

Consulta do MySQL

Executa uma consulta do MySQL no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

MySQL

Grava registros em uma tabela do MySQL. Cada registro vai ser gravado em uma linha na tabela.

MySQL

Lê de uma instância do MySQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Execução do MySQL

Ação que executa um comando do MySQL.

Oracle

Lê de uma tabela da Oracle usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Oracle

Grava registros em uma tabela do Oracle. Cada registro vai ser gravado em uma linha na tabela.

Oracle

Executa uma consulta da Oracle no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução da Oracle

Ação que executa um comando do Oracle.

Exportação da Oracle

Um plug-in de ação para exportar dados da Oracle com eficiência para um sistema de arquivos usando as ferramentas de linha de comando da Oracle.

PostgreSQL

Lê de um PostgreSQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

PostgreSQL

Grava registros em uma tabela do PostgreSQL. Cada registro vai ser gravado em uma linha na tabela.

PostgreSQL

Executa uma consulta do PostgreSQL no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do PostgreSQL

Ação que executa um comando do PostgreSQL.

Spanner

Esse coletor grava em uma tabela do Cloud Spanner.

Spanner

Essa fonte faz leituras em uma tabela do Cloud Spanner.

SQL Server

Grava registros em uma tabela do SQL Server. Cada registro vai ser gravado em uma linha na tabela.

SQL Server

Executa uma consulta do SQL Server no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

SQL Server

Lê de um SQL Server usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Execução do SQL Server

Ação que executa um comando do SQL Server.

Cloud SQL

O DB2 executa uma consulta do DB2 no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Data warehouse

Plug-ins para seu armazenamento de dados.

BigQuery

Essa fonte lê todo o conteúdo de uma tabela do BigQuery.

Definidor de argumentos do BigQuery

Lê de uma tabela do BigQuery para buscar argumentos a serem definidos no pipeline.

Execução do BigQuery

Esse plug-in executa uma consulta SQL do BigQuery.

Várias tabelas do BigQuery

Esse coletor grava em várias tabelas do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Tabela do BigQuery

Esse coletor grava em uma tabela do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Cloud Storage para Snowflake

Carrega dados de arquivos externos ou internos preparados no Cloud Storage para uma tabela do Snowflake.

Exportação em massa do Hive

O Hive Export usa a consulta selecionada para entrar na consulta do Hive e armazenar os resultados no local especificado.

Importação em massa do Hive

Importa dados de um diretório/arquivo para uma tabela Hive usando a instrução de carregamento Hive.

Netezza

Grava registros em uma tabela do Netezza. Cada registro vai ser gravado em uma linha na tabela.

Netezza

Lê de um Netezza usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Netezza

Executa uma consulta do Netezza no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do Netezza

Ação que executa um comando do Netezza.

Redshift para S3

A ação do Redshift para o S3 executa o comando UNLOAD no AWS para salvar os resultados de uma consulta do Redshift em um ou mais arquivos no Amazon S3.

S3 para Redshift

Ação do Redshift S3 que vai carregar os dados do bucket do AWS S3 para a tabela do AWS Redshift.

SCD2 Spark Compute

Cria uma representação SCD2 de um registro, agrupando registros de origem pela chave especificada e gerando as datas de início e término (validade).

Floco de neve

Grava dados em uma tabela do Snowflake em pipelines em lote.

Floco de neve

Lê dados de tabelas do Snowflake em pipelines em lote.

SQL de execução do Snowflake

Executa uma consulta SQL especificada no Snowflake.

Snowflake para Cloud Storage

Descarrega os dados de uma tabela do Snowflake para um local interno ou externo do Cloud Storage (cenário).

Teradata

Grava registros em uma tabela do Teradata. Cada registro vai ser gravado em uma linha na tabela.

Teradata

Lê de um Teradata usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Teradata

Executa uma consulta do Teradata no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Teradata

Ação que executa um comando do Teradata.

Ação de exportação em massa da Vertica

Exporta em massa dados de uma tabela Vertica para um arquivo.

Ação de importação em massa da Vertica

O plug-in de importação em massa da Vertica lê todos os arquivos em um determinado diretório e importa em massa o conteúdo para uma tabela de vertica.

DLP

Plug-ins para o Cloud Data Loss Prevention (DLP).

Descriptografia do Cloud DLP

Descriptografa dados sensíveis que foram criptografados anteriormente pelo Cloud Data Loss Prevention (DLP) usando uma transformação de criptografia reversível, como a criptografia com preservação de formato.

Filtro de PII do Cloud DLP

Separa registros confidenciais com base na correspondência com um modelo definido pelo usuário usando as APIs dCloud Data Loss Prevention (DLP)

Edição do Cloud DLP

Edita registros confidenciais usando o Cloud Data Loss Prevention (DLP) combinando alguns filtros da DLP predefinidos ou um modelo personalizado definido pelo usuário.

Dinâmica

Plug-ins dinâmicos.

Definidor de argumentos

Executa uma solicitação HTTP para buscar argumentos a serem definidos no pipeline.

Definidor de argumentos do banco de dados

Lê de uma tabela de banco de dados relacional para buscar argumentos a serem definidos no pipeline.

Definidor de argumentos do Cloud Storage

Lê de um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

E-mail

Plug-ins para e-mail.

E-mail

Envia um e-mail no final de uma execução de pipeline.

E-mail do SendGrid

Ação para enviar um e-mail ao final de uma execução de pipeline.

SendGrid

Lê dados sobre campanhas de marketing, análises de e-mails, rejeições e relatórios de spam do SendGrid.

SendGrid

Grava dados no SendGrid em pipelines de lote e streaming.

Arquivo

Plug-ins de arquivos.

Formatador CSV

Formatos de entrada para um registro CSV usando formatos como DELIMITED, EXCEL, MYSQL, RFC4180 e TDF.

Analisador de CSV

Analisa um registro CSV formatado como DEFAULT, EXCEL, MYSQL, RFC4180, delimitado por tabulação, delimitado por tabulação em um registro estruturado.

Arquivo

Grava em um sistema de arquivos em vários formatos.

Arquivo

Essa fonte é usada sempre que você precisa ler de um sistema de arquivos distribuído.

Arquivo

Origem do streaming de arquivo que monitora um diretório e transmite conteúdo de todos os novos arquivos adicionados ao diretório.

Anexar arquivo

Esse plug-in de coletor anexa a um arquivo existente até que ele atinja um tamanho ou um limite de idade.

Verificador de conteúdo de arquivo

Esse plug-in pode ser usado para verificar se um arquivo está vazio ou se o conteúdo de um arquivo corresponde a determinado padrão.

Exclusão de arquivo

Exclui um ou mais arquivos.

Mover arquivo

Move um ou mais arquivos.

FTP

Origem em lote para ler do FTP (ftp://.) ou do SFTP (sftp://...).

Cópia de FTP

Copie os arquivos do servidor FTP para o destino especificado.

Put de FTP

Copie arquivos de um destino especificado para o servidor FTP.

Extrator de PDF

Essa transformação aproveita a biblioteca Apache PDF Box para extrair texto e metadados de um arquivo PDF.

Redshift para S3

A ação do Redshift para o S3 executa o comando UNLOAD no AWS para salvar os resultados de uma consulta do Redshift em um ou mais arquivos no Amazon S3.

Amazon S3

Esse coletor é usado para gravar no Amazon S3 em vários formatos.

S3 para Redshift

Ação do Redshift S3 que vai carregar os dados do bucket do AWS S3 para a tabela do AWS Redshift.

Copiar SFTP

A cópia de SFTP permite a cópia dos arquivos do diretório especificado nos servidores SFTP para o destino especificado.

Excluir SFTP

Plug-in do CDAP Action para excluir os arquivos especificados de um servidor SFTP.

Put do SFTP

O put do SFTP permite o upload de arquivos do sistema de arquivos (local/HDFS) para o servidor FTP. O Regex do arquivo também pode ser usado para filtrar apenas os arquivos que são de interesse.

Filtro

Filtrar plug-ins.

Eliminar duplicação

Elimina a duplicação de registros usando um ou mais campos ou o registro como um todo. Além disso, ele é compatível com a escolha lógica de um registro para registros duplicados com base em um campo de filtro. As funções lógicas compatíveis são max, min, first, e last.

Diferenciação

Remove a duplicação de registros de entrada para que todos os registros de saída sejam distintos.

Filtro rápido

Filtra as mensagens com base em um critério especificado.

Filtro de PII do Cloud DLP

Separa registros confidenciais com base na correspondência com um modelo definido pelo usuário usando as APIs dCloud Data Loss Prevention (DLP)

Divisor de campo nulo

Esse plug-in envia registros com um valor nulo para um determinado campo para a porta nula e aqueles com um valor não nulo para a porta não nula.

Amostragem

Faz uma amostra de um grande conjunto de dados que passa por esse plug-in para gerar registros aleatórios usando a amostragem sistemática ou de reservatório.

Top N

Top N retorna os principais registros "n" do conjunto de entrada com base nos critérios especificados na configuração do plug-in.

FTP

Plug-ins de FTP.

FTP

Origem em lote para ler do FTP (ftp://.) ou do SFTP (sftp://...).

Cópia de FTP

Copie os arquivos do servidor FTP para o destino especificado.

Put de FTP

Copie arquivos de um destino especificado para o servidor FTP.

Copiar SFTP

A cópia de SFTP permite a cópia dos arquivos do diretório especificado nos servidores SFTP para o destino especificado.

Excluir SFTP

Plug-in do CDAP Action para excluir os arquivos especificados de um servidor SFTP.

Put do SFTP

O put do SFTP permite o upload de arquivos do sistema de arquivos (local/HDFS) para o servidor FTP. O Regex do arquivo também pode ser usado para filtrar apenas os arquivos que são de interesse.

Google Ads

Plug-ins do Google Ads.

Vários relatórios do Google Ads

Lê todos os relatórios do Google Ads de uma conta do Google Ads em pipelines em lote.

Relatório único do Google Ads

Lê o tipo de relatório especificado das contas do Google Ads em pipelines em lote.

Google Search Console

Lê do Google Search Console em pipelines de lote.

Google Analytics 360

Plug-ins para o Google Analytics 360.

Lote do Google Analytics

Lê do Google Analytics 360 em pipelines de lote.

Streaming do Google Analytics

Lê do Google Analytics 360 em pipelines de streaming.

Google Workspace

Plug-ins para o Google Workspace, incluindo o Planilhas Google e o Google Drive.

Google Drive

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

Google Drive

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Google Sheets

Lê planilhas do diretório especificado do Google Drive.

Google Sheets

Grava planilhas no diretório especificado do Google Drive.

Hadoop

Plug-ins para Hadoop.

HBase

Grava registros em uma tabela do HBase com um mapeamento de campo para a chave de linha e todos os outros campos de registro mapeados para qualificadores de coluna.

HBase

Origem em lote que lê de um grupo de colunas em uma tabela HBase.

Exportação em massa do Hive

O Hive Export usa a consulta selecionada para entrar na consulta do Hive e armazenar os resultados no local especificado.

Importação em massa do Hive

Importa dados de um diretório/arquivo para uma tabela Hive usando a instrução de carregamento Hive.

HTTP para HDFS

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS

HDFS

Plug-ins para HDFS.

XML Reader

O plug-in XML Reader é um plug-in de origem que permite que os usuários leiam arquivos XML armazenados no HDFS.

HTTP para HDFS

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS

HP

Plug-ins para HP.

Ação de exportação em massa da Vertica

Exporta em massa dados de uma tabela Vertica para um arquivo.

Ação de importação em massa da Vertica

O plug-in de importação em massa da Vertica lê todos os arquivos em um determinado diretório e importa em massa o conteúdo para uma tabela de vertica.

HTTP

Plug-ins para HTTP.

Definidor de argumentos

Executa uma solicitação HTTP para buscar argumentos a serem definidos no pipeline.

IBM

Plug-ins da IBM.

DB2

Lê de um banco de dados usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

DB2

Executa uma consulta do DB2 no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do DB2

Ação que executa um comando DB2.

IBM DB2

Grava registros em uma tabela do DB2. Cada registro vai ser gravado em uma linha na tabela.

Netezza

Grava registros em uma tabela do Netezza. Cada registro vai ser gravado em uma linha na tabela.

Netezza

Lê de um Netezza usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Netezza

Executa uma consulta do Netezza no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do Netezza

Ação que executa um comando do Netezza.

JDBC

Plug-ins para JDBC.

Banco de dados

Lê de um banco de dados usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Banco de dados

Grava registros em uma tabela de banco de dados. Cada registro vai ser gravado em uma linha na tabela.

MongoDB

Lê os documentos de uma coleção do MongoDB e converte cada documento em um StructuredRecord com a ajuda de um esquema especificado.

MongoDB

Esse coletor grava em uma coleção do MongoDB.

Consulta do MySQL

Executa uma consulta do MySQL no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

MySQL

Grava registros em uma tabela do MySQL. Cada registro vai ser gravado em uma linha na tabela.

MySQL

Lê de uma instância do MySQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Execução do MySQL

Ação que executa um comando do MySQL.

Netezza

Grava registros em uma tabela do Netezza. Cada registro vai ser gravado em uma linha na tabela.

Netezza

Lê de um Netezza usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Netezza

Executa uma consulta do Netezza no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do Netezza

Ação que executa um comando do Netezza.

Oracle

Lê de uma tabela da Oracle usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Oracle

Grava registros em uma tabela do Oracle. Cada registro vai ser gravado em uma linha na tabela.

Oracle

Executa uma consulta da Oracle no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução da Oracle

Ação que executa um comando do Oracle.

Exportação da Oracle

Um plug-in de ação para exportar dados da Oracle com eficiência para um sistema de arquivos usando as ferramentas de linha de comando da Oracle.

PostgreSQL

Lê de um PostgreSQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

PostgreSQL

Grava registros em uma tabela do PostgreSQL. Cada registro vai ser gravado em uma linha na tabela.

PostgreSQL

Executa uma consulta do PostgreSQL no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do PostgreSQL

Ação que executa um comando do PostgreSQL.

SQL Server

Grava registros em uma tabela do SQL Server. Cada registro vai ser gravado em uma linha na tabela.

SQL Server

Executa uma consulta do SQL Server no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

SQL Server

Lê de um SQL Server usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Execução do SQL Server

Ação que executa um comando do SQL Server.

Teradata

Grava registros em uma tabela do Teradata. Cada registro vai ser gravado em uma linha na tabela.

Teradata

Lê de um Teradata usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Teradata

Executa uma consulta do Teradata no final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre no final.

Execução do Teradata

Ação que executa um comando do Teradata.

JSON

Plug-ins para JSON.

Elasticsearch

Grava dados no Elasticsearch como uma string JSON e a indexa usando o índice, o tipo e o idField especificados pelo usuário.

Cloud Storage

Grava registros em um ou mais arquivos em um diretório do Cloud Stoage em vários formatos, como CSV, Avro, Parquet e JSON.

Formatador de JSON

Formata um registro estruturado como objeto JSON.

Analisador de JSON

Analisa um evento JSON de entrada em um registro usando caminhos JSON para extrair campos de JSON de entrada aninhado complexo.

Produtor do Kafka

Coletor do Kafka que permite gravar eventos no CSV ou JSON para Kafka.

XML para JSON

Aceita um campo que contém uma string XML formatada corretamente e gera uma versão dos dados JSON formatada corretamente.

Kafka

Plug-ins para Kafka.

Confluent

Lê do Confluent Kafka em pipelines de streaming.

Plug-ins do Cloud Data Fusion

Mais populares

Google Cloud

Agregar

Alertas

Apache

APIs

Avro

AWS

Liberação de memória

Cloud Storage

Código

Compactação

Condicional

Fluxo de controle

CRM

CSV

Banco de dados

Data warehouse

DLP

Dinâmica

E-mail

Arquivo

Filtro

FTP

Google Ads

Google Analytics 360

Google Workspace

Hadoop

HDFS

HP

HTTP

IBM

JDBC

JSON

Kafka